Du liegst falsch. Wenn man sagt, dass eine seiner Aussagen ehrlich ist, impliziert das nicht, dass die anderen unehrlich waren.
Wie auch immer, ich verstehe "Ehrlich gesagt" eher als "Ich ziehe es vor, ehrlich zu dir zu sein, anstatt aus Nettigkeit zu lügen oder mich zu verbiegen".