С одной стороны, нельзя не признаться, с другой стороны, нельзя не сознаться

Впервые встречается в сатире «Дневник либерала в Петербурге» (1872) Михаила Евграфовича Салтыкова-Щедрина (1826—1889), который так образно описал двойственную, трусливую позицию российских либералов — своих современников. Вероятно, это выражение уже и тогда ходило в устной речи, но широко известным, крылатым стало благодаря этому писателю.
Фраза-символ беспринципности, вечных оговорок, нежелания твердо заявить о своей позиции (ирон.). М. Е. Салтыков-Щедрин («Дневник либерала в Петербурге», гл.. 9):
«—Неужели же нет никаких мер против этих негодяев?..
— К сожалению, должно признаться, что таких мер не1 существует, хотя, с другой стороны, нельзя не сознаться, что если бы земские управы взялись задело энергически, то суслики давно были бы уничтожены».