"Дойти до ручки" - то есть, оказаться в крайне тяжелой ситуации, близкой к безвыходной.
Издавна на Руси пекли калачи, но только не круглой формы, а в виде замка с округлой дужкой. Люди часто наслаждались пышными теплыми калачами прямо на улице, держась за дужку, как за ручку. Разумеется, перед этим они не мыли руки! Где взять воду посреди толчеи?
Поэтому саму ручку не ели, а выбрасывали собакам или отдавали нищим. О тех, кто не стеснялся есть грязную ручку, так говорили, что «дошел до ручки».