Родился 9 марта 1908 года в Петербурге. Настоящее имя — Алексей. Работал слесарем на Ленинградском машиностроительном заводе. Учился в театральных мастерских (ТЕМАС), в 1932 году окончил Ленинградский институт сценических искусств, мастерская Е.В. Червякова. В кино Кмит начал сниматься с 1928 года, тогда ещё немом. С началом эры звукового собирался расставаться с профессией из-за своего заикания. Но однажды он упал на даче в заснеженный колодец, и от сильного испуга заикание прошло теперь уже навсегда. В 1939 году актёр из-за переломанной перегородки носа, которая мешала дышать, вынужден был сделать пластическую операцию. Курносый нос "уточкой" стал прямым, пропали задор и непосредственность чапаевского Петьки — самой яркой роли Леонида Кмита. В 1936—1939 годах — актёр Центрального театра Красной Армии, в 1942-1945 годах — актёр военных ансамблей, с 1957 года — актёр Театра-студии киноактёра. Заслуженный артист РСФСР (1935). Народный артист РСФСР (1968). Ушёл из жизни 10 марта 1982 года в Москве. Похоронен актёр на Кунцевском кладбище Москвы (участок № 10).