Родился 28 апреля (11 мая) 1902 г. в с. Гришине Бахмутского уезда Екатеринославской губ., из крестьян, украинец.В 1917 г. окончил 2-классное Министерское училище в с. Гришине, в 1918 г. — 1-й класс Сельскохозяйственного училища, в 1922 г. — украинскую Объединенную школу краскомов, в 1928 г. — Артиллерийские курсы усовершенствования командного состава РККА, в 1939 г. — Курсы усовершенствования высшего комсостава при Артиллерийской академии им. Ф. Э. Дзержинского.

В Красной Армии с августа 1920 г.: командир артиллерийского взвода, батареи (сентябрь 1922 г. — декабрь 1930 г.) командир артиллерийского дивизиона, полка (январь 1931 г. — май 1935 г.), начальник артиллерии бригады, дивизии, корпуса (май 1935 г. — апрель 1941 г.).В его аттестации за 1938 г. командование отмечает: «…волевой, энергичный, инициативен решительный и настойчивый в проведении своих решений в жизнь… (но в то же время!) Работа начальником артиллерии тяготит, стремится перейти на командную работу».

В годы Великой Отечественной войны — командир 1-й артиллерийской моторизованной противотанковой бригады РГК (апрель—август 1941 г.), командир стрелкового корпуса (август—сентябрь 1941 г.), командир кавалерийского корпуса (февраль—март 1942 г.), командующий 38-й армией (март—июль 1942 г.)С июля по август 1942 г. К. С. Москаленко командует 1-й танковой армией, 1-й гвардейской отдельной армией (по октябрь 1942 г.), 40-й армией (по октябрь 1943 г.) и до конца войны — 38-й армией.

В наградном листе командующий войсками 1-го Украинского фронта Конев И. С. подчеркивал, что командующий войсками 38-й армии «генерал-полковник Москаленко — волевой и решительный командир. Много работает, не считаясь со временем и своим здоровьем. Тактически грамотен. Лучше умеет наступать, чем обороняться. При осложнении обстановки мало устойчив…»

После войны до августа 1948 г. он командует этой же армией в Прикарпатском военном округе, затем по июнь 1953 г. К. С. Москаленко — командующий войсками Московского района ПВО, по октябрь 1960 г. — Московского военного округа, по апрель 1962 г. — Главнокомандующий Ракетными войсками — заместитель министра обороны СССР, по декабрь 1966 г. — главный инспектор министерства обороны СССР, по декабрь 1983 г. — главный инспектор министерства обороны—заместитель министра обороны СССР, по июнь 1985 г. — генеральный инспектор группы генеральных инспекторов министерства обороны СССР.

К. С. Москаленко дважды присвоено звание Героя Советского Союза (23.10.1943 г. и 21.02.1978 г.). Он награжден 7 орденами Ленина (22.07.1941 г 23.10.1943 г., 6.11.1945 г., 7.03.1962 г., 10.05.1972 г., 21.02.1978 г., 10.05.1982 г.) орденом Октябрьской Революции (22.2.1968 г.), 5 орденами Красного Знамени (7.04.1940 г., 27.08.1943 г., 3.11.1944 г., 15.11.1950 г., 28.01.1954 г.), 2 орденами Суворова I степени (28.1.1943 г., 23.5.1943 г.), 2 орденами Кутузова I степени (29.05.1944 г., 25.08.1944 г.), орденом Богдана Хмельницкого I степени (10.01.1944 г.) Отечественной войны I степени (6.04.1985 г.), орденом «За службу Родине в Вооруженных Силах СССР» III степени (30.04.1975 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), а также 15 медалями СССР и 29 орденами и медалями иностранных государств.

Воинские звания: полковник — присвоено 16 августа 1938 г., генерал-майор артиллерии — 4 июня 1940 г., генерал-лейтенант — 19 января 1943 г., генерал-полковник — 19 сентября 1943 г., генерал армии — 3 августа 1953 г., Маршал Советского Союза — 11 марта 1955 г.

Член КПСС с 1926 г., член ЦК КПСС с 1956 г., депутат Верховного Совета СССР 2–11-го созывов.
Умер К. С. Москаленко 17 июня 1985 г. Похоронен на Новодевичьем кладбище в Москве.