В 1920-1930-х годах высший военный орган РСФСР/СССР носил название Народного комиссариата по военным и морским делам (Наркомвоенмор). 20 июня 1934 года Наркомвоенмор СССР был преобразован в общесоюзный Народный комиссариат обороны СССР (НКО СССР). Спустя время, 30 декабря 1937 года из него выделен Народный комиссариат военно-морского флота СССР (НКВМФ СССР). В таком виде НКО просуществовал всю Вторую мировую войну и в 1946 году был переименован в Министерство Вооружённых Сил СССР (МВС СССР).
Первым наркомом НКО СССР был назначен Ворошилов, Климент Ефремович, который занимал этот пост с 20 июня 1934 по 7 мая 1940 года. Его сменил Тимошенко С.К. А с 19 июля 1941 года и до его ликвидации НКО возглавлял Иосиф Сталин.
Первый народный комиссар обороны СССР – Климент Ворошилов.
К началу Великой отечественной войны НКО СССР имел в своем составе Генеральный штаб Красной Армии и 15 управлений и финансовый отдел при Народном комиссаре обороны: Главное управление политической пропаганды Красной Армии; Главное управление Военных Воздушных Сил Красной Армии; Главное артиллерийское управление Красной Армии; Главное автобронетанковое управление Красной Армии; Главное военно-инженерное управление Красной Армии; Главное интендантское управление Красной Армии; Управление боевой подготовки Красной Армии; Управление противовоздушной обороны Красной Армии; Управление связи Красной Армии; Управление военно-химической защиты Красной Армии; Управление снабжения горючим Красной Армии; Управление высших военно-учебных заведений Красной Армии; Управление военно-учебных заведений Красной Армии; Управление кадров Красной Армии; Санитарное управление Красной Армии; Ветеринарное управление Красной Армии; Управление делами при Народном комиссаре обороны.