Впервые главный оперативный орган вооруженных сил Советской России был создан 8 мая 1918 года и именовался Всероссийским главным штабом (Всероглавштаб). 10 февраля 1921 года Всероглавштаб был объединён с Полевым штабом РВС Республики и получил название Штаба Рабоче-Крестьянской Красной Армии (РККА). Штаб РККА стал единым органом управления вооружёнными силами РСФСР и являлся исполнительным органом РВС Республики. В 1923 году он был преобразован в РВС СССР. И наконец, 22 сентября 1935 года Штаб РККА был переименован в Генеральный штаб РККА. Начальниками Генерального штаба были: А. И. Егоров (сентябрь 1935 — май 1937), Б. М. Шапошников (май 1937 — август 1940), К. А. Мерецков (август 1940 — январь 1941), Г. К. Жуков (январь — июль 1941).
Начальник Генерального штаба РККА Г.К. Жуков. 1941 г.
Начальник ГШ РККА А. М. Василевский.
В годы Великой Отечественной войны Генеральный штаб являлся основным органом Ставки Верховного Главнокомандования по стратегическому планированию и руководству вооруженными силами на фронтах. Начальниками Генерального штаба ВС Союза были: Б. М. Шапошников (июль 1941 — май 1942), А. М. Василевский (май 1942 — февраль 1945), А. И. Антонов (с февраля 1945).
По состоянию на конец июля 1940 года ГШ РККА был переименован в Генеральный штаб Красной Армии (ГШ КА) и получил в свое подчинение Разведывательное управление КА (5-е управление КА). Кроме него в состав ГШ входили: Оперативное управление: Организационное управление; Управление военных сообщений; Мобилизационное управление; Управление устройства тыла и снабжения; Управление по укомплектованию войск; Военно-топографическое управление; Отдел укрепленных районов; Военно-исторический отдел; Отдел кадров.
В феврале 1942 года Разведывательное управление ГШ было реорганизовано в Главное разведывательное управление ГШ, Организационно-учетный отдел Оперативного управления (ОУ) ГШ реорганизован в Организационное управление ГШ, Отдел оперативной подготовки ОУ ГШ реорганизован в Отдел по использованию опыта войны ГШ, Отдел оперативных перевозок ОУ ГШ выделен в самостоятельный отдел, Автобронетанковый отдел ОУ ГШ, Отдел связи ОУ ГШ расформированы.
Уже в апреле 1942 года Приказом НКО №0324 была утверждена следующая структура ГШ КА: Оперативное управление; Главное разведывательное управление; Организационное управление; Управление устройства оперативного тыла; Управление укрепленных районов; Шифровальное управление; Военно-топографическое управление; Отдел по оперативным перевозкам; Отдел по использованию опыта войны; Военно-исторического отдел; Отдел кадров; Общий отдел; Группа офицеров Генерального штаба Красной Армии.
Начальник Генерального штаба А.И. Антонов с участниками военной делегации на Ялтинской конференции. Февраль 1945 г.
В такой структуре с незначительными изменениями ГШ КА и просуществовал до самого конца Второй мировой войны. С упразднением 4 сентября 1945 года Государственного Комитета Обороны и прекращением деятельности Ставки ВГК Генеральный штаб перешел в непосредственное подчинение Наркомату обороны, став его ведущим органом. Вместе с тем он по-прежнему продолжал являться основным рабочим органом правительства при решении важных военно-политических вопросов.