1927年，在北伐战争失败后，中国共产党开始了创建人民军队、开展土地革命战争的新时期。随着革命战争的发展和红军的发展壮大，中国共产党逐步从坚持党对军队绝对领导的高度，深刻认识到坚持开展军事教育的重要性，并进行了艰辛的理论探索和实践。

人民军队是执行革命政治任务的武装集团，必须选拔、教育和管理好各级军事政治干部。在红军初创时期，党创办了红军教导队，以加强对军事干部的教育管理。1927年11月底，毛泽东领导工农革命军在江西砻市龙江书院创办了红军的第一支教导队，这成为人民军队军事教育的开端。毛泽东、朱德、陈毅等亲自担任教员，指导教导队的军事政治训练。毛泽东、朱德井冈山会师后，1928年8月原井冈山教导队改称中国红军第四军教导队( 亦称军官教导大队)。

随着红军的发展壮大和革命武装斗争任务的日益艰巨，毛泽东从中国革命战争的全局出发，提出了创办军事学校的战略构想。1928年6月16日，毛泽东在给湖南、江西省委转中央的信中提出，“此间争斗已到很剧烈很阔大的时候了”，强调要“办军校及党校”的建议。这实际上是党首次提出建立正规的人民军队军事教育机构的战略思想。1928年11月14日，红四军第六次党代表大会在宁冈县新城召开，大会代表共提出17项提案，其中一项内容就是建议建立军事政治学校。党的红四军“六大”决定，“此后军委须经常成立政治训练班”。不久，毛泽东于1928年11月25日在给党中央的报告中又进一步阐述了建立军校的重要性。他指出：普通的兵要训练半年一年才能打仗，我们的兵，昨天入伍今天就要打仗，简直无所谓训练，军事技术太差，作战只靠勇敢。长时间的休息训练是不可能的，只有设法避开一些战斗，争取时间训练，看可能否。为着训练下级军官，现在办了一个百五十人的教导队，准备经常办下去。希望中央和两省委多派连排长以上的军官来。

毛泽东关于创办红军军官学校的构想，当时已成为红四军的紧迫任务。1929年1月12日，滕代远在向湖南省委的报告中曾说，人才非常缺乏，红五军与红四军合办政治训练学生60多名，教导队百多名，并决定马上还要开办容一营人以上的军官学校。1929年3月20日，红四军前委向中央报告，军官及政治工作人员之缺乏，达到极点，迫切期盼中央派人来补充，“至少须派军事的政治的教官各数人，来此开办训练学校”。

从全国的形势看，八七会议后，革命战争形势发展迅猛、军事和政治干部奇缺，是各支红军部队的普遍现象。为加强对武装斗争的领导，党中央要求“在游击战区中党宜设立军事训练班，创造一些工农军事人才。在农村中，亦宜设法设立秘密训练组织”。当时，党在上海还举办了数期军事干部训练班，每期一二十人，培养红军急需的干部。但是毕竟各根据地需求量很大，党中央培训的干部数量极其有限。党中央虽然给予红四军许多支持，但并无办法派出军事和政治教官赴闽西开办训练学校。