会战之初，中国军队投入兵力为3个师又1个旅、炮兵1个团又1个营、上海市警察总队、江苏保安队2个团，另有海军轻巡洋舰及驱逐舰10艘、炮艇、鱼雷艇20余艘；空军参战飞机250余架(兼顾南京等重要地区的空防)。陆军分为左右两翼，左翼军为由京沪警备部队改编而成的第9集团军，总司令为张治中。右翼为张发奎担任总司令的第8集团军，由苏浙边区部队改编而来。前者在浦西负责扫荡日军据点，后者在浦东担任警戒、支援和配合。这两个集团军都属第三战区管辖。淞沪会战刚开始没多久，中国政府就成立了大本营，以蒋介石为大元帅，编定全国战斗序列，将江苏长江以南(包括南京、上海)及浙江地区划为第三战区，以冯玉祥为司令长官、顾祝同为副司令长官。蒋虽任命冯玉祥为主官，骨子里对其并不信任，故用心腹干将顾祝同副之，并特地交待“以顾副长官之命令为命令“，这样一来冯的司令长官不过是个空架子，什么事也管不了。“八。一三“淞沪开战之后，冯玉祥曾写了7条遗嘱，表明抗战决心，并不惜准备随时为国赴死，如今这位昔日叱咤中国政坛的风云人物有心杀敌，却无处使力，只好无奈地对别人说，自己上任期间只能做两件事：“一是任日本飞机来炸，二是作几首骂日本人的诗“，这句自嘲的话，听来不免让人觉得无比悲哀。
    8月下旬，中国各部队继续围攻盘踞在海军陆战队司令部、杨树浦等据点的日军，新抵达战场的国民党军精锐之师第36师迅速投入战斗，在战车掩护下攻入汇山码头，同时空军再次出动配合，轰炸地面及江上日军目标。我军终因装备低劣、火力不够威猛，面对钢筋混凝土筑造的工事而一筹莫展。中国仅有的装甲部队--南京装甲团配属第36师的两个连战车既无强大火力保护，又缺乏与步兵协同作战经验，反被日军舰炮悉数摧毁，两连官兵也全部覆没，壮烈殉国。从8月20日晨至8月22日，宋希濂第36师、王敬久第87师、孙元良第88师和夏楚中第98师的进攻均受阻。此时战局陷入僵持，日军龟缩据点一面负隅顽抗，一面等待援军。中国军队竭尽全力仍不能有太大进展，部队伤亡严重。8月23日拂晓，增援日军先头部队在海空火力掩护下，在狮子林、川沙口、张华浜等方面登陆，战况骤然吃紧。蒋介石闻讯，急忙命军政部次长陈诚为第15集团军总司令，指挥第98师、第11师及刚到嘉定的第67师、第14师火速分赴各处抗击敌人登陆。
    眼见情况不妙，蒋介石深感有亲自到前线督战的必要，一来能鼓舞士气，二来可以就地掌握第一手情况好作出相应部署。8月25日，蒋介石偕夫人宋美龄及顾祝同、陈诚等一干高级将领，冒着瓢泼大雨从南京急匆匆赶到南翔，召集军事会议。冯玉祥也冒雨从无锡的第三战区司令长官驻地赶来。会议先由各师逐一报告战况，之后张治中汇总条陈，蒋介石最后发表讲话：“综观近日之战况，我军伤亡奇重。战争固不能免于伤亡，然指挥失当，致使死亡猛增，牺牲殊无价值。我军缺点在于攻击实施之前，未能充分考虑，轻率从事，牺牲也就大。今后应悉心研究，当攻则攻，当避则避。“显然蒋介石话中有话，一句“指挥失当“、“轻率从事“将责任推给了冯玉祥。冯尽管一肚子委屈和愤懑，却也无可奈何。
    抗战时期，在抗日救国的旗帜之下，冯玉祥与蒋介石关系总体是较为缓和的，冯服从蒋的领导，蒋尊重冯的意见。在民族危亡关头，冯玉祥对蒋介石做了三件事：不断激励蒋坚定抗战决心；注意维护蒋的领袖地位和尊严；也敢于批评蒋的不足。
    抗战爆发后，冯玉祥呼吁联合抗日，反对妥协投降。当时恐日症、亡国论甚盛。抗战时期，蒋更几经动摇。在1939年1月的国民党五届五中全会上，蒋介石曾解释“抗战到底”的意义说：“我们这次抗战的目的，当然是要恢复卢沟桥事变以前的状态，如果不能达到这个目的，就不能和日本开始谈判，假使能够恢复卢沟桥事变以前的状态，可以开始谈判，以外交的方法解决东北问题。”
    实际上，关于“抗战到底”，冯玉祥早就有过解释。在1938年10月的武昌最高国防会议上，汪精卫与白崇禧、冯玉祥谈论什么是“抗战到底”，冯回答说：“把所有的失地都收回来，不但东北四省，就是台湾和琉球各岛，都要交给我们，并且日本帝国主义无条件的投降，这就是抗战到底。”这当然使汪精卫很不喜欢，当时蒋也在场，但没有关于他表态的记录，很多资料显示，蒋介石在抗战前期，一面对日作战，一面又通过各种渠道与日本秘密谈判，蒋的谈判虽是虚虚实实，有时不失为一种策略，但难免有脚踩两只船之嫌。
    对于蒋介石可能产生的动摇，冯玉祥为其痛陈利害，冯以赤壁之战前孙权与鲁肃的对话启发蒋指出：“汪精卫一班人为了富贵，什么坏事都敢做。委员长您只有抗战这一条路，失败也是成功，成功也是成功。”冯甚至要求蒋效仿孙权，砍掉桌子的一角，以表明抗战到底之决心。蒋介石对冯玉祥的意见非常赞成，当晚，冯玉祥将谈话要点在长沙广播，这使大家都知道了蒋介石有抗战的决心。
    蒋介石当时身处最高统帅位置，冯玉祥清楚懂得拥护蒋介石的重要性，处处注意维护蒋的领袖尊严。
    在冯玉祥任第六战区司令长官时，一天，西北军将领冯治安、陈继淹同萧振瀛来桑园看望，言谈之下，萧振瀛说政府对不起他们，冯玉祥马上说：“政府现在抗日，无论是谁，不能再说政府不对。”并切实地重复了一次，还特别叮嘱冯治安，无论如何，不能受人挑拨，说政府的不对。
    抗战不久，冯玉祥被召回武汉。中央训练团，冯玉祥受邀演讲《什么是你的成功》，讲了约4个小时，意思是说中华民国的成功就是你的成功，蒋先生的成功就是国家的成功。冯玉祥把蒋介石的成败与中华民国之命运视为一体。冯这样讲，当然也令蒋介石十分满意。
    冯玉祥还专门把服从领袖作为训诫和要旨写入其日记及著作中。1938年1月，冯玉祥在日记中写有民众抗日注意事件：“一、必须拥护中央。二、必须拥护军事最高领袖。”1938年8月，冯在日记中记载其告宋哲元以为国之道，中有数语为：“二、与委员长共生死，爱国决不后人。四、要抱定有委员长，即有宋哲元，有宋哲元即有委员长，如此方不愧对国家与民众。”冯的《抗战哲学》第十一章为“服从最高统帅的领导，一致努力”，其中写道：“共同的目标和共同的努力就是打倒日本帝国主义，建设三民主义的新中国，为了达到这个目的，我们必须服从最高统帅的领导，在他的指示下一致努力，四年中领袖对于抗战建国有不少的训示，这些训示是我们每个人都应当遵守的，只有按着这些训示努力做才能将鬼子驱逐出去，才能建设新的中国。”
    冯玉祥亦竭力避免蒋介石对自己的任何猜忌。1938年5月，冯在鸡公山上，见石壁上有邵力行题字“冯将军是抗日推动者”、“冯将军是抗日创造者”，冯以为，“当此抗战时期其字句间显有挑拨离间嫌疑，因今天只有一个政府，一个主义，一个领袖，决不能有其他，当命人执送信阳县署以惩之。”
    对于蒋介石做得好的地方，冯玉祥更是十分注意宣传。他在日记中记述：有一天，蒋请冯玉祥、李任潮、李德邻吃饭，有林文蔚陪着，其中有一盘肉，蒋先生说：“我们的兵每一个星期要吃一回肉，是很要紧的事，找林先生记下来，告诉各军队照办。”有一块肉上带着毛，蒋先生说：“肉上带着毛，士兵们吃了一定要生病的，请林先生记下来，要告诉各军队，毛要拔净，拔不净要拿火筷子烫。”在碗里头捡出一块姜来，蒋先生说：“姜这个东西可以杀菌，炖肉的时候，是不可少的，也要林先生记下来，告诉各长官照办。”
    周恩来曾称赞冯玉祥有“为人所不敢为，说人所不敢说”的精神。冯玉祥也把这种精神用在蒋介石身上，蒋的文胆和谋士陈布雷说过蒋的“人才与资望”决再找不出来，这个评论就当时的人看来，是并无多少夸张的，冯玉祥对蒋也是十分敬慕的，他写道：“以蒋先生之夙兴夜寐，终日勤劳，吾人回无懈可击。”
    然人非圣贤，蒋自然也有许多招致不平反对的事。在冯玉祥看来，蒋的错误多是因为受下面人的蒙骗，如谈到国家军事状况时，冯玉祥就说：“蒋先生固是君子可欺。”
    但有时蒋介石的某些政策和做法也实在是让人看不过去，冯玉祥也会进行劝谏和批评。冯对蒋的集权多有批评，他在日记里写道：“蒋先生可是国家的领袖，什么都是一人兼任，一个人即是万能，也不能分身万处，这什么都管的主义叫什么都不管。”冯玉祥因之专门给蒋写信建议：“请设智囊团及专门人才研究团，因一人的精力有限，如果有要事待商，可请智囊团研究参加意见，专门人才之设专为科学之讨论，如前方坦克车之如何破法，战略上之问题皆可付与研究。”冯以为罗斯福、斯大林所以能有大成就，与施行此建议有直接关系，故望蒋能以此项建议为当务之急。
    蒋介石搞集权，这就常常造成越权指挥，冯玉祥对此也很有看法。淞沪会战，张发奎的一连炮队不知哪里去了，经调查，知道原来是蒋介石把炮队调走了，这让身为第三战区司令长官的冯玉祥非常气愤，他批评说：“前方打仗的军队，指挥的权限不一，最高统帅，连一连炮兵都指挥着。”
    在用人上，蒋介石爱重用亲信，这些亲信经常身兼多职。冯对此加以劝谏说：“钧座实事求是，素恶兼差，此次仍请坚持原意，力祛此风，则用一人收一人之效，行一事得一事之益，庶务俱举可以翘首而待之。”
    会后，蒋介石对他不满意的第三战区进行了人事调整，实际上只是调了一个人，那就是冯玉祥，他被调到新成立的第六战区去当司令长官去了。第三战区司令长官的职务由蒋介石本人兼任，顾祝同仍为副司令长官。蒋介石这么做，有他的考虑：一是随着战事深入，双方都在不断增兵，规模还有继续升级的势头，由自己亲自担任第三战区长官，足以向外界说明他重视的程度；二是让冯玉祥指挥并不是其手下的中央军和各个杂牌军组成的前线部队，显然不能得心应手，而第六战区在北方，那里多为冯的旧部，指挥起来比较容易。不过冯的确跟蒋合不来也是一个重要事实，冯玉祥不满自己被闲置，老是发牢骚说怪话，也招惹了蒋介石的极大不痛快。据说白崇禧也对冯看不过眼，白当时担任副总参谋长，往来京沪之间视察，见其每天不理前方战事，只管“作诗骂人、不务正业、不干正事“，回来向蒋介石作了汇报，建议调走冯玉祥。冯与蒋的矛盾和隔阂自此进一步加深，抗战胜利后，冯对蒋热衷打内战和对抗日民众的倒行逆施行为极为愤慨，公开反蒋，蒋介石下令开除冯玉祥的军籍、党籍和公职，两人彻底决裂，这是后话。