守军各军根据第三战区的命令，均在进行反击的准备。
第74军一部在向北推进途中与南下的日军第15师团主力遭遇，发生激战。由于接到“避免决战”的命令，第74军主动撤至黄坛口以南山地防守。
其第40师在日军第15师团一部攻击下，退至江山港北岸，改归第49军指挥;第105师与日军第32师团激战后，撤至常山港南岸招贤附近防守。
6月5日，日军第15师团在航空兵掩护下，集中兵力猛攻衢州南郊阵地，激战至午后，突破六马桥阵地，守军第67师退守衢州南关。
日军第22师团一个联队渡过乌溪江，于傍晚进至江山港南岸，其主力仍在陆续渡江中;日军第32师团当日攻占西镇，进至常山港以南地区。此时，衢州城已处于四面包围之中。
当日下午，泽田茂得到情报：后溪街附近有中国军队有力部队集结。为支援及保障第15师团攻破衢州，令第15师团攻占衢州城，令第32师团和第22师团分别向后溪街和江山方向进攻。
6月6日又下大雨，双方冒雨激战。日军河野旅团于拂晓后通过刚刚修好的临时铁路桥，进至乌溪江以西，立即向衢州城西及城北门逼进。
第15师团主力从铁路附近猛攻南门及南城墙，其一部兵力与河野旅团一部于8时许攻占衢州飞机场及航空学校。
第三战区根据当时敌情及军事委员会指示精神，对6月4日下达的“避免在衢州决战”的命令又下达了部队转移的补充指示：
(1)第10集团军：
第74军并指挥暂13师、第40师，主力迅速转移到江山附近占领阵地、打击敌人，掩护第49军、第26军向后转移。
第49军应由原阵地转移到峡口到八都之线占领阵地，并留置一部于石门市要点。
第86军突围后开二十八都集结待命。
(2)第32集团军：
第26军以1个师守常山，主力应迅速转移到玉山附近占领阵地，与八都方面第49军切取联系;其在常之1个师，俟第25军到达交防后迅速转移到上饶控置。
第25军除留第146师在寿昌续行前任务外，主力迅速转移到常山附近，接替第26军的守备任务。
衢州城外各军接到战区指示后交互掩护，逐渐脱离接触，向指定的位置转移。
城内守军因通信器材已全被日军的飞机、大炮所击毁，与战区及集团军均失去联系，仍依托城防工事继续苦战。
血战至晚，日军第15师团攻占南门及新开门，河野旅团攻占东北门、北门及西北角城墙。
此时，船民齐大年从信安江(一名信安溪、西溪)游水进入城中，带来王敬久关于守军向枫林港突围的指示。
副军长、第67师师长陈颐鼎与第16师师长曹振铎商议后，以第64团第2营担任掩护，丢弃了重伤员及一切重武器、骡马车辆等，利用夜暗天雨突围西撤。
在第64团第2营官兵英勇顽强的抗击下，已经占领了城门及城墙的日军始终未能进入城内，亦未能阻止住突围的部队。激战至7日拂晓，第64团团长谢士炎率领第2营残部100余人从东门突围(第2营营长宋汉武已牺牲)，绕道向清明镇转进。衢州为日军占领。