留守兵团陕甘宁剿匪，却剿到了国民党宁夏省主席马鸿逵的门下，马鸿逵无奈之下，只好派人调解。
甜水堡距环县县城北100公里许，系北宋庆历年间范仲淹所筑。明嘉靖二十一年（1452年），河西道王某重筑。
甜水堡系萧关故道第1关隘。城北5里许即今宁夏盐池县萌城。战国秦第2道长城横堡而过。明、清皆为镇。1940年环县抗日民主政府甜水区政府驻于此。后皆为区、乡、人民公社，乡（镇）所在地。
1941年1月1日，赵老五率匪徒300余人，直抵环县老城，抢劫群众财物，捣毁边区合作社，捕杀工作人员。
路过洪德区时，将自卫军营长高三德杀害，将小学教员王佑的两腕戳开，用绳拴于马尾上拖着走，随后用乱刀砍死。
环县受赵匪之害的达6个区17个乡。先后有4个区政府、14个乡政府、4所学校被破坏，被杀害和捕走干部20人。
赵匪重占了甜水堡。
为了巩固抗战后方，保护人民利益。2月16日，由庆环分区专员马锡五率领曲子、环县保安队、机关干部和自卫军，配合警备第2团和边区保安司令部dú • lì 第5营对该股土匪进行清剿。
剿匪部队先攻占甜水堡，歼匪大部。匪首赵老五率残部逃至李家塬附近之窑儿井沟，钻入地窑子，企图负隅顽抗。
因地势险要，剿匪部队数次攻击未果。
遂改变战法，将其团团围困，断其粮草水源，并动员数百名自卫军挖地道，准备用爆破手段炸毁其老巢。
3月7日，赵老五之胞兄赵鸣琴惧怕炸死，率匪徒一部投降。
剿匪部队乘机发起进攻，终于将赵匪老巢摧毁。共毙匪徒40余人，俘匪中队长以下130余人，缴迫击炮2门，轻机枪9挺、步枪100余支。
匪首赵老五只身逃出边区。
逃出边区的赵老五在国民党顽固派的支持下，重新发展武装，时刻妄想卷土重来。
1941年夏，赵老五率领保安队280余人再次侵入八路军环县洪德地区，捣毁了区政府，杀害自卫军多人，并包围环县县城。
环县保安部队进行了还击，将其击退，毙伤其10余人，俘虏8人。
这样一个十恶不赦的匪徒，几年来屡屡作乱，引起了留守兵团高层和党中央的高度重视。