一九三三年五月，冯玉祥、吉鸿昌、方振武等人在张家口成立察哈尔民众抗日同盟军，他们力邀同是西北军出身的孙殿英率部队加入：与此同时，蒋介石派人以察哈尔省主席的位子为筹码，要求他出兵攻打同盟军。孙殿英此时左右为难，对双方都不表态，因此被蒋介石记恨了。
一九三四年，蒋介石怕孙殿英可能再次与冯玉祥联合，于是任命他为青海屯垦督办，将其部下调离察哈尔。可占据西北的马步芳、马步青、马鸿遣、马鸿宾四人并不欢迎他的到来，于是在西北大演了一场“四马拒孙”，的大战，孙殿英的部队久攻宁夏城不下，其部下两个旅长又阵前倒戈，孙殿英进退两难。
此时阎锡山趁机出兵断了他的后路，蒋介石又明令撤销他的本兼各职，孙殿英只好帅残部东撤，四月份孙殿英回到包头，后前往晋祠归隐，其残部被阎锡山所吞并。
一九三六年二月，宋哲元任命他为察北保安司令，不过这仅仅是个虚职：七七事变以后，宋哲元又任命他为冀北民军司令，这倒是一个实职。孙殿英趁机大量吸收从平津退下来的士兵、警察和学生等，他的人马很快就扩大到了一万多人。
一九三九年的夏天，经裁笠的引荐孙殿英在武汉晋见了蒋介石，蒋介石给了他暂编第五军的番号，孙殿英感激得称蒋介石为“再生父母””。从冬天开始，孙殿英的部队全部改编成新五军，并开始逐渐撤到林县。
豫西北是庙道会的大本营，其信众很多，而且遍布各行各业。新五军的前锋部队到达林县之后，孙殿英就利用自己是庙道会会首的号召力招了大量会众加入新五军，在新五军主力还未全部到达之际，其在林县新增的人马已经达到惊人的一万之众。
漳河以南地区已经来了八路军，三八六旅王新亭部的活动就已经让日军很是头疼，现在新五军又有一万人驻扎在林县北部，虽然这支部队还未与日军作战，但是这么多部队就处在身边，日军华北方面军可以说是如同芒刺在背。为了保证交通大动脉平汉铁路的畅通，以及已经占领的城镇、机场的安全，华北日军要求豫北的日伪军暂时处于守势，在兵力未能调整好之前，各部队尽量不要去招惹。
