正当学生们都十分气愤，也十分泄气的时候，不知是谁说了一句，“去赵家楼！找狗日的卖国贼算帐！”
而听到这一声呼喝，本来激愤的人群立刻变得沸腾起来。
一些记者这样记录下了当时的情景：
“长时间受阻于东交民巷的游行队伍，急欲得卖国贼而一泄之，遂决定直扑曹汝霖家，其时负总指挥责任的北大学生领袖傅斯年，恐发生意外，极力劝阻勿去，却丝毫无任何效力了。”
“是时，学生队至东交民巷游行受阻，前驱者大呼‘直奔曹宅’！群情愤慨，和之，声震屋瓦。”
“但当游行队伍经过东交民巷口以后，有人突然高呼要到赵家楼曹汝霖的住宅去示威。在群情激愤的时候，这响亮的口号得到了群众一致的拥护。”
在6月4日这一天，去赵家楼这等“神来之笔”，其实正是群众运动特有的“魅力”。说不清是谁的主意，你一言，我一语，群情互相激荡，一不小心，便可能出现“创举”。一位学生领袖这样说道：“这时候群众的各个分子都没有个性的存在，只是大家同样唱着，同样走着”，“很难确定谁影响谁。日后追根溯源，非要分出彼此，弄清是哪一个首先喊出‘直奔曹宅’的口号，其实是不太可能的。”
“游行队伍浩浩荡荡向东进发，扬起一路灰尘。北京的街道在那时本来就是泥沙很多，正是春末夏初，阵风一起，加上这几千人的步行蹴踏，自然有一片滚滚的尘雾，直向鼻孔口腔中钻来。……只是群情激昂之际，没人顾及此等小事，我们大家照样高呼口号，散发事先印好的传单。”
下午四点半左右，仍然排列整齐的游行队伍，终于来到离外交部不远的赵家楼2号曹汝霖的住宅。
赵家楼原为明代在位时间仅6年的明穆宗隆庆朝文渊阁大学士赵文肃的宅邸，因为府内后花园假山上的亭子象楼一样，所以被称为赵家楼。赵家楼有南北两条不很宽的胡同，也因为赵家楼的关系，名之为前赵家楼胡同和后赵家楼胡同。如今的赵家楼是曹汝霖的宅邸，分为东西两个部分，共有房屋50多间，三个大门，内部装潢富丽华美。其西面是中式楼房，曹汝霖自住；东面是加盖的西式平房，为曹汝霖的父亲曹成达所居。此时曹宅的门窗皆装有铁栅，紧闭不开。而在学生游行期间，政府为防意外发生，已经派遣军警三十余人在此保护。
“火烧赵家楼”这场戏，乃是此次抗议游行的**，而关于这个**，流传的版本却也多种多样。
“那些预备牺牲的几个热烈同学，乘着大家狂呼的时候，早已猛力地跳上围墙上的窗洞上，把铁窗冲毁，滚入曹汝霖的住宅里去。”。
