吴曦侍奉清楚自己能够嫁入皇家，家族出力甚多，自然也明白家族也希望能够借此重新崛起。但是事宜愿为，皇帝对后族并不亲近，借着外戚不得干政的由头，只赐了公爵，并没有给予实职，让赋闲在家的父兄们十分失望，对他自然也颇有怨气。
紧接着皇帝又因为自己主持上元灯会花费巨多，对她大加训斥。在此关系紧张之际，家中不争气的兄弟又借着她皇后的名头，在京城中飞扬跋扈，偏偏正冲撞了御驾，惹得皇帝震怒，好悬将其当街斩杀。
吴曦当时即委屈又生气，自己刚刚惹了陛下不喜，兄弟又惹出这等祸事。事后虽然在她的哀求下免于一死，但也逼的吴氏一族子弟被迫纷纷辞官，并十年之内不得参加科举，这等于断了吴氏入仕的通道。
闻知此消息后，吴曦惊惧异常，她明白这不仅仅是等于皇帝厌弃了吴家，且十年之中吴氏一族没有任何人能够入仕，那么家族势力就会很快衰落，失去了崛起的根基，自己同时也失去了家族的助力，后位随之不稳。
受到严惩的吴家一时间也老实了很多，吴曦也想着在与皇帝缓和关系后再向皇帝求情，收回圣命。可当自己诞下皇子后，吴家又不安分起来，借着皇帝亲征不在宫中的机会，以探望为名频频入宫向她暗示要早立太子，并要她向籍地地方官员求情减免赋税，保留身份。
但是吴曦万万没有想到自家人拿着她的书信向地方官员施压抗税，并暗中指示士绅们围攻府衙，驱逐朝廷下派管理乡里的官吏。还不顾战事仍然继续，擅动乡绅进京请命，太学生伏阙上书，反对皇帝变法革新，借此逼皇帝让步。
可结果只是成为一场闹剧，陛下搁置立储，驱逐镇压进京士绅，说服了太学生，吴家也再度遭到打压，不得不析产分家，家族分崩离析，各奔东西。吴曦也遭到皇帝措辞极为严厉的申饬，身边亲信内侍被撤换，两人关系更加疏离。
吴曦那时真是寝食难安，担心皇帝会借机废后，后来听说是太后召陛下说话才让其按捺下了这个念头。虽然度过了这场危机，但吴曦怪家人不识时务的同时，也对陛下有怨恨之意，觉得其对自家不公。
