当赵惇在宫中听到外朝皇帝朝会的钟鼓声响起时，他非常清楚那不是自己吩咐下去的。到底是谁，敢大胆地动用天子礼乐呢？
不多时，有几个大臣过来拜见赵惇。他们称赵惇“太上皇”。赵惇这才明白：原来我已经不是皇帝了啊！这几个大臣是遵照新皇帝赵扩的意思，“恭请”太上皇出宫。赵惇没有反抗，也没有大吵大闹，只是平淡地说了一句：“怎么事先也不告诉我一声啊？”
赵惇无可奈何地收拾起行囊，搬出皇宫。李凤娘也随丈夫搬出宫去，成为太上皇后。即位前，赵惇对皇位充满了期待，甚至有些急不可耐。但在位的五年间，他毫无作为，没有从皇位中得到丝毫的享受或是快慰，只有无聊的辛苦和疲倦。当车驾缓缓离开皇宫的那一刻，赵惇有了父亲赵昚当年那种如释重负的感觉。赵惇过了六年单调的太上皇生活后，郁郁而终，史称宋光宗。
宋光宗赵惇是古代唯一一个因为不孝而失去合法性，被大臣们废黜的皇帝。