绍兴三十一年(1161年),金主完颜亮果然亲自率领60万大军,大举南下,相继攻占庐州(今安徽合肥)、和州(今安徽和县),且陈兵瓜州渡口,打算渡江灭宋。但不久,金国内乱,完颜亮于兵变中被杀,金军撤兵北还。南宋朝廷这才转危为安。
金人南侵失败后,各地军民抗金热情高涨,纷纷要求北伐收复失地。赵构在这种情况之下,十分尴尬,无法再坚持自己议和的主张,再加上他已垂垂老矣,希望能够安心地享几年清福,于是便于次年六月,下诏退位,传位于太子赵昚,自己做起了太上皇。
自此以后,赵构专心享受,每天宴饮歌咏,听曲看戏,有时候,还泛舟西湖,其乐融融。赵构政治无能,但在书法上造诣极高。他擅长行、草,笔法清丽洒脱,自然流畅,颇有晋朝名家的风范。退位后,赵构无所事事,就勤练书法,修心养性。他还经常派人到民间去搜寻名家墨宝,对之观赏临摹,自娱自乐。他著有《翰墨志》一卷,流传于世。