绍兴三十一年（1161年），金主完颜亮果然亲自率领60万大军，大举南下，相继攻占庐州（今安徽合肥）、和州（今安徽和县），且陈兵瓜州渡口，打算渡江灭宋。但不久，金国内乱，完颜亮于兵变中被杀，金军撤兵北还。南宋朝廷这才转危为安。
金人南侵失败后，各地军民抗金热情高涨，纷纷要求北伐收复失地。赵构在这种情况之下，十分尴尬，无法再坚持自己议和的主张，再加上他已垂垂老矣，希望能够安心地享几年清福，于是便于次年六月，下诏退位，传位于太子赵昚，自己做起了太上皇。
自此以后，赵构专心享受，每天宴饮歌咏，听曲看戏，有时候，还泛舟西湖，其乐融融。赵构政治无能，但在书法上造诣极高。他擅长行、草，笔法清丽洒脱，自然流畅，颇有晋朝名家的风范。退位后，赵构无所事事，就勤练书法，修心养性。他还经常派人到民间去搜寻名家墨宝，对之观赏临摹，自娱自乐。他著有《翰墨志》一卷，流传于世。