洪武四年（1371）正月，朱元璋任命汪广洋为右丞相，胡惟庸为中书左丞，同时赐刘基告老还乡。二月，刘基第二次回到青田。
可是，刘基在家仍不得安稳。当初，刘基请求在浙闽之间一片名叫“淡洋”的空旷地带设立巡检司，恰好碰到逃军造反。刘基派长子刘琏入京报告朱元璋，没有先通知中书省。胡惟庸以左丞掌中书省大权，心中一直怨恨刘基以前反对自己做丞相，此时遂乘机报复。他指使刑部尚书吴云派人陷害刘基，说淡洋之地有王气，刘基想占为己有作为墓地，百姓反对，他便请设巡检司，结果激成事变。这无异于谋篡，于是朱元璋削夺了他的俸禄。从朱元璋后来的《钦赐归老青田诏书》来看，朱元璋对胡惟庸深信不疑，认为刘基不可饶恕。
刘基明白，沉默是金就是最好的选择。为了消除朱元璋的疑忌，他立即回到京师，不作任何辩解。
洪武六年（1373），丞相汪广洋被贬广东，胡惟庸为相，独掌中书大权。刘基对此感到忧愤不已，还因此得了一场病。