治书侍御史、安定人梁毗，认为苏威身领五职，安恋繁重的工作，而没有举贤自代之心，上表弹劾苏威。杨坚说：“苏威朝夕孜孜不倦，志存远大，为什么要逼他？”又对朝臣说：“苏威如果不是遇到我，便无法畅所欲言；我如果不是得到苏威，就不能推行其道。杨素才辩无双，但是，要斟酌古今，协助我弘扬教化，就无法和苏威相比。苏威如果身逢乱世，就是南山四皓一样的人物，他岂能委屈自己呢？”苏威曾经对杨坚说：“臣的先父每每告诫臣说：‘唯读《孝经》一卷，足以立身治国，用不着再读别的书!’”杨坚深以为然。
高颎深避权势，上表逊位，让于苏威，杨坚想要成全其美，批准他解除仆射职务。过了数日，杨坚又说：“苏威在前朝隐居不仕，是高颎推举了他。我听闻进贤受上赏，怎能让高颎离职呢？”命高颎复位。高颎、苏威同心协赞，政刑无论大小，杨坚无不与他们谋议，然后推行。所以革命数年，天下称平。