这与娄师德的处世法则有很大关系。他自责、努力、与人为善，可他最大的特点却是习惯于逆来顺受，就算有人当面向他吐口水，为了不激怒对方，娄世德绝对不会擦。世人都认为娄师德是个没骨气的人，故步自封小心翼翼，朝中有气节之人，如陈子昂、狄仁杰等人都不屑与之为伍，但是，武则天却异常喜爱娄师德，这引起了朝中大臣的不满。其中，与娄师德同为宰相的狄仁杰意见最大。
有一天，狄仁杰向武则天上疏，要求将自己与娄师德的办公地点分开，因为这个娄师德为人确实宽厚，但性格懦弱，身居要职却不思进取，狄仁杰的潜台词其实就是要武则天把娄师德的宰相职位给撤了。
武则天明白狄仁杰的意思，她问：“宰相之职不可随意更换，我想问爱卿，师德是贤人吗？”
狄仁杰想了想，说：“师德为将能固守边陲，多年来抵抗吐蕃入侵，功劳甚大，但从不主动出击，也误了不少战机，忠诚可嘉，但贤能不足。”
武则天摇了摇头，说：“仪凤三年，唐军18万兵马大败于吐蕃，有全军覆没之险，是娄师德挺身而出，收集散亡将士，随后，又出使吐蕃，宣扬休战求和之意，以此稳住吐蕃，趁机巩固防线，这才有后来大将黑齿常之在良非川大胜吐蕃军之辉煌。试问爱卿，师德不逞一时之勇，不以一己之私，甘愿背负骂名与异邦议和换来大唐安宁，可是贤人？”