杨广是一个好色之徒,在父亲临死的时候,他就调戏过父亲的宣华夫人陈氏,杀死父亲夺得帝位后没过几天,他就把宣华夫人叫来与他同床共寝。他的后宫除了萧皇后和众多的贵人、美人,还有在西苑的16院夫人及宫女数千人。但杨广还是嫌不足,又下令江淮诸郡每年都要挑选资质端丽的童女送入宫中。
杨广除了好色,还生性好动。从大业元年(公元605年)起,他先后三次通过大运河到江都巡游。每一次游玩,气派都大得惊人。如第一次巡游江都,大小船只数千艘,他坐的船叫龙舟,高四十五尺,宽五十尺,长两百尺,有四层,上层为正殿和东西朝堂,中间二层有120间房子,装饰极为华丽,最下层为内侍宦官住所。随行的嫔妃、王公大臣船只数千艘首尾绵延长达二百余里,光是拉船的纤夫就有8万多人。船队所过的州县,五百里内都要贡献食物,都是水陆珍奇,佳肴美味,吃不掉就倒掉。这些食物所花金钱都是沿途官员盘剥百姓而来,这也就导致沿途许多百姓倾家荡产,民不聊生。
不仅如此,他还不惜民力,追求新奇,游玩的花样层出不穷。有一年,杨广不走水路,而走陆路去巡游。依旧气派非凡,带兵50万,旌旗辎重绵延千里。征调了10多个郡的民工,在太行山上为他开凿了一条通往并州的大道。又令民工在榆林至涿郡修建了一条长三千多里,宽百步的御道。同时,又征调100万人,限期20天,修筑长城,以保护他的安全。