杨广是一个好色之徒，在父亲临死的时候，他就调戏过父亲的宣华夫人陈氏，杀死父亲夺得帝位后没过几天，他就把宣华夫人叫来与他同床共寝。他的后宫除了萧皇后和众多的贵人、美人，还有在西苑的16院夫人及宫女数千人。但杨广还是嫌不足，又下令江淮诸郡每年都要挑选资质端丽的童女送入宫中。
杨广除了好色，还生性好动。从大业元年（公元605年）起，他先后三次通过大运河到江都巡游。每一次游玩，气派都大得惊人。如第一次巡游江都，大小船只数千艘，他坐的船叫龙舟，高四十五尺，宽五十尺，长两百尺，有四层，上层为正殿和东西朝堂，中间二层有120间房子，装饰极为华丽，最下层为内侍宦官住所。随行的嫔妃、王公大臣船只数千艘首尾绵延长达二百余里，光是拉船的纤夫就有8万多人。船队所过的州县，五百里内都要贡献食物，都是水陆珍奇，佳肴美味，吃不掉就倒掉。这些食物所花金钱都是沿途官员盘剥百姓而来，这也就导致沿途许多百姓倾家荡产，民不聊生。
不仅如此，他还不惜民力，追求新奇，游玩的花样层出不穷。有一年，杨广不走水路，而走陆路去巡游。依旧气派非凡，带兵50万，旌旗辎重绵延千里。征调了10多个郡的民工，在太行山上为他开凿了一条通往并州的大道。又令民工在榆林至涿郡修建了一条长三千多里，宽百步的御道。同时，又征调100万人，限期20天，修筑长城，以保护他的安全。