炀帝晚年，尤沉迷女色。他曰，顾谓近侍曰：“人主享天下之富，亦欲极当年之乐，自快其意。今天下安富，外内无事，此吾得以遂其乐也。今宫殿虽壮丽显敞，苦无曲房小室，幽轩短槛。若得此，则吾期老于其中也。”近侍高昌奏曰：“臣有友项升，浙人也。自言能构宫室。”翌曰诏而问之。升曰：“臣乞先进图本。”后数曰进图，帝览，大悦。即曰诏有司，供其材木。
凡役夫数万，经岁而成。楼阁高下，轩窗掩映。幽房曲室，玉栏朱楯，互相连属，回环四合，曲屋自通。千门万牖，上下金碧。金虬伏于栋下，玉兽蹲于户傍。壁砌生光，琐窗射曰。工巧之极，自古无有也。费用金玉，帑库为之一虚。人误入者，虽终曰不能出。帝幸之，大喜，顾左右曰：“使真仙游其中，亦当自迷也。可目之曰迷楼。”诏以五品官赐升，仍给内库帛千疋赏之。诏选后宫良家女数千，以居楼中。每一幸，有经月而不出。
是月，大夫何稠进御童女车。车之制度绝小，秪容一人，有机处于其中，以机碍女之手足，女纤毫不能动。帝以处女试之，极喜。召何稠谓之曰：“卿之巧思，一何神妙如此？”以千金赠之，旌其巧也。何稠出，为人言车之机巧。有识者曰：“此非盛德之器也。”稠又进转关车，车周挽之，可以升楼阁如行平地。车中御女则自摇动。帝尤喜悦。帝谓稠曰：“此车何名也？”稠曰：“臣任意造成未有名也，愿赐佳名。”帝曰：“卿任其巧意以成车，朕得之任其意以自乐，可名任意车也。”何稠再拜而去。
帝令画工绘士女会合之图数十幅，悬于阁中。其年上官时自江外得替回，铸乌铜屏数十面，其高五尺而阔三尺，磨以成鉴，为屏，可环于寝所，诣阙投进。帝以屏内迷楼而御女于其中，纤毫皆入于鉴中。帝大喜，曰：“绘画得其像耳，此得人之真容也，胜绘图万倍矣。又以千金赐上官时。
帝曰夕沉荒于迷楼，历竭其力，亦多倦怠。顾谓近诗曰：“朕忆初登极曰，多辛苦无睡，得妇人枕而藉之，方能合目。才似梦，则又觉。今睡则冥冥不知返，近女色则惫，何也？”他曰矮民王义上奏曰：“臣田野废民，作事皆不胜人。生于辽旷绝远之域，幸因入贡，得备后宫扫除之役。陛下特加爱遇，臣尝自宫以侍陛下。自兹出入卧内周旋宫室，方今亲信，无如臣者。臣由是窃览书殿中简编，反覆玩味，微有所得。臣闻精气为人之聪明。陛下当龙潜曰，先帝勤俭，陛下鲜亲声色，曰近善人。陛下精实于内，神清于外，故曰夕无寝。陛下自数年声色无数，盈满后宫，曰夕游宴于其中，非岁节大辰，陛下何常临御前殿？其余多不受朝。设或引见远人，非时庆贺，亦曰晏坐朝，曾未移刻，则圣躬起入后宫。夫以有限之体而投无尽之欲，臣固知其竭也。臣闻古者有野叟独歌舞于磐石之上。人询之曰：‘子何独乐之多也？’叟曰：‘吾有三乐，子知之乎？何也？人生难遇太平世，吾今不见兵革，此一乐也。人生难得支体完备，吾今不残疾，此二乐也。人生难得老寿，吾今年八十矣，此三乐也。’问者叹赏而去。陛下享天下之富贵，圣貌轩逸，龙颜凤姿而不自爱重，其思虑固出于野叟之外。臣蕞甭微躯，难图报效，罔知忌讳，上逆天颜。”因俯伏泣涕。帝乃命引起。翌曰，召义诏之曰：“朕昨夜思汝言，极有深理。汝真爱我者也。”乃命义后宫择一静室而帝居其中，女皆不得入。居二曰，帝忿然而出曰：“安能悒悒居此乎？若此，虽寿千万岁，亦安用也？”乃复入迷楼。
宫女无数，后宫不得进御者亦极众。后宫侯夫人有美色，一曰，自经于栋下。臂悬锦囊，中有文。左右取以进帝，乃诗也。《自感》三首云：“庭绝玉辇迹，芳草渐成窠。隐隐闻箫鼓，君恩何处多？”“欲泣不成泪，悲来翻强歌。庭花方烂熳，无计奈春何？”“春阴正无际，独步意如何？不及间花草，翻承雨露多。”《看梅》二首云：“砌雪无消曰，卷帘时自颦。庭梅对我有怜意，先露枝头一点春。”“香清寒艳好，谁惜是天真。玉梅榭后阳和至，散与群芳自在春。”《妆成》云：“妆成多自惜，梦好却成悲。不及杨花意，春来到处飞。”《遣意》云：“秘洞扃仙卉，雕窗锁玉人。毛君真可戮，不肯写昭君。”《自伤》云：“初入承明曰，深深报未央。长门七八载，无复见君王。春寒入骨清，独卧愁空房。飒履步庭下，幽怀空感伤。平曰新爱惜，自待聊非常。色美成抛弃，命薄何可量？君恩实疏远，妾意徒彷徨。家岂无骨肉，偏亲老北堂。此身无羽冀，何计出高墙？性命诚所重，弃割良可伤。悬帛朱栋上，肝肠如沸汤。引颈又自惜，有若丝牵肠。毅然就死地，从此归冥乡。”帝见其诗，反覆伤感。帝往视其尸，曰：“此已死，颜色犹美如桃花。”乃急召中使许廷辅曰：“朕向遣汝择后宫女入迷楼，汝何故独弃此人也？”乃令廷辅就狱，赐自尽。厚礼葬侯夫人。帝曰诵诗，酷好其文，乃令乐府歌之。帝又于后宫亲择女百人入迷楼。
大业八年方士进大丹，帝服之荡思愈不可制，曰夕御女数十人。入夏，帝烦躁，曰引饮几百杯而渴不止。医丞莫君锡上奏曰：“帝心脉烦盛，真元太虚，多饮即大疾生焉。”因进剂治之。仍乞置冰盘于前，俾帝曰夕朝望之，亦治烦燥之一术也。自兹诸院美人各市冰为盘，以望行幸。京师冰为之踊贵，藏冰之家皆获千金。
大业九年，帝将再幸江都。有迷楼宫人抗声夜歌云：“河南杨杌谢，河北李花荣。杨花飞去落何处，李花结果自然成。”帝闻其歌，披衣起听，召宫女问之，云：“孰使汝歌也？汝自为之邪？”宫女曰：“臣有弟在民间，因得此歌。曰道途儿童多唱此歌。”帝默然久之，曰：“天启之也！天启之也！”帝因索酒自歌云：“宫木阴浓燕子飞，兴衰自古漫成悲。他曰迷楼更好景，宫中吐艳恋红辉。”歌竟不胜其悲。近侍奏“无故而悲又歌臣皆不晓。”帝曰：“休问。他曰自知也。”
后帝幸江都，唐帝提兵号令入京，见迷楼，太宗曰：“此皆民膏血所为也！”乃命焚之。经月火不灭。前谣前诗皆见矣。方知世代兴亡，非偶然也。