后来，潘玉儿给皇帝生了个女儿，可只过了一百天，孩子就死了。当年皇帝的爹死了，他照样喝酒吃肉，穿锦着绣，一点都不伤心。而这回潘玉儿给他生的女儿死了，他却伤心大哭，身着粗布衣服，只肯吃素菜，过了一个多月都没有听歌观舞。还是他那帮亲信善解人意，看他这般难过，就一起做出好吃的来劝他吃，还号称“为天子解菜”。

　　于是，为了缓解自己的伤心，也为了安慰心爱的潘玉儿，让她开心，萧宝卷决定大建宫室。

　　他对旧有的宫殿本来就不太满意。当年齐武帝萧赜修建兴光楼，用青漆刷屋顶，所以这座楼又被叫做“青楼”，可在萧宝卷看来，这也太小家子气了，便轻蔑地说：“武帝真笨，干嘛不用琉璃铺顶呢。”永元三年(501年)，宫里发生了一场大火灾。那时皇帝正在外面出游，按他的命令，外人不得打开宫门，结果宫里的人烧死无数，三千间房屋烧得一间也不剩。旧的不去，新的不来。皇帝正好借此大修新宫殿。他身边的一班亲信，暗地里被民间称为“鬼”。有一个赵“鬼”，会念《西京赋》这时就给他引经据典：“柏梁既灾，建章是营”。于是，皇帝大兴土木，建起芳乐、芳德、仙华、大兴、含德、清曜、安寿等宫殿，又特别为潘玉儿修建了神仙、永寿、玉寿三殿。每座宫殿都极尽奢华之能事，拿黄金白玉之类装点的十分绚烂，穷工技巧，富丽堂皇。其中，给潘玉儿住的玉寿殿，还特地做了一顶飞仙帐，四面织锦铺绣，窗间画满了神仙飞舞飘荡的图样，其中描绘的灵兽神禽，风云华炬之类的都是用金银制成。在宫殿的檐角还悬挂着各式各样的铃佩。为了让潘玉儿的宫殿更为华丽，皇帝可谓搜尽一切宝藏，他命人把宫内外古代文物中上的玉饰凿剥下来作装饰之用。甚至连佛寺也不肯放过，庄严寺的玉九子铃，外国寺的佛面光相，禅灵寺塔上的各种宝珥，都被他弄了来，重新剖剔一新，装点潘玉儿的宫殿。皇帝还很着急，恨不得新宫殿一夜之间就能建好。执役的工匠从早到晚，忙个不停，他还嫌太慢，仍是催促不已。南朝佛寺本多，情急之下，督建官员就大拆各个佛寺殿堂的藻井、仙人、骑兽等物，涂饰一新后直接安装上去。

　　皇帝还喜欢园林景致，他把阅武堂改建成芳乐苑。那时是盛夏，天气很热，但他还是迫不及待地命人在园中栽树，早上种下去，晚上就死了，死了就继续种，工匠们不停地搬进活树，挪出死树，到最后也没有一棵树活下来。于是，为了保持园林常绿，就在城里城外大肆搜刮，见树就取，破门毁院的从居民家里把树木倒腾出来。不少几人合抱的大树，费尽人工移到宫内，没过多久就枝黄叶落，只供一时赏乐罢了。花园的阶庭之内全部用细草铺地，绿色茵茵，都是刮取的草皮覆盖在上头，太阳一晒就枯死了，还得不停更换，以保持常绿常新。皇帝的审美爱好很特别，他命令花园里的石头都要涂上彩色，看上去五彩斑斓，光怪陆离；又横跨池水盖起紫阁诸楼，在墙壁上画满春宫画，用来观赏淫乐。