太子杨勇奢侈、好色，渐渐失宠。杨广却不同，礼贤朝士，敬接文人，大臣中想成就一番事业者，皆倾心与杨广相结。文帝每次派左右宣召杨广，杨广总是不论贵贱，迎门接引，好生款待，临走再送上重礼。尤其是皇后的左右，更为礼敬有加。因此文帝、皇后的左右，无不甚称其仁，交口赞誉。有一次观猎，遇上大雨，左右进雨衣，杨广却说：“卒士皆露湿，我独衣此乎！”杨广声名日著的同时，太子杨勇则江河日下，而且最要命的是，他因好色竟冲撞独孤皇后，从而导致了一场王朝悲剧。杨勇的太子妃元氏，是前朝元魏的皇族，金枝玉叶，门第高贵。独孤氏很是喜欢元氏。但元氏在美人成堆的后宫中，算不上美丽，自然就不会为好色的杨勇所宠爱，杨勇宠爱的是另一位沉鱼落雁的美姬云氏。云氏出身低贱，却美丽聪慧无比。独孤皇后为此常斥责太子，要太子礼敬、爱护元氏，疏远云氏。太子表面上答应，不过是敷衍而已。可是爱又不是能够强求的，元氏只有伤心落泪。

过不多久，元氏突然暴病身亡了。而几乎与此同时，云氏又生下了一个儿子，即是文帝杨坚的嫡长孙。文帝为此很高兴，可独孤皇后则大不以为然，而且还怀疑是太子杨勇杀死了元氏。独孤皇后对太子宠爱美妾由厌恶而生恨，认为做皇帝的老子尚别无姬妾，身为太子的却如此贪恋女色，日后如何能够成就大事？皇后就派人侦伺太子的行踪，将其不当的言行经常转奏杨坚，说这儿子不堪重用。杨勇生来又率性惯了，不注意检点，有两件事情让杨坚也厌恶起来。于是，太子的被废就成了一种必然。

一次是大阅的时候，太子杨勇奉命参加这次文帝主持的大典。杨勇的铠甲上，装饰了金珠彩玉。杨坚崇尚节俭，太子的如此行为，当然引起了杨坚的愤怒，便当众斥责了太子。

冬至节是宫中的重要节日。这年冬至到了，太子宫中张灯结彩，朝廷百官鱼贯而入，拜贺太子。太子坐在高高的椅子上，在东宫郑重其事地接受百官的贺礼跪拜，俨然是一朝天子。场面宏大，景象十分壮观。文帝杨坚依然还在，并主持着朝政，听到东宫的这般贺拜，文帝的心境自然可想而知。文帝又爱猜忌，觉着朝臣对自己的冷落便意味着至高皇权的转移，太子取代皇帝之位只不过是个时间的先后而已。文帝哪里受得了这个？这江山社稷还是得自己说了算的！文帝恼羞成怒。第二天，朝堂上百官依序排列。文帝冷冷地责问众臣：“听说昨日满朝公卿，都去东宫朝贺，这是什么礼节？”百官一时间都傻眼了。这不是公开了皇帝与太子之间的争权吗？这不就意味着将有一场残酷的或明或暗的血腥争斗？百官们面面相觑，不知所措。太常少卿辛亶素有急智，见问随即出班答道：“于东宫是贺，不得言朝。”文帝冷笑道：“改节称贺，正可三数十人，逐情各去，何因有司征召，一时普集，太子法服设乐以待之？东宫如此，殊乖札制。”百官受到了文帝的斥责，文帝郑重地下诏：“礼有等差，君臣不杂。爱自近代，圣教渐亏。俯仰逐情报，因循成俗，皇太子虽居上嗣，义兼臣子，而诸方岳牧，正冬朝贺，任土作贡，别上东宫。事非典则，宜悉停断。”百官们一身虚汗，诚惶诚恐。自此以后，文帝对太子的恩宠始衰，渐生疑阻。

文帝吩咐选宗卫侍官，以入上台宿卫，而且尽取精强力壮者。大臣高颍进奏说：“若尽取强者，恐东宫宿卫太劣。”文帝作色说道：“我有时行动，宿卫须得雄毅。太子毓德东宫，左右何须强武？此极敝法，甚非我意。如我商量，恒于交番之日，分向东宫上下，团伍不别，岂非好事？我熟见前代，公不须仍踵旧风。”文帝之所以如此措词严厉，是因为高颍与太子杨勇是亲家。高颍的儿子，娶杨勇的女儿，文帝觉其私下有鬼。

太子杨勇江河日下。次子晋王杨广知道有机可乘，便行动起来。太子好色，宫中多内宠，独孤皇后很厌恶这个，尤其是见不得太子冷遇正配元氏，而宠昭训云氏。晋王杨广就“弥自矫饰，姬妾胆备员数，唯共萧妃居处”。独孤皇后知道这些以后，“由是薄勇，愈称晋王德行。其后晋王来朝，车马侍从，皆为俭素，敬接朝臣，礼极卑屈，声名籍甚。冠于诸王”。

南朝陈被灭，扬州须派一重臣前去镇守。文帝在独孤皇后的影响下，也由信任到倚重晋王杨广。于是，文帝任杨广为扬州总管，坐镇南方。杨广临行前，到后宫辞别独孤皇后，浓情地说道：“臣镇守有限，方违颜色，臣子之恋，实结于心。一辞阶闼，无由侍奉，拜见之期，杳然末日。”说罢已是哽咽流涕，伏不能起。

独孤皇后见次子如此动情，也伤感地说道：“汝在方镇，我又年老，今者之别，有切常离。”说着，也是潸然泪下，母子相对欷歔。晋王杨广适时地说道：“臣性愚下，常守平生昆弟之意。不知何罪。失爱东宫，恒蓄盛怒，欲加屠陷。每恐谗谮生于投杼，鸩毒遇于杯勺，是用勤忧积念，惧履危亡。”独孤皇后闻言盛怒，忿然说道：“地伐（杨勇字）渐不可耐。我为伊索得元家女，望隆基业，竟不闻作夫妻，专宠阿云，使有如许豚犬。前新妇本无病痛，忽尔暴亡，遣人投药，致此夭逝。事已如是，我亦不能穷治，何因复于汝处发如此意？我在尚尔，我死后，当鱼肉汝乎？每思东宫竟无正嫡，至尊千秋万岁之后，遣汝等兄弟向阿云儿前拜问讯，此是几许大苦痛邪！”晋王再拜，呜咽不能止。皇后也是悲不自胜。太子的废黜此时已经形成定局。

杨广知道了皇后的意思，就和心腹张街定策，遣褒公宇文述深交越国公杨素的弟弟杨约，让杨约转告杨素皇后的意思。杨素大惊失色，瞿然地说道：“但不知皇后如何？必如所言，吾又何为者！”几天以后，杨素入内侍宴，微称晋王孝悌恭俭，有类至尊。杨素以此试试皇后，看是什么意思，想不到皇后听后流着泪说：“公言是也。我儿大孝顺，每闻至尊及我遣内使到，必迎于境首，言及违离，未尝不泣。又其新妇亦大可怜。我使婢去，常与之同寝共食。岂若地伐共阿云相对而坐，终日酣宴，昵近小人、疑阻骨肉。我所以益怜阿（杨广小名）者，常恐暗地杀之。”杨素知道了皇后的心意，就势大谈太子不才，赞誉晋王。皇后于是赠送杨素黄金。废黜太子便已开始。