不等高穎說完，隋文帝就生氣了，說：“我有時出巡，衛(wèi)士應(yīng)選勇敢的人，太子坐在東宮，需要什么壯士？我知道前朝的舊事，你不必多說了。”

隋文帝的意思是說，我知道你的兒子娶了楊勇的女兒為妻，你不必徇私袒護(hù)太子了，隋文帝的話使高穎很難堪。

高穎夫人死后，獨孤皇后故意對隋文帝說：“高仆射年老了，今喪夫人，陛下應(yīng)該為他續(xù)娶一個?！?/p>

隋文帝覺得有道理，勸說高穎續(xù)娶，高穎辭謝道：“臣已老，以后退朝只是齋居讀佛經(jīng)而已，感謝陛下關(guān)愛，續(xù)娶非臣所愿。”

隋文帝見狀，就不再強(qiáng)勸。不久，高穎生下了一個兒子，隋文帝很高興，獨孤皇后卻不高興，她對隋文帝說：“陛下還相信高穎嗎？當(dāng)初陛下想為他續(xù)娶，高穎心存愛妾，欺騙君主，怎能再相信他?！?/p>

隋文帝轉(zhuǎn)念一想，覺得很有道理，從此不再相信高穎。

不但獨孤皇后陷害高穎，楊廣這邊也加緊了陷害高穎的步驟。

公元599年9月，隋文帝審查王世積案，竟得出了高穎與王世積勾結(jié)的結(jié)論。隋文帝接報后，立馬免去高穎上柱國、左仆射的職務(wù)，但是仍保留齊國爵位，回到府中賦閑。楊堅不知道，這是楊廣的陰謀，他知道高穎是楊勇的后臺，所以暗中買通獄卒，制造偽證，陷害高穎。

楊廣見沒有整死高穎，還不罷休，繼續(xù)伺機(jī)陷害。

不久，楊廣又唆使高穎府內(nèi)的國令上書，誣蔑高穎的兒子高表仁勸慰其父說：“司馬懿當(dāng)初稱病不朝，終于獲得天下，父親今和當(dāng)年司馬懿遭遇一樣，焉知非福?！?/p>

隋文帝看了上書之后，怒從心頭起，馬上命令抓捕高穎，交內(nèi)史省審問。楊廣早已買通內(nèi)史省官員，幾天后，內(nèi)史省官員向隋文帝報告審查結(jié)果，稱有人對高穎說：“明年國有大喪?！薄笆?、十八年，皇帝在大厄，十九年不可過。”

當(dāng)年正好是開皇十九年，隋文帝聽到這個消息后，氣得差點昏了頭。對群臣說：“帝王豈可力求，孔子以大圣之才，還不能得天下。高穎與兒子談話把自己比作晉帝，居心不良呀?！?/p>

有人請求殺高穎以謝天下，隋文帝說：“我這一二年殺了好幾個大臣，今年又殺，天下人會怎么看我？”于是將高穎削職為民。

除此，楊廣還很傾心結(jié)交其他掌權(quán)的大臣，厚待他們，以致大臣都說楊廣人品很好。

一次，隋文帝密令善觀相的來和，暗中觀察諸子的面相，來和看完后，瞇著眼對隋文帝說：“晉王（楊廣）眉上雙骨隆起，貴不可言?！?/p>

隋文帝又問上儀同三司韋鼎：“我的兒子中哪個可以登大位？”

韋鼎也暗示是楊廣。隋文帝聽罷，若有所思地點點頭。