高穎做了近二十年的宰相，與楊堅(jiān)的矛盾與曾出現(xiàn)過，例如楊堅(jiān)在開皇十八年的時(shí)候楊堅(jiān)要攻打高麗，而高穎堅(jiān)決不同意，但楊堅(jiān)堅(jiān)持要打，并派高穎為事實(shí)上的主帥，高穎只好服從。結(jié)果因?yàn)榧惨吡餍校婈?duì)十之**病死，無功而返。這件事本來是沒有什么好挑剔的，可是孤獨(dú)皇后卻節(jié)外生枝，在楊堅(jiān)面前中傷高穎，說什么高穎根本就不愿意去，你強(qiáng)迫他去了，我就知道準(zhǔn)是無功而還。她的意思是說，高穎陽奉陰違，消極抗命。這孤獨(dú)皇后本與高穎關(guān)系蠻好的，只是那次統(tǒng)軍名義上大的主帥漢王楊諒受了高穎的氣向她告狀，所以她才為兒子出氣中傷高穎。原來在那次遠(yuǎn)征中高穎掌握實(shí)際指揮權(quán)，而高穎為人，比較耿直，自覺責(zé)任重大，常常以大局為重，不避嫌疑。對(duì)于主帥楊諒的意見，也多不采納。所以楊諒恨透了他，返京后在母親孤獨(dú)皇后面前告他的狀說：兒萬幸沒有被高穎殺掉。對(duì)于這些事情，楊堅(jiān)就對(duì)高穎就有點(diǎn)憤憤不平，但是依然很是信任他。

    高穎與楊堅(jiān)幾十年的革命感情，楊堅(jiān)是不會(huì)僅僅因?yàn)橐粌纱蔚恼姴煌蛘咂渌说闹袀T免高穎的，楊堅(jiān)對(duì)于高穎還是有著信任與重用，后來高穎還領(lǐng)兵出征過突厥呢。楊堅(jiān)罷免高穎是因?yàn)楦叻f不支持自己廢太子，這是誰都不能反對(duì)的，所以高穎被罷免了。

    楊堅(jiān)知道高穎施支持太子的，所以曾經(jīng)以一種商量的口吻問高穎：有神憑告晉王妃，言晉王必有天下，若之何？高穎立即奏道長(zhǎng)幼有序，豈可廢乎？表明自己是堅(jiān)決不支持廢掉楊勇。高穎身為大隋最有權(quán)勢(shì)的當(dāng)朝大臣，朝野威望極高，又作為太子在朝野的中堅(jiān)力量，楊堅(jiān)要廢太子只有把這個(gè)跟了自己幾十年的高穎罷免。

    開皇十九（599年）年，當(dāng)有人告高穎泄露宮廷秘聞時(shí)，楊堅(jiān)不再像以前有人告高穎謀反是一樣殺了告密者，而是果斷下令追究高穎的罪行。對(duì)此上柱國賀若弼、兵部尚書柳述等一大幫朝廷重臣都上書申明高穎是被誣告的，楊堅(jiān)存心要整高穎，所以就把這些為他求情的人交給執(zhí)法人員問罪希望表明自己的決心。但是還是有不識(shí)趣的刑部尚書薛胄想依據(jù)刑律條文為高穎明雪辯解，楊堅(jiān)為震懾朝臣，就讓人給薛胄帶上刑具，這樣一來就沒有人給高穎申辯求情了。八月楊堅(jiān)正式下詔罷免高穎的尚書左仆射職務(wù)，讓他帶著一個(gè)齊國公的爵位回老家養(yǎng)老去，這意味著楊勇的**在朝野的徹底失勢(shì)。

    高穎罷免后，雖然對(duì)于太子將被廢一事已經(jīng)謠言四起，但楊堅(jiān)沒有立即廢掉楊勇，而是在等高穎被免一事在朝堂引起的震動(dòng)冷卻，因?yàn)槌⒌姆€(wěn)定才是頭等大事。直到開皇二十年(600)九月楊堅(jiān)接到東宮官姬威關(guān)于太子楊勇的報(bào)告書時(shí)，楊堅(jiān)才感到緊張，認(rèn)為太子楊勇會(huì)狗急跳墻動(dòng)手政變奪權(quán)。楊勇做了近二十年的開國太子可謂是根深蒂固、樹大葉茂，所以即使楊勇來自朝臣的最大支持高穎被罷免，其他勢(shì)力也都被楊堅(jiān)打壓分化，但是如果楊勇發(fā)起狠來能量還是很大的。這也是楊堅(jiān)想廢掉楊勇后不能立即廢掉，而是一步一步地消弱楊勇的勢(shì)力，使得廢太子一事水到渠成，這樣廢掉楊勇就不會(huì)引起朝野震動(dòng)，甚至政變內(nèi)亂。

    為防止楊勇的狗急跳墻，楊堅(jiān)接到姬威大報(bào)告書后立即從避暑的地方仁壽宮回到長(zhǎng)安城?；厝サ臅r(shí)候，楊堅(jiān)的車駕嚴(yán)加戒備，如臨大敵，警衛(wèi)重重。當(dāng)他晚上睡覺的時(shí)候楊堅(jiān)甚至擔(dān)心出現(xiàn)兵變，竟然從后殿搬到前殿居住以望能及時(shí)掌握局勢(shì)。第二天早朝時(shí)，楊堅(jiān)原以為朝臣都知道自己想廢太子的意思了，隨即問道：我新還京師，本應(yīng)開懷歡樂，為何如此憂郁愁悶?zāi)?這就是希望朝臣能夠呈報(bào)太子楊勇的過錯(cuò)，不知道吏部尚書牛弘是真的不懂還是裝著不懂忙稱臣等不稱職，使陛下憂愁勞累。楊堅(jiān)一看臣子居然不識(shí)，當(dāng)時(shí)就板起個(gè)臉，直接喝令將多個(gè)官屬太子左庶子唐令則等人逮捕交給有司問罪，最后直接叫楊素來陳述太子的過錯(cuò)。

    于是楊素就公開地說:我奉旨到京師，命令皇太子查核劉居士的余黨。太子接到詔書，臉色大變，表情非常憤怒，他對(duì)我說：‘劉居士的余黨都已伏法，讓我到哪里去追究呢？你作為右仆射，責(zé)任不輕，你自己去查核此事吧，關(guān)我什么事！’又說‘過去的禪讓大事要是不順利，我先得被殺，如今父親作了天子，居然讓我還不如幾個(gè)弟弟，凡事都不能自作主張！’他就長(zhǎng)嘆說：‘我覺得太不自由了’。

    最后楊堅(jiān)對(duì)朝會(huì)做了總結(jié)性的表示：這個(gè)兒子我很早就覺得不能夠繼承皇位了，皇后老勸我廢黜他，我認(rèn)為他是我作平民時(shí)生的，又是長(zhǎng)子，希望他能夠逐漸改正錯(cuò)誤，我已克制忍耐到現(xiàn)在了。楊勇曾經(jīng)指著皇后的侍女對(duì)人說：‘都是我的’。這話說的是多么地奇怪。他的妻子元妃剛死時(shí)，我很懷疑她是被毒死的，曾經(jīng)責(zé)問過楊勇，他就怨恨地說：‘應(yīng)當(dāng)殺掉元孝矩（太子妃的父親）?！@是想要害我而遷怒他人。長(zhǎng)寧王剛出生時(shí)，我和皇后一起抱來撫養(yǎng)他，楊勇卻心中另有想法，連連派人索要。況且云定興的女兒，是云定興在外面私合而生，想到她的出身來歷，又何能說必定是他的子女呢？以前晉太子娶了屠戶的女兒，他的兒子就喜歡屠宰之事。如今他們不是咱們這一類人，會(huì)亂了宗祠。我雖然德行不及堯舜，但終歸不能把天下百姓交付給品行不端的兒子！我總擔(dān)憂他會(huì)謀害我，對(duì)他就象防備大敵一樣，現(xiàn)在我打算廢掉他以安定天下。

    對(duì)于廢太子雖然已經(jīng)在朝野算是必行的事了，但是支持太子的人還是希望楊堅(jiān)能在最后時(shí)刻不要下詔，所以左衛(wèi)大將軍五原公元旻勸說楊堅(jiān)道：立大事，詔旨若行，后悔無及。讒言罔極，惟陛下察之。

    楊堅(jiān)已經(jīng)一心想廢掉楊勇，所以反對(duì)的意見是多余的，為了廢太子一事變得理所當(dāng)然，楊堅(jiān)命令早已背叛了楊勇的東宮官員姬威把太子的罪惡都講出來。姬威回答：子向來對(duì)我講話，意氣極為驕橫，還說：‘是有勸我的人，就該殺掉他。殺百把人，自然就永遠(yuǎn)清靜了。’又營(yíng)建樓臺(tái)宮殿，一年四季都不停止。先前蘇孝慈被解除左衛(wèi)率官職的時(shí)候，太子憤怒得胡子都翹起來了，他揮著胳膊說：‘大丈夫終會(huì)有一天，不會(huì)忘記此事，一定要?dú)⒎Q斷以求痛快！’另外，東宮內(nèi)所索取的東西，尚書經(jīng)常恪守制度不給，太子往往立即發(fā)怒，說：‘仆射以下的人，我可以殺一、兩個(gè)，讓你們知道怠慢我的災(zāi)禍。’太子常說：‘皇父厭惡我有許多姬妾，北齊后主高緯、陳后主陳叔寶是庶子嗎？’太子曾令女巫占卜吉兇，他對(duì)我說：‘皇帝的忌期在開皇十八年，這個(gè)期限快到了?！瘲顖?jiān)聽后流著淚說：誰不是父母所生，他竟然這樣！我近來翻閱《齊書》，看到高歡縱容他的兒子，就非常氣忿。怎么能仿效這種人呢？

    最后楊堅(jiān)下詔把楊勇和他的幾個(gè)兒子都拘禁起來，并逮捕了他的部分東宮官員，派楊素查清楊勇及**其他人員的罪行。后楊素秉承楊堅(jiān)旨意先后把**的元旻、元弘投進(jìn)了監(jiān)獄，并奏報(bào)楊堅(jiān)太子楊勇貯存火把兵器，飼養(yǎng)戰(zhàn)馬意圖謀反，同時(shí)把東宮的服飾玩器，凡是有雕刻縷畫裝飾的器物都陳列在宮庭里，展示給文武群臣，作為太子的罪證。