杨坚也动了废立之心，有一次他试探着问高颎说：“晋王杨广的王妃萧氏被神附体，说晋王必有天下，你怎么看？”
高颎立马明白了杨坚的潜台词，赶忙跪下说，“长幼有序，其可废乎！”
杨坚默然不语，暂时打消了废黜太子的念头。
与一般的大臣不同，高颎与杨坚夫妇有着密切的私交。
高颎的父亲高宾曾当过独孤皇后父亲独孤信的僚佐。独孤信为宇文护所逼，自杀于家中，其妻子也被流放至蜀地。但高宾却没有人走茶凉，失去依怙的独孤伽罗也视其为故旧，经常与其家往来。
杨坚摄政北周时，需要得力可靠的助手，就想引高颎入相府。高颎也马上表态说，“愿受驱驰。纵令公事不成，颎亦不辞灭族。”
杨坚的眼光没错，隋朝能在短期之内成为中国历史上最强盛的时期之一，出将入相的高颎功不可没。
高颎也由此成为隋朝第一大臣，其次子表仁也娶了太子杨勇女儿。高颎当朝执政近二十年，位极人臣，被称为“真宰相”。
但他的母亲却说：“你富贵已极，就差砍头了！”
自从上次高颎说了那句“陛下岂以一妇人而轻天下！”后，独孤皇后就一直很不痛快。
本来劝架难免会说些过头话。再说高颎所说的“妇人”也未必是指独孤皇后，也可以认为是指尉迟贞。但敏感的独孤皇后可不这么想，这位女权主义者认为高颎称其为“妇人”是对她的轻蔑和侮辱。于是乎，两代人的交情一笔勾销。
有时候讨好一个人需要几十年的努力，但让她翻脸无情却只要一句话。
高颎这次阻挠杨坚废黜杨勇，更是让独孤皇后下决心除掉他。
这时正好高颎的爱妾生了个儿子，杨坚知道了也挺高兴。可独孤皇后却装出一副不悦之色，对杨坚说：“你还相信高颎？当年你要为他再娶，他嘴上说的可是清心寡欲，可不成想心里却想的是他的爱妾，这是面欺陛下！”
之前高颎的夫人去世，独孤皇后也曾要杨坚为他张罗再娶。可高颎却流涕谢绝了，说自己年纪大了，退朝后也只是诵读佛经而已，不愿再娶妻室了。
本来杨坚根本没想到这茬，但独孤皇后趁势说：“由此可见高颎其人之诈伪，陛下你还能信他吗？！”，一下子把一件家务小事上升成了政治立场的原则性问题。
这一句挑拨话明显起到了作用，杨坚开始疏远高颎。
同时杨坚也加强了对太子杨勇的戒备。他把太子东宫卫队中强健者全都抽调到自己的警卫部队里来。高颎奏称，若尽取强者，恐怕东宫宿卫太弱，难以保障太子安全。闻此言，杨坚勃然作色，说：“我有时要出外行动，宿卫须得雄毅。太子常在东宫，左右何须强武？”，把高颎训斥一通，而内心中对其的猜疑更重一层。
开皇十八年，杨坚准备攻打高句丽。高颎力谏不可，但杨坚却不听。他以汉王杨谅为元帅、高颎为元帅长史征讨辽东。最后出师不利，碰到雨季和疾疫，只能无功而返。
这本是杨坚先生决策的失误，但独孤皇后却说：“高颎本来就不想去，你硬要他去，我早就知道他必是无功而返。”这样，征讨高丽失败的责任就全落在高颎身上，是他心怀不满，故意打的败仗。
让杨谅皇子监军，本是杨坚给他增加资历的机会。杨坚也知道杨谅年轻，一切军务实际让高颎全权负责。但少不更事的杨谅，却在军中指手划脚起来。老成持重、一心为公的高颎自然不会理会他的胡说八道。
毕竟兵凶战危，杨谅没被凝固汽油弹烧成挂炉烤鸭已是要感谢高颎。但他丝毫不领情，还朝之后也告起了高颎的黑状，说高颎目无君上、擅作威福，自己差一点被他杀掉云云。
杨坚对高颎的不满终于达到了顶点。借助一桩冤案，杨坚罢免了高颎的官职，让他回家抱孩子去了。杨广夺嫡路上的障碍已全被清除，直等那最后的致命一击。 |
