杨素因为征突厥有功，进他的儿子玄感位为柱国，玄纵为准南郡公，赏绢二万段，独孤皇后去世，陵墓的建造规格，多出于杨素，文帝很称赞。赐田三十顷，绢万段，米万石，金钵一，装满了金子，银钵一，装满了珠子，并绫锦五百段，当时贵宠无比，他的弟弟杨构，堂叔父杨文思、文纪，及族父杨异，都是尚书列卿。诸子即使没有汗马功劳，也都位至柱国、刺史。他的家僮数千，后庭妓妾以千数，都披罗带绮。第宅华丽奢侈，造得如同皇宫一样。

有个鲍亨善于写文章，又有个殷胄工于草隶书法，都是江南士人，因为高智慧反叛而籍没有杨素家奴。亲戚故吏布列显要，杨素的贵盛，古今所无。炀帝杨广刚为太子时，忌妒蜀王杨秀，和杨素一同谋划，诬构杨秀罪名，因此后来杨秀被废黜。朝臣有违忤他的意见的，虽然忠心耿耿，多有功劳，如贺若弼、史万岁、李纲、柳或等，杨素都暗中陷害他们。如果谁能附会迎合，以及有亲戚关系的，即使没有才能，也能升官。这样一来朝臣没有不畏惧而依附于他的。只有兵部尚书柳述，因是文帝之婿，屡次当着文帝面挫折杨素。大理卿梁毗，也上表诉说杨素作威作福。

文帝渐渐疏忌杨素，后来因而出敕说：“仆射是国家的宰辅，不可躬亲细务。只三五日到尚书省一次，议论大事即可。”表面优崇他，实际上是夺了他的权。直到文帝仁寿末年，不再让杨素通判三省之事。文帝要王公以下比试射箭，杨素第一，文帝亲手把外国所献金精盘赏赐给他，价值巨万。仁寿四年（），跟从文帝到仁寿官，宴赐贵重物品极多。文帝有病，杨素和兵部尚书柳迷、黄门侍郎郎元岩等入阁侍疾。

此时皇太子杨广入居大宝殿，他担心文帝可能去世，便预为防备。于是亲笔写了书信，派人出宫询问杨素。杨素逐条录出须预防的事，以回答杨广。宫人误送给文帝，文帝看后大为恼火，所宠幸的陈贵人又说太子曾经对她无礼。文帝发怒，欲召原太子庶人杨勇。太子杨广谋于杨素，杨素就伪诏派东宫兵士宿卫，门禁出入概由宇文述、郭衍节度，又令张衡侍疾，文帝就在当天去世。汉王杨谅造反，遣茹茹天保占据蒲州，烧断河桥。又遣王聃子率数万人合力拒守。

杨广杨素前去镇压，杨素率领轻骑五千袭击，暗中夜渡渭口，天亮出兵，天保败走，王聃子害怕，献城投降，有诏征还。当初杨素将出兵，计算破敌日期，结果都能如他所估计的那样。于是炀帝以杨素为并州道行军总管、河北安抚大使，率兵数万讨代杨谅。

当时晋、绛、吕三州都为杨谅所有，杨谅派遣赵子开拥兵十多万，策划断绝通路，驻守高壁，布下五十里的阵势。杨素命诸将领兵攻打，自己暗中率奇兵潜入霍山，沿崖谷而进，直接到达赵子开营地，一战而破，杀伤数万。杨谅所委派的介州刺史梁修罗驻守介休，听到杨素引兵来偷袭，赶紧弃城逃走。杨素进至清源距井州三十里，杨谅率将领王世宗、赵子开、萧摩诃等近十万之众，前来迎战。又被杨素打败，擒获摩诃。杨谅退保并州，杨素进兵围攻，杨谅计穷力竭而降，其余党也被平定。杨素当月还京师。

随从炀帝到洛阳，以杨素领营建东京太监。以平杨谅之功，拜杨素子万石、仁行，侄玄挺，都为仪同三司。赐物五万段，绮罗千匹，杨谅的妓妾二十人。炀帝大业元年（）迁尚书令，赐东京甲第一区，物二千段。不久拜太子太师，其余官衔如故。前后赏赐不可胜计。杨素晚年虽有拥戴之策和平杨谅之功，但也由此而炀帝所猜忌。炀帝表面上对他待遇特别隆重，实际上内情很薄。

杨素有病之日，炀帝常命名医诊候，赐给他上等药物，但又秘密向医生询问，担心杨素不死。杨素也知道自己名位已到达顶点，不肯服药，也不好好休养，常对他的弟弟杨约说：“我难道还要再活下去吗？”杨素极喜财货，营求产业，东西二京居宅奢侈华丽，他的贪婪行为，受到时人的鄙薄。

宇文化及