杨素因为征突厥有功进他的儿子玄感位为柱国玄纵为准南郡公赏绢二

杨素因为征突厥有功，进他的儿子玄感位为柱国，玄纵为准南郡公，赏绢二万段，独孤皇后去世，陵墓的建造规格，多出于杨素，文帝很称赞。赐田三十顷，绢万段，米万石，金钵一，装满了金子，银钵一，装满了珠子，并绫锦五百段，当时贵宠无比，他的弟弟杨构，堂叔父杨文思、文纪，及族父杨异，都是尚书列卿。诸子即使没有汗马功劳，也都位至柱国、刺史。他的家僮数千，后庭妓妾以千数，都披罗带绮。第宅华丽奢侈，造得如同皇宫一样。

有个鲍亨善于写文章，又有个殷胄工于草隶书法，都是江南士人，因为高智慧反叛而籍没有杨素家奴。亲戚故吏布列显要，杨素的贵盛，古今所无。炀帝杨广刚为太子时，忌妒蜀王杨秀，和杨素一同谋划，诬构杨秀罪名，因此后来杨秀被废黜。朝臣有违忤他的意见的，虽然忠心耿耿，多有功劳，如贺若弼、史万岁、李纲、柳或等，杨素都暗中陷害他们。如果谁能附会迎合，以及有亲戚关系的，即使没有才能，也能升官。这样一来朝臣没有不畏惧而依附于他的。只有兵部尚书柳述，因是文帝之婿，屡次当着文帝面挫折杨素。大理卿梁毗，也上表诉说杨素作威作福。

文帝渐渐疏忌杨素，后来因而出敕说：“仆射是国家的宰辅，不可躬亲细务。只三五日到尚书省一次，议论大事即可。”表面优崇他，实际上是夺了他的权。直到文帝仁寿末年，不再让杨素通判三省之事。文帝要王公以下比试射箭，杨素第一，文帝亲手把外国所献金精盘赏赐给他，价值巨万。仁寿四年（），跟从文帝到仁寿官，宴赐贵重物品极多。文帝有病，杨素和兵部尚书柳迷、黄门侍郎郎元岩等入阁侍疾。

此时皇太子杨广入居大宝殿，他担心文帝可能去世，便预为防备。于是亲笔写了书信，派人出宫询问杨素。杨素逐条录出须预防的事，以回答杨广。宫人误送给文帝，文帝看后大为恼火，所宠幸的陈贵人又说太子曾经对她无礼。文帝发怒，欲召原太子庶人杨勇。太子杨广谋于杨素，杨素就伪诏派东宫兵士宿卫，门禁出入概由宇文述、郭衍节度，又令张衡侍疾，文帝就在当天去世。汉王杨谅造反，遣茹茹天保占据蒲州，烧断河桥。又遣王聃子率数万人合力拒守。

杨广杨素前去镇压，杨素率领轻骑五千袭击，暗中夜渡渭口，天亮出兵，天保败走，王聃子害怕，献城投降，有诏征还。当初杨素将出兵，计算破敌日期，结果都能如他所估计的那样。于是炀帝以杨素为并州道行军总管、河北安抚大使，率兵数万讨代杨谅。

当时晋、绛、吕三州都为杨谅所有，杨谅派遣赵子开拥兵十多万，策划断绝通路，驻守高壁，布下五十里的阵势。杨素命诸将领兵攻打，自己暗中率奇兵潜入霍山，沿崖谷而进，直接到达赵子开营地，一战而破，杀伤数万。杨谅所委派的介州刺史梁修罗驻守介休，听到杨素引兵来偷袭，赶紧弃城逃走。杨素进至清源距井州三十里，杨谅率将领王世宗、赵子开、萧摩诃等近十万之众，前来迎战。又被杨素打败，擒获摩诃。杨谅退保并州，杨素进兵围攻，杨谅计穷力竭而降，其余党也被平定。杨素当月还京师。

随从炀帝到洛阳，以杨素领营建东京太监。以平杨谅之功，拜杨素子万石、仁行，侄玄挺，都为仪同三司。赐物五万段，绮罗千匹，杨谅的妓妾二十人。炀帝大业元年（）迁尚书令，赐东京甲第一区，物二千段。不久拜太子太师，其余官衔如故。前后赏赐不可胜计。杨素晚年虽有拥戴之策和平杨谅之功，但也由此而炀帝所猜忌。炀帝表面上对他待遇特别隆重，实际上内情很薄。

杨素有病之日，炀帝常命名医诊候，赐给他上等药物，但又秘密向医生询问，担心杨素不死。杨素也知道自己名位已到达顶点，不肯服药，也不好好休养，常对他的弟弟杨约说：“我难道还要再活下去吗？”杨素极喜财货，营求产业，东西二京居宅奢侈华丽，他的贪婪行为，受到时人的鄙薄。

宇文化及