楊徽之，五代后梁龍德元年(921年)生。自幼刻苦勤學。當時，同邑前輩江為、江文蔚是江南詩賦名家，楊徽之事以師禮，久后，便與之齊名并著。　

20多歲時，楊徽之就學于潯陽廬山學舍。后潛行繞道，赴中原后周王朝應舉。翰林學士竇儀和樞密直學士王樸等見其文章，都嘆為奇才。后周顯德二年(955年)，楊徽之登進士甲科，被禮部擢置“殊等”16名內上奏。周世宗柴榮命近臣復核，只有楊徽之等4人中選，授予秘書省校書郎、集賢秘閣校理，后升著作佐郎、右拾遺。深受宰相范質器重，學士竇儼推薦其同修禮樂書。　

宋太祖趙匡胤禪代登位之初，知楊徽之于前朝曾譏議他，將欲加害，因其弟趙光義(太宗)力保而得免，貶出為唐州方城監稅。復因建言得罪，再貶為陜西鳳翔府天興縣令。府帥素知其名，予以禮遇。平定后蜀之后，調任嘉州峨嵋縣令。楊徽之常與玉津令宋白吟詠唱酬，他們的許多詩詞，廣被傳誦，文教為之振興。楊徽之兩任縣職，清廉自守。開寶二年(969年)，復職為著作佐郎，掌管鹽谷數年。大臣薛居正曾向太祖薦楊徽之可為相，不見用。乃出知全州(今屬廣西)。　

太平興國元年(976年)，宋太宗趙光義繼位，召楊徽之為左拾遺，回朝又升右補闕。太宗好詩，久慕楊徽之詩名，見面索要其平生所作，因獻數百篇及謝詩以進，其末章有：“十年流落今何幸，叨遇君王問姓名”等句。太宗特選其十聯警句，親書于御屏風上。楊徽之又獻《雍熙詞》10篇，太宗為和韻酬答，每有御制詩，也都賜贈給楊徽之。楊徽之有病，即遣太醫往視。旋遷御史、庫部員外郎、判刑部南曹、同知差遣院等職，賜予金章紫綬。又奉詔與李昉等匯編前代文章，成《文苑英華》1000卷，是為宋代四大類書之一。楊徽之還受命編詩180卷(一作200卷)。后歷遷刑、兵二部郎中，并同知京朝官的考課。端拱元年(988年)，拜為左諫議大夫，旋出知許州(今河南許昌)二載，入朝判史館事。太宗召見，特加史館修撰，兼判昭文館、集賢院。任職期間，楊徽之建議于太學增加通經術、有專長者為博士，分教皇家及權貴子弟。太宗有意委其以大任，因受反對者誣謗，貶出為山南東道行軍司馬，又改調為鎮安軍行軍司馬。不久，太子趙恒受命為開封府尹，特召楊徽之為左諫議大夫、開封府判官(一說為推官)。嗣后，兼任太子左庶子，進給事中。　

宋真宗趙恒即位后，即拜楊徽之為工部侍郎、樞密直學士。咸平元年(998年)，轉為禮部侍郎，仍兼學士。旋稱病，求解除近職，改授兵部侍郎兼秘書監。真宗欲多起用耆德老成的學者為自己講學，乃特設置翰林侍讀侍講學士之職，命楊徽之為侍講學士，仍兼秘書監，同時受命的還有夏侯矯等4人。楊徽之利用侍講機會，多向皇帝縱論天下利弊。不久，稱腳病告老。真宗特取名藥賜予療治。值郊禮大典，楊徽之雖不能扈從，但仍受加封賞賜。

次年，真宗北巡，楊徽之入宮辭送，真宗對其溫慰懇摯；北巡途中，還手詔存問。咸平三年(1000年)正月，真宗還都，特派人慰諭，當日，楊徽之疾篤去世。詔贈兵部尚書，賜錢50萬，絹500匹，官給營葬。楊徽之無子，因錄用其女婿、外孫、侄孫等官職。后來，夫人王氏卒，朝廷同樣優厚賜葬。景佑二年(1035年)，追崇先帝舊臣，升贈楊徽之為太子少師，賜謚“文莊”。　

《宋史》稱：“徽之純厚清介，守規矩，尚名教。尤嫉非道以干進者。善談論，多識典故，唐室以來，士族人物悉能詳記。酷好吟詠，每對客論詩，終日忘倦。”　

楊徽之有詩文集20卷傳世。宋僧文寶曾高度贊美其詩，稱：“當以天地皓露滌筆于金甌雪碗中，方與此詩神骨相投。”清代紀曉嵐甚至說，在當時詩壇的“一望黃茅自葦之中”，楊徽之的詩“如疏花獨笑”(《瀛奎律髓匯評》卷四十二)。