余靖生于1000年三月初一，少時聰慧，讀書過目不忘，師從舅父黃正，后師林逋、張伯端，學業大進。

1024年(宋天圣二年)中進士第，錄為贛縣(今屬江西省)縣尉，主理緝捕盜賊，查察奸宄。不久朝廷新置書判拔萃科，余靖又中書判拔萃第一，提為新建(今江西省南昌縣)知縣。1027年遷任宣州司理參軍。1030年6月中書判拔萃科，授將作監丞知洪州新建縣。1034年到京任秘書監，負責掌管典籍文書，入崇文館主持校勘《史記》、《漢書》、《后漢書》，并寫出了《三史勘誤》四十卷。1036年，2月推集賢院校理，同年5月因向皇帝上疏為被貶的禮部員外郎范仲淹辯護，與尹洙、歐陽修同被貶，降職為監筠州酒稅，均是益知名。1037年12月余靖徙任泰州(今江蘇省泰州)稅監。1039年6月徙知英州，因其母離世，服喪三年而沒有上任。

1042年3月復職為集賢院校理，同知太常禮院。1043年，擢升為諫院右正言，專門向皇帝進諫奏事，余靖正直敢言，曾多次為建言“輕徭薄賦”整頓戶政，去除貪殘之吏，撫疲困之民事而向皇帝抗聲力爭，以致唾液飛濺至皇帝的“龍顏”上仍意猶未盡。(見《宋人軼事匯編》)他的多數建議為仁宗所接受，因而與歐陽修、王素、蔡襄，同被譽為朝廷敢于進諫的“四諫”，提出‘清、公、勤、明、和、慎’的著名從政六箴。他積極提出各種諫議，主張要變更盡依“祖宗故事”的舊法。倒如舉人才、去冗兵、冗官、寬租賦、厚農桑、省佛事、節國用等建議。涉及人事、治民、邊政、刑法、租賦、御盜等多方面。上述種種，都為范仲淹、富弼等人后來推行“慶歷新政”的改革措施，提供了先行的理論基礎和輿論準備，余本人則是“慶歷新政”的積極參與者。

1044年，受命為出使契丹的使者。他巧妙地運用外交手段折服了雄據一方的遼主，從而適時的在復雜的宋遼夏三角關系中維護了宋朝的利益。1045年正月為回謝契丹使，5月知吉州。1046年7月左遷將作少監，分司南京、許居韶州，久之，改光祿少卿。1049年，升左神武軍大將軍、雅州刺史、壽州兵馬鈐轄，靖辭不就。1050年余靖遷衛尉卿知虔州(今江西省贛州市)，詢民疾苦，政多惠愛。

1051年8月被貶任知虔州，不久因父離世而辭官。

1052年6月，余靖于喪次被起用為秘書監，知潭州(今湖南省長沙市)旋改知桂州(今廣西省桂林市)兼廣南西路經略安撫使，后下詔經制廣州。1053年2月遷任給事中，5月遷任工部侍郎。1054年2月復職加集賢院學士。1055年6月遷任戶部侍郎。1056年被貶知譚州。1058年改知青州，知青州期中轉吏部侍郎。1060年8月為廣南西路體量安撫使、知桂州，后在狄青統屬之下;狄青節制嶺南各路軍馬，在昆侖關外大破儂智高。儂高的母、子、弟主人均為余靖遣人擒獲。1061年5月授尚書左丞，廣南東路經略安撫使，知廣州。1063年宋英宗即位，拜工部尚書。1064年余靖回京述職途次南京，偶染風寒，病重不起，卒于江寧府秦淮亭，享年六十五歲。英宗聞訊惻然，輟朝一日追贈刑部尚書，謚曰“襄”后人尊稱忠襄公。