早有識度

山濤的父親山曜，官至宛句縣令。山濤早年喪親，家中貧困。少年時即有器量，卓爾不群。喜好《莊子》、《老子》，常隱居鄉里，掩蓋自己的志向才能。與嵇康、呂安為友，后又遇阮籍，常在一竹林中交游，志趣契合，為莫逆之交。嵇康后來因得罪司馬氏而被治罪，臨死前對兒子嵇紹說：“有巨源在，你就不會孤獨無靠了。”

山濤四十歲時才入仕途，最初擔任郡里的主簿、功曹及上計掾。后被舉為孝廉，又被州里征辟為河南從事。

一次，山濤與石鑒共宿，夜里起來用腳踢一下石鑒，對他說：“如今是什么時候，你還在睡!知道太傅(指司馬懿)稱病臥床是何用意嗎?”石鑒回答說：“宰相多次不上朝，給他個尺把長的詔書讓他回家就是了，你何必操心呢!”山濤說：“咄!石生不要在馬蹄間來往奔走啊!”于是丟棄官符而去。正始十年(249年)，司馬懿果然發動高平陵之變，誅滅了曹爽集團，山濤于是歸隱不問世事。

頗受重用

山濤的從祖姑山氏是司馬懿夫人張春華的母親，因而可以見到掌權的司馬師，司馬師說：“當世的呂望是想做官吧!”于是命司隸校尉舉山濤為茂才，授任郎中，又轉任為驃騎將軍王昶的從事中郎。

很久以后，被拜為趙國相，遷為尚書吏部郎。司馬昭寫給山濤的信說：“足下任職清明，高雅之操超群出世。顧念您家中貧乏，現今送去錢二十萬、谷二百斛。”

魏主曾賜司馬師春服，司馬師轉賜給山濤，又因山濤母親年老，賜藜杖一根。山濤晚年與尚書和逌交好，又與鐘會、裴秀親近。因鐘、裴二人爭權奪利，山濤不偏不倚，處于中間，二人都從山濤那里得到好處而對他無恨。后遷為大將軍從事中郎。

景元五年(264年)，鐘會在蜀作亂，司馬昭準備親自西征。當時曹魏的宗室都在鄴，司馬昭對山濤說：“西邊的事我親自去處理，后方的事誠心委托于您。”讓山濤監視宗室的動靜，以本職行軍司馬，撥給親兵五百人鎮守鄴。

同年，受封為新沓子。轉為相國左長史，統領別營兵。司馬昭認為山濤是鄉閭中素有德望的人，于是命長子司馬炎(晉武帝)拜見他。司馬昭將兒子司馬攸過繼給司馬師，平日又看重司馬攸，曾經問裴秀道：“大將軍(指司馬師)開國建業，未成而亡，我只是繼承他的事業，所以想要立司馬攸為世子，以歸功于兄長，如何?”裴秀認為不可。又以此事問山濤，山濤回答說：“廢長子立少子，違背禮制，是不祥的。國家的安危將由此事決定。”于是才定下以司馬炎為世子，司馬炎為此親自拜謝山濤。

咸熙二年十二月丙寅(266年2月8日)，司馬炎受禪即位，建立西晉，任命山濤為守(代理)大鴻臚，護送陳留王曹奐返回鄴城。

治理有方

泰始(266年—274年)初年，加職奉車都尉，晉爵為新沓伯。羊祜執政時，有人要陷害裴秀，山濤厲言正色保護裴秀，因此不合權臣之意，出任冀州刺史，加寧遠將軍。

冀州風俗鄙薄，無推賢薦才之風。山濤鑒別選拔隱逸之士，查訪賢人，表彰或任命三十多人，都顯名于當世。山濤因此受到百姓士人的仰慕推崇，當地風俗也為之改變。

侍母極孝

后來，山濤又轉任北中郎將，督鄴城守備事。后入朝為侍中，遷尚書。因母親年老請求辭職，司馬炎下詔說：“您雖然想要奉養老母，然而職務有上下公私之分，家中早晚有人侍奉醫藥，您應當暫割情愛，以興一心在公之德。”山濤決心辭官，表疏上了幾十次，司馬炎很久才答應了他的要求，授議郎銜返回府第。司馬炎因山濤清貧儉約，無法供養家人，特別供給每日膳食，加賜床帳被褥。禮遇厚重，當時沒有人能與他相比。

泰始十年(274年)，山濤被任命為太常，因疾病沒有就職。適逢母親去世，于是返回鄉里。

當時，山濤已年過七十，守喪超過常禮，親自背土堆墳，親手種植松柏。司馬炎下詔任命山濤為吏部尚書。山濤以母喪身病為由辭讓，表章情意懇切，此時司馬炎皇后楊艷去世，山濤于是勉強扶持還洛陽。為詔命所逼迫，勉強就職。前后薦拔的人遍及京師和州郡，都是有用的人才。 [17]

屢求遜位

咸寧(275年—280年)初年，轉任太子少傅，加散騎常侍。又被授為尚書仆射，加侍中，領吏部事務。山濤因自己年老多病，堅意辭讓，于是上表陳情。上章表數十次，很久沒有就職理事。

尚書左丞白褒奏山濤違詔。司馬炎說：“山濤因病自求辭職，只是沒有聽從他的要求罷了。如山濤用人不當而坐罪是可以的，何必上下動手，顛倒輕重呢?不得再追究此事。”山濤內心不安，于是上表謝罪說：“自古以來行王道者守正而已。陛下不能因為一個老臣而改變國法，臣有何心向皇上陳辭。請照白褒所上之表處置，以顯示不枉刑法。”司馬炎又下手詔說：“白褒所奏是虛妄的，我所以未追究他的責任，是我不喜歡動輒發怒，您是明智而有度的人，哪能介意呢!應當就職理事，不讓他們再上章表就是了。”

山濤決心引退，因為堂弟媳發喪，返回外舍。司馬炎下詔說：“山仆射近日暫時出居，因有所操勞而未還，這不是我坐側席而待賢的意思。現派遣丞掾奉旨告諭，若身體尚未康復，便坐輿車抬回府寺。”山濤辭讓不能獲準，無奈之下才就職理事。

山公啟事

山濤再次任選職十余年，每逢官位有缺，總選又幾位備用的人，看到詔旨傾向于某一人，然后才明言上奏，先將司馬炎所想用的人提出，所以司馬炎所想用的人，有時沒有先提出來，眾人不了解詳情，認為是山濤憑自己的意愿用人。有人在司馬炎面前說山濤的不是，所以司馬炎親手寫詔告誡山濤說：“用人的標準是有才，不遺漏疏遠孤賤而有才的人，教化才能遍行于天下。”而山濤還是照樣行事，一年以后，眾人的意見才平息。山濤所薦拔上奏的人物，列名成冊，當時稱為《山公啟事》。他前后選舉百官都選賢用能，只有用陸亮，是司馬炎詔命所任用的，與山濤意見不一，山濤爭辯而司馬炎不聽。陸亮不久也因為貪污受賄而被罷免。

山濤在朝處于各派之中，晚年時正值楊皇后親黨專政。山濤不愿用楊氏，多次諷諫司馬炎，司馬炎雖領悟其意而終究不能改正。后來，山濤因年邁病重，上疏告退說：“臣年近八十，茍延殘喘于旦夕，若對國家還有毫末之益，怎能留余力于盛世。迫于衰老，不能再負重任。當今四海無事，天下思從教化，從民心而行無為之政，百姓自能正己。只是應當崇尚風教以使民俗歸厚罷了，陛下又有何事可做。臣耳聾目昏，無力奮進。君臣父子之間無須掩飾，因而直陳愚情，希望答應臣的請求。”于是摘下帽子，赤腳徒步送還印綬。

司馬炎下詔安慰山濤，山濤上表苦苦求退，司馬炎又下詔不許。尚書令衛瓘上奏說：“山濤因有小病，久不履職。頻繁下詔，還不服從詔命。朝中議論以為這樣不能成全他的高尚之節，也違背在職為公的要求。若山濤病情沉重，也不宜居官位。可免去山濤官職。”司馬炎下詔給衛瓘說：“山濤有德操，素為眾望所歸，而深心退讓，十分懇切。故連續下詔，必求改變他的主張，以匡扶朝廷，彌補缺漏。主事者不明詔書深意，反而加以曲解，這有損于崇賢之風，給我加上輕賢無德之名，怎能給遠近之人做出表率呢?”山濤不得已又就職理事。

精論武備

太康(280年—289年)初年，遷任尚書右仆射，加光祿大夫、侍中，掌選職如前。山濤因年老身病堅決要求辭職，司馬炎親手寫詔說：“您的道德為世人楷模，況先帝已識您的高遠之志。我將依靠您以使風俗淳厚，您為何要舍棄朝政以求高名呢!我的至誠之心還不足以使您明白嗎?為何上表的言論是那樣懇切。應當及時自勉，以慰我深切之望。您不改變引退之志，我將臥不安席。”山濤又上表堅意辭讓，司馬炎不許。

吳國滅亡，天下一統之后，司馬炎下詔罷除天下兵役，表示海內平安無事，州郡都解散軍隊，大郡設置武吏一百人，小郡設五十人。司馬炎曾在宣武場講武，山濤當時有疾病。司馬炎下詔乘坐人拉的輦車跟從。山濤當時與盧欽討論用兵之本(盧欽已于平吳前去世，或許是記載錯誤，司馬炎于咸寧年間也曾在宣武場講武)。認為不應該廢除州郡武備，他的論點很精湛。

時人都認為山濤雖然不學孫武、吳起的兵法，但其論兵暗與兵法合，司馬炎稱贊道：“真是天下之名言啊!”但不能采用。在惠帝永寧年間后，多次發生事變，盜賊蜂起，各郡國都因無軍備而不能制止，于是導致天下大亂，果如山濤所言。

位列三司

山濤又上表說：“臣侍奉天朝三十余年，對德政教化無毫厘功效。陛下私心愛臣不已，枉授三司之任。臣聽說德行薄陋而位高，力量少而責任重，這樣導致上有敗壞國事之禍，下有損傷家廟祖宗之咎。希望陛下念累世君臣之恩，乞求骸骨以歸故里。”司馬炎下詔說：“您輔助朝政，保護治理皇家，匡扶之功，為朕所依賴。司徒之職，實掌國家教化，因而敬授予您，以滿足群臣百姓之望，怎能只顧謙讓而貶低自己呢!”司馬炎下令不準山濤再上章表辭職，使者把印綬交給臥病在床的山濤。山濤說：“將死之人，怎能玷污官府呢!”于是臥病乘車歸家。

清貧而終

太康四年(283年)，山濤去世，終年七十九歲。司馬炎下詔賜棺木朝服各一具、衣一套、錢五十萬、布百匹，以供喪事之用，策命追贈司徒的蠟印紫綬、侍中的貂蟬及新沓伯的蠟印青朱綬，以太牢禮儀祭祀，謚號康。

山濤將要下葬時，司馬炎又賜錢四十萬、布百匹。司徒左長史范晷等上奏說：“山濤舊宅第僅有屋十間，但子孫眾多，容納不下。”司馬炎于是為山濤家建了住宅。