吳淵初任建德縣簿，丞相史彌遠與他長談一日，發現他很有才干，十分高興，欲任命他為開化縣尉，吳淵以“甫(剛開始)得一官，何敢躁進？”為由婉言謝絕，史彌遠稱他為“國器也”。吳淵為官公道正派，清正廉明。任建德縣簿時，“江東九郡之冤，訟于諸使者，皆乞送淵”。為老百姓伸張正義，洗清冤曲，深得百姓擁戴。后任提點浙西刑獄時，衢州、嚴州盜賊四起，吳淵調遣將士，“殲其渠魁，散其支黨”，平息了盜賊，為朝廷立下了功勞，升為朝官，先任樞密院檢詳諸房文字兼國史院編修官、實錄院檢討官兼左司，后任右文殿修撰、樞密副都承旨兼右司兼檢正。時值朝廷準備進兵中原，丞相鄭清之擬采取“據關守河”的策略，吳淵竭力反對，曰“國家力決不能取，縱取之決不能守”，鄭清之很不高興。不久，中原戰事發展果然不出吳淵所料，鄭清之寫信向吳淵引咎并致謝。此后，吳淵先后擔任工部、兵部、戶部侍郎，鎮江知府兼總領，太平知州兼江東轉運使，隆興知府，江西安撫使兼轉運副使，寶章閣直學士，華文閣直學士，兵部尚書，工部尚書等職。他盡職盡責，體恤百姓，關心朝政，先是“力陳九事”，后來又提出了興利除害二十五事，得到了朝廷的贊許。

吳淵在幾處任所連逢大災，他全力慰撫賑濟。任太平(今當涂)知州時，兩淮流民涌入太平境內者達40余萬人，他將流民編成“什伍”(古代戶籍編制，十家為什，五家為伍)予以賑濟，令當地土著人不要侵犯，使流民得以安定，當時臨近的其它州縣經常發生流民放火搶劫事件，唯獨太平州境內安然無恙。任隆慶知府、鎮江知府和平江知府時，均遇大災，吳淵力行荒政，數次賑災，使187萬余災民得以存活。

吳淵的軍事才能也得到朝廷的賞試。端平元年（1234年），南宋會合蒙古滅金后，蒙古軍即向南宋連續用兵。吳淵創辦團練，建司空山、燕家山、金剛臺三大寨及嵯峨山、鷹山、什子山等二十二小寨，組織丁壯為伍，各寨隊伍相接應，使之星羅棋布，脈絡貫通，無戰則耕，有警則御。湖南峒人暴亂，吳淵受命平定，生擒魁首。寶祐三年（1255年）三月，吳淵任江陵知府兼夔路策應大使、京湖屯田大使時，調兵二萬增援四川，又力戰白河、沮河、玉泉一帶，敗元將汪惟立。

吳淵的孝行也為世人所敬佩。五歲喪母，“哭泣哀慕如成人”。宋嘉定十七年（1224年），父親吳柔勝去世，按照當時的規定，吳淵在家守喪三年，保留官職，但不理朝事。在守喪期間，朝廷下詔書命他復職，他堅決不同意，并上書朝廷曰：“人道莫大于事親，事親莫大于送死，茍冒哀求榮，則平生大節已掃地矣，他日何以事君？”意思是說，人的道德以孝敬父母為最大，而孝敬父母又以為父母養老送終為最大，如果我不顧失去父親的哀痛去追求榮華富貴，我就失去了人生的大節，今后如何做人做事？又如何為朝廷效力，為皇上盡忠？最后朝廷答應了他的要求，直到守喪期滿才去復職。

吳淵的功德得到了朝廷的褒獎，朝廷授其資政殿大學士，封金陵侯，宋理宗趙昀賜“錦繡堂”、“忠勤樓”大字，又進爵莊敏公。寶祐五年（1257年）正月，吳淵以功拜參知政事，身列相位，僅七天即卒于自荊湖回京途中，追贈“少師”。史記吳淵“有材略，迄濟事功，所至興學養士，政尚嚴厲”，詩詞文論都有成就，著有《退庵文集》、《易解》、《莊敏奏議》30卷等，《詞綜》收其詞多首。