初入仕途

劉大夏為天順三年（1459年）鄉試第一。天順八年（1464年），考中進士，選為庶吉士。成化元年（1465年），翰林院擬請留職，他自己要求出任吏職，于是就任命他為兵部職方司主事，又調升職方司郎中。他通曉兵事，宮署里的積弊全都革除。劉大夏所奏復的大多很合皇帝的旨意，被兵部尚書當作左右手。汪直好邀邊功，后黎朝圣宗黎灝被老撾打敗，汪直想趁機攻取黎灝。他對憲宗說了，就索取明成祖時南征安南的文書。劉大夏藏著不給，并秘密地向兵部尚書余子俊說：“兵禍一開，西南立刻就糜爛（完了）。”余子俊醒悟，此事遂得停止。

被誣入獄

朝鮮李朝入貢，都是由鴉鶻關入明境，這時要求改從鴨綠江進入。尚書準備答應其請求，劉大夏說：“鴨綠江的通道，祖宗朝豈有不知的，而從鴉鶻關開道迂回幾個大鎮，這恐怕另有深意。不能批準。”此請未獲朝廷同意。宦官阿九的哥哥任京衛經歷，因犯罪被劉大夏處以笞刑。阿九懷恨在心，向憲宗進讒，使劉大夏被逮入詔獄，經東廠審訊，并未得出什么結果。經太監懷恩極力相救，劉大夏在被判杖二十后獲釋放。父親去世后，劉大夏一宿就動身奔喪。

政績卓著

弘治二年（1489年），劉大夏服喪期滿，調升廣東右布政使。田州、泗城不安定，劉大夏前往告誡，事情很順利地解決了。后山賊起，劉大夏奉檄文討伐。他令部下只許活捉，驗明為賊才殺，有一半人獲得生還。改為左布政使，調往浙江。

弘治六年（1493年）春，黃河在張秋堤防決口，皇帝下詔博選才臣前往治理。吏部尚書王恕等推薦劉大夏，提升劉大夏為右副都御史前往。到職后，在黃陵岡疏通賈魯河，又疏通孫家渡和四府營上游，以分水勢。從胙城經過東明、長垣到徐州修筑長堤，共三百六十里長。水災得到根治，張秋鎮改名為“安平鎮”。孝宗嘉獎劉大夏，賜璽書褒獎他。召他為左副都御史，任職戶部左侍郎。

弘治十年（1497年），劉大夏受命兼僉都御史，前往宣府處理兵餉。尚書周經對他說：“塞上有權勢家族的子弟以買賣糧食謀取私利，你不要因剛直招禍。”劉大夏說：“處理天下事，以理不以勢，待我到后解決。”當初，塞上必須粟千石方能買入、草萬束才得收進。由此宦官、武臣得以操縱市場，獲取厚利。劉大夏下令有糧草的，草百束、粟十石以上都準許買賣，權勢之家想牟利也落了空。不到兩個月府倉儲積有余，邊人蒙受其利。

弘治十一年（1498年）秋，劉大夏連上三疏稱病辭官，歸鄉后在東山下筑草堂，在堂中讀書，被時人稱為“東山先生”。弘治十三年（1500年），廷臣紛紛舉薦劉大夏，起任右都御史，統管兩廣軍務。奉旨使者上門，劉大夏帶二僮仆起程。兩廣人故來思念劉大夏，得知他即來任職都歡欣鼓舞。劉大夏到任后，清理吏治，減免官費供應，禁止鎮守官私自役使軍士，盜賊因此逐漸減少。

弘治十五年（1502年），劉大夏被任命為兵部尚書，他屢次推辭未獲準，這才接受。不久，孝宗召見他，孝宗說：“朕數次任用你，你數次稱病而去是為什么？”劉大夏磕頭說：“臣年老又有病，看見國家民窮財盡，倘若有所不測，責任在兵部，自己估量力不從心，因此而辭。”孝宗聽了沉默不語。南京、鳳陽大風將樹拔起，河南、湖廣發生水災，京師久雨成災。劉大夏奏請凡屬非祖宗留下的舊制而危害軍民的，一一列舉呈上革除。至弘治十七年（1504年）二月，劉大夏再次奏請。孝宗命有關部門呈報所應實行與該革除的事例，有關部門全都按實奏報，時逢廷臣奏陳十六件事，都是對權貴所不利的，因此權貴們極力阻止，孝宗拿不定主意，下廷議再討論。劉大夏等說：“事屬朝廷外官，全都批準。稍稍涉及權貴，又令討論核實。臣等很愚蠢，不知為什么？”許久，才得旨：“將傳奉官的姓名奏疏上報，幼匠、廚役月每減米三斗；增設宦官、司禮監核實奏告；四衛勇士，御馬監將名冊報來。其余全照前次所議辦理。”織造、齋醮都停辦，僅俸祿就節省很大數目，而勇士虛報冒領之弊也大為減少。皇帝的命令一下，舉朝歡悅。先前，外戚、近幸都不是以功受爵，而是出于皇帝的私恩，孝宗深知這樣于政有害，發奮振作朝綱。因災異多次出現，又告諭群臣，令各陳朝政的過失。劉大夏又奏陳數事。

弘治十五年（1502年）六月，劉大夏第二次奏陳兵政的十害，并且要求辭官回鄉。孝宗不答應，要他將各應該革除的弊端更詳細地全部奏聞，于是，劉大夏舉出南北軍隊陸路水路輪流值班運糧的勞苦，以及邊軍困倦疲憊、邊將克扣的情況全都奏報。孝宗于是在便殿召見劉大夏，問道：“卿先前說天下民窮財盡。祖宗以來征收有常法，為什么現在這樣？”劉大夏回答：“就是說沒有按常法征取。如向廣西每年取鐸木，從廣東取香、藥，花費以萬來計算，其他就可想而知了。”孝宗又問到軍隊，他回答：“與百姓一樣窮。”孝宗說：“居有月糧，出有行糧，什么緣故會窮？”劉大夏答道：“其帥克扣超過一半，怎會不窮？”孝宗嘆息道：“朕執政這久，還不知天下軍民貧困，怎樣做人君！”于是下詔嚴禁。當時，孝宗正銳意太平，而以劉健為首輔，馬文升以師臣（少師兼太子太師，初任兵部尚書，后改吏部尚書）領導六部，史稱“眾正盈朝”。孝宗察知劉大夏正直嚴謹，并且辦事熟練，尤其信任他。數次召見他判別事情，劉大夏也在各事上為孝宗盡力。

大同發生小的戰事，孝宗聽信宦官苗逵的話，準備出兵。內閣劉健等竭力勸阻，孝宗仍猶豫不決，召劉大夏問道：”卿在兩廣，知道苗逵搗毀延綏巢穴的功勞嗎？”劉大夏答道：“臣聽說，俘虜十幾個婦女兒童而已，托朝廷威德，全師返回。不這樣的話，后果就難說了。”孝宗沉默好久，問道：“太宗（明成祖朱棣）頻頻出塞，現在為什么不行？”劉大夏回答：“陛下的才干固然不比太宗差，而將領士馬遠不及太宗時期。像淇國公（丘福）稍許違背節制，將數十萬兵眾委之于沙漠，怎么能說是容易之事。臣揣度現在上策只有防守而已。”都御史戴珊也從旁邊表示贊同，孝宗醒悟地說：“要不是你們勸說朕幾乎誤了大事。”于是果然沒再出兵。

莊浪土著首領魯麟任甘肅副將，求升大將不成，恃其部眾強，擅自回到莊浪。廷臣擔心其生變想授魯麟大帥印，又想召他回京師，安置在不緊要的地方。劉大夏請求獎勵其先世忠順，而聽任魯麟閑居。魯麟向來兇狠殘暴失去眾人之心，沒有兵權無法有所作為，最后悶悶不樂而病死。

孝宗要在京城附近駐兵作為左右輔佐，劉大夏說：“保定設都司統率五衛，祖宗之意也是如此。請遣還操練軍士，一萬人作為西衛，將駐扎在密云、薊州的軍隊作為東衛。”孝宗批準了。監督京營的宦官怨恨失去兵權，在宮門上貼小字報。孝宗以此給劉大夏看，并說：“宮門外人豈能進來，必定是某些不愿失去兵權的人所為。”由此，陰謀未得逞。

孝宗曾經對劉大夏說：“遇到事情總想召卿來商量，又擔心超越卿職權范圍而作罷。以后有事情的實行或罷止，卿用揭帖（文書）呈上來。”劉大夏磕頭說：“對事情的決定，外邊的交付政府部門，內部的向閣臣咨詢就行了。揭帖易滋長弊病，不可作為后世效法。”孝宗稱好。又曾問；“天下何時太平？”劉大夏答：“求治不能太性急，不過用人行政全都與大臣面議，恰當的再實行，時間長了天下自然太平。”劉大夏曾經趁機提到四方鎮守宦官的危害。孝宗詢問詳情，劉大夏答道：“臣在兩廣見到諸文武官的供應比不上一個鎮守，其耗費可知。”孝宗說：“祖宗設置這些已很久，怎能一下子革除。不過從現在開始必須像鄭原、麥秀那樣廉潔的才能任用，不然則罷免之。”劉大夏磕頭稱好。劉大夏每次被召見，跪在御床前，孝宗往左右一看，近侍都退避走了。劉大夏曾有時回答問題時間長了，疲憊得起不來，孝宗就喊司禮太監李榮扶他出去。一天早朝，劉大夏本該當班，孝宗碰巧沒見到他，第二天告誡劉大夏說：“卿昨天未上朝嗎？擔心御史糾察，沒有立即召見您。”其受孝宗寵愛如此深。特別賜他玉帶、麒麟服，送金幣、上等醇酒，歲時不斷。

回歸故里

孝宗去世后，武宗即位，劉大夏奉遺詔請求撤去非定額內的四方鎮守宦官。武宗只撤去均州齊元。劉大夏又主張應撤去鎮守宦官二十四人，又奏減皇城、京城守衛宦官，都未被接受。不久，劉大夏列舉應當淘汰的傳奉武臣六百八十三名，被批準。大漢將軍薛福敬等四十八人也該削去官職，薛福敬等故意不入宮侍奉來激怒武宗。武宗立即命恢復薛等官職，而要求兵部回答詳情，意欲加罪。宦官寧瑾磕頭說：“這些是先帝遺命，陛下列入登基詔書，不宜問罪。”武宗才放棄追查此事。宦官韋興在成化末年因有罪被長期罷官，這時靠巴結得以鎮守均州。言官紛紛諫阻，劉大夏等再三爭辯，武宗都不理。正德元年（1506年）春，劉大夏又奏道：“鎮守宦官，如江西董讓、薊州劉瑯、陜西劉云、山東朱云貪婪殘暴尤其厲害，請求審查懲處。”武宗不高興。劉大夏知道自己意見不被采納，數次上奏章請求辭官。

同年五月，武宗下詔加封他太子太保，同意他返鄉賜敕書、車馬返回，按舊制供應糧食和役仆。給事中王翊、張襘請求留住劉大夏，吏部也要求留劉大夏，武宗不理。

安逝于家

劉大夏忠實誠懇，為孝宗所信任，忘我報國，對權貴近幸多行抑止。曾經要求嚴格考核勇士，為劉瑾所恨。劉宇也恨劉大夏，就與焦芳一起在劉瑾面前進讒言道：“抄劉大夏的家，可得邊費的十分之二。”正德元年（1508年）九月，借田州岑猛的事，將他逮捕下到詔獄。劉瑾要以激變罪判大夏死刑，都御史屠滽不同意，劉瑾謾罵道：“即使不死，可以不去戍邊嗎？”李東陽從中調解，劉瑾探知劉大夏家貧窮，就判其到最偏僻的邊境戍邊。起初擬戍廣西，焦芳說：“是送他回去嗎？”于是改戍肅州。劉大夏已有七十三歲，穿著布衣徒步經過大明門磕頭而去。觀者都嘆息流淚，父老百姓攜筐送吃的，劉大夏所到之處，人們為之罷市、燒香祝劉尚書生還。等到了戍所，各部門怕得罪劉瑾，不送食品不來慰問，儒學生徒送吃食給他。一到操練，劉大夏總是扛戈站進隊伍。主管人再三推辭，劉大夏說：“軍人本來就該服役的。”他只帶來一個仆人。有人問他為什么不帶子孫，他說：“我為官時，不為子孫撈好處。現在年老被罰，怎忍心令他們同我一起死在戍所呢？”劉大夏已經遣去戍邊，劉瑾還借其他事二次罰他送米塞上。

正德五年（1511年）夏，劉大夏被赦免返鄉。劉瑾被誅殺，恢復他官職，后退休。清軍御史王相請求恢復劉大夏月糧和年役，錄用其子孫。主事的宦官始終恨他，不答應。劉大夏回家后，教子孫種田謀生。稍有盈余，就分送給故舊宗族。預先自作墓志銘，并說：“不要讓人用飾美之詞，讓我懷愧于地下也。”

正德十一年（1516年）五月，劉大夏去世，享年八十一歲。追贈太保，謚號“忠宣”。