馬知節(jié)自幼孤苦。宋太宗時，以蔭補為供奉官，被賜名知節(jié)。他十八歲時，任彭州監(jiān)兵，因嚴厲監(jiān)視眾兵，大家像敬畏老將那樣敬畏他。后又監(jiān)潭州兵，當(dāng)時何承矩為守臣，很是以文雅整飭吏治。馬知節(jié)仰慕何承矩的處事，因而開始折節(jié)讀書。

宋太宗雍熙年間，馬知節(jié)出任博州監(jiān)軍。雍熙三年（986年），遼朝大舉入侵，于君子館之戰(zhàn)中擊敗宋軍。在此之前知節(jié)修治城池修補戰(zhàn)具，儲積糧草，官吏百姓認為他多此一舉。不久，遼軍果然到來，因為宋朝有準備，避開而去。

其后移知定遠軍。當(dāng)時，朝廷議論調(diào)發(fā)河南十三州的百姓運輸糧餉，河北轉(zhuǎn)運使樊知古剛好到定遠軍商議事情，馬知節(jié)說：“軍少粟多，除去腐爛的粟米，還可得到十分之六七。”樊知古同意，果然獲得粟米五十萬斛，分發(fā)給各駐屯大軍，于是省卻了河南的工役。當(dāng)時所部百姓入保躲避敵人，士兵有盜竊婦女首飾的，護軍只是將其鞭笞遣走。馬知節(jié)說：“百姓躲避外患而來，反而遭受內(nèi)寇之禍，這樣可以寬恕，那么何以整肅下面呢？”馬上下令將其處死。改知深、慶二州，升任西京作坊使。

不久，馬知節(jié)再知梓州。淳化四年（993年），李順叛亂，詔令知節(jié)與王繼恩共同討伐。王繼恩依仗權(quán)勢按自己的意圖放任行事，厭惡馬知節(jié)不依附自己，派他守彭州，交給他三百名瘦弱之兵，彭州舊有的士兵，全都召回成都。馬知節(jié)屢次請求增加兵員，沒有得到同意。李順以十多萬人攻打彭州城，馬知節(jié)力戰(zhàn)，從清晨到黃昏，士兵大多死亡，他感慨地嘆息說：“死于賊人手里，不是勇士。”就橫拿著長矛突圍而出，將近天亮，援兵來到，又吶喊入城，賊人于是潰退離去。太宗聽說后感嘆地說：“賊眾我寡，馬知節(jié)不容易抵擋。”授任益州鈐轄，加封益、漢九州都巡檢使，升內(nèi)園使。恰逢韓景祐部將劉旰脅迫官兵作亂，接連攻占州縣，人數(shù)超過二千。知節(jié)率領(lǐng)三百軍隊，追到蜀州，與之戰(zhàn)斗，劉旰逃往邛州。馬知節(jié)說：“賊人攻破邛州，必定乘勝渡江逼迫我軍，等到休息后再戰(zhàn)，官軍雖然是賊人的兩倍，追擊它也勞累，不如趁其困敝加緊攻擊，這樣必然擊破它。”于是出發(fā)。官軍在方井鎮(zhèn)停留，與劉旰遭遇，殺得賊人無人幸存。

咸平（998年—1003年）初年，掌領(lǐng)登州刺史，又知秦州。秦州曾經(jīng)以羌人酋長支屬二十多人為人質(zhì)，超過二十四年。馬知節(jié)說：“羌人也是人，難道不想回家？”將其全部遣回。羌人感激，一直到最后，不再進犯邊塞。當(dāng)時秦州有銀礦，年代久遠礦物竭盡，但稅額沒有廢除，負責(zé)的官吏破產(chǎn)，不足以償還這筆稅額。馬知節(jié)請求朝廷免除稅額，三上奏章，才得到允許。后升任西上閣門使、知益州兼本路轉(zhuǎn)運使。自從乾德年間以后，每年漕運蜀州物資，動輒超過萬計。當(dāng)時征籍富民來負責(zé)船運，因漕船沉沒而破產(chǎn)的人很多。馬知節(jié)請求代督漕運以便察看實地而考核漕事，從此蜀人賴以免去禍患。

其后，馬知節(jié)移知延州兼鄜延駐泊部署。邊敵將到，正好是元宵節(jié)，就命令張燈啟關(guān)，接連幾晚宴飲歡樂，敵人不能探知底細，就退去。恰逢鎮(zhèn)州程德玄政事弛廢，調(diào)知節(jié)代理他的職務(wù)。朝廷詔令調(diào)發(fā)澶、魏六州糧食輸往定武，當(dāng)時軍隊交戰(zhàn)于邊境上，馬知節(jié)說：“糧食到來，這是資助盜竊。”只令在船車所到地方收取，敵人無所得而逃走。

宋真宗在澶淵，當(dāng)時王超擁有幾十萬軍隊屯駐真定，逗留不前進。馬知節(jié)移文書譴責(zé)，王超才出兵，還是以中渡無橋為借口。馬知節(jié)預(yù)先準備渡河的材料，一晚而完成。

景德年中，移知定州，不久，被授為東上閣門使、樞密都承旨，升任簽書樞密院事。

“澶淵之盟”簽訂后，天下平安無事，大臣言符瑞吉祥之事，但馬知節(jié)每每不以為然，他曾經(jīng)說：“天下雖然安定，但不可以忘戰(zhàn)去兵。”自己陳述年紀未衰，五七年間還可以被使喚，如果邊地有警，愿意參預(yù)行動，只要得到副都部署名及幾匹良馬、一隊輕便部隊就足夠了。真宗表示肯定，因而命令制造鋼鐵鎖子甲賜給他。后進官宣徽北院使，加兼樞密副使。當(dāng)時王欽若任樞密使，馬知節(jié)因看不起他的為人，遇事敢于直言，從未曾稍有屈服。每次在朝廷議事，得知王欽若不公正，就當(dāng)面辱罵他。當(dāng)時王欽若受真宗的寵愛正盛，馬知節(jié)更加不肯屈節(jié)討好。

大中祥符七年（1014年），馬知節(jié)任潁州防御使、知潞州。

天禧（1017年—1021年）初年，移知天雄軍，召授宣徽南院使、知樞密院事。因病請求罷免，被任命為彰德軍留后、知貝州兼部署。將要赴任，真宗憐憫他瘦弱患病，只命他返回安居。當(dāng)時上黨、大名的百姓已爭相來迎接請見。同年八月壬寅日（9月19日），馬知節(jié)去世，終年六十五歲。臨終時，他讓家人推辭詔葬（下詔安葬，古代給有勛功大臣的殊榮）。真宗聞訊后，痛切哀悼，追贈侍中，謚號“正惠”。加倍賜予助喪的財物，授其子孫四人為官。