馬知節自幼孤苦。宋太宗時，以蔭補為供奉官，被賜名知節。他十八歲時，任彭州監兵，因嚴厲監視眾兵，大家像敬畏老將那樣敬畏他。后又監潭州兵，當時何承矩為守臣，很是以文雅整飭吏治。馬知節仰慕何承矩的處事，因而開始折節讀書。

宋太宗雍熙年間，馬知節出任博州監軍。雍熙三年（986年），遼朝大舉入侵，于君子館之戰中擊敗宋軍。在此之前知節修治城池修補戰具，儲積糧草，官吏百姓認為他多此一舉。不久，遼軍果然到來，因為宋朝有準備，避開而去。

其后移知定遠軍。當時，朝廷議論調發河南十三州的百姓運輸糧餉，河北轉運使樊知古剛好到定遠軍商議事情，馬知節說：“軍少粟多，除去腐爛的粟米，還可得到十分之六七。”樊知古同意，果然獲得粟米五十萬斛，分發給各駐屯大軍，于是省卻了河南的工役。當時所部百姓入保躲避敵人，士兵有盜竊婦女首飾的，護軍只是將其鞭笞遣走。馬知節說：“百姓躲避外患而來，反而遭受內寇之禍，這樣可以寬恕，那么何以整肅下面呢？”馬上下令將其處死。改知深、慶二州，升任西京作坊使。

不久，馬知節再知梓州。淳化四年（993年），李順叛亂，詔令知節與王繼恩共同討伐。王繼恩依仗權勢按自己的意圖放任行事，厭惡馬知節不依附自己，派他守彭州，交給他三百名瘦弱之兵，彭州舊有的士兵，全都召回成都。馬知節屢次請求增加兵員，沒有得到同意。李順以十多萬人攻打彭州城，馬知節力戰，從清晨到黃昏，士兵大多死亡，他感慨地嘆息說：“死于賊人手里，不是勇士。”就橫拿著長矛突圍而出，將近天亮，援兵來到，又吶喊入城，賊人于是潰退離去。太宗聽說后感嘆地說：“賊眾我寡，馬知節不容易抵擋。”授任益州鈐轄，加封益、漢九州都巡檢使，升內園使。恰逢韓景祐部將劉旰脅迫官兵作亂，接連攻占州縣，人數超過二千。知節率領三百軍隊，追到蜀州，與之戰斗，劉旰逃往邛州。馬知節說：“賊人攻破邛州，必定乘勝渡江逼迫我軍，等到休息后再戰，官軍雖然是賊人的兩倍，追擊它也勞累，不如趁其困敝加緊攻擊，這樣必然擊破它。”于是出發。官軍在方井鎮停留，與劉旰遭遇，殺得賊人無人幸存。

咸平（998年—1003年）初年，掌領登州刺史，又知秦州。秦州曾經以羌人酋長支屬二十多人為人質，超過二十四年。馬知節說：“羌人也是人，難道不想回家？”將其全部遣回。羌人感激，一直到最后，不再進犯邊塞。當時秦州有銀礦，年代久遠礦物竭盡，但稅額沒有廢除，負責的官吏破產，不足以償還這筆稅額。馬知節請求朝廷免除稅額，三上奏章，才得到允許。后升任西上閣門使、知益州兼本路轉運使。自從乾德年間以后，每年漕運蜀州物資，動輒超過萬計。當時征籍富民來負責船運，因漕船沉沒而破產的人很多。馬知節請求代督漕運以便察看實地而考核漕事，從此蜀人賴以免去禍患。

其后，馬知節移知延州兼鄜延駐泊部署。邊敵將到，正好是元宵節，就命令張燈啟關，接連幾晚宴飲歡樂，敵人不能探知底細，就退去。恰逢鎮州程德玄政事弛廢，調知節代理他的職務。朝廷詔令調發澶、魏六州糧食輸往定武，當時軍隊交戰于邊境上，馬知節說：“糧食到來，這是資助盜竊。”只令在船車所到地方收取，敵人無所得而逃走。

宋真宗在澶淵，當時王超擁有幾十萬軍隊屯駐真定，逗留不前進。馬知節移文書譴責，王超才出兵，還是以中渡無橋為借口。馬知節預先準備渡河的材料，一晚而完成。

景德年中，移知定州，不久，被授為東上閣門使、樞密都承旨，升任簽書樞密院事。

“澶淵之盟”簽訂后，天下平安無事，大臣言符瑞吉祥之事，但馬知節每每不以為然，他曾經說：“天下雖然安定，但不可以忘戰去兵。”自己陳述年紀未衰，五七年間還可以被使喚，如果邊地有警，愿意參預行動，只要得到副都部署名及幾匹良馬、一隊輕便部隊就足夠了。真宗表示肯定，因而命令制造鋼鐵鎖子甲賜給他。后進官宣徽北院使，加兼樞密副使。當時王欽若任樞密使，馬知節因看不起他的為人，遇事敢于直言，從未曾稍有屈服。每次在朝廷議事，得知王欽若不公正，就當面辱罵他。當時王欽若受真宗的寵愛正盛，馬知節更加不肯屈節討好。

大中祥符七年（1014年），馬知節任潁州防御使、知潞州。

天禧（1017年—1021年）初年，移知天雄軍，召授宣徽南院使、知樞密院事。因病請求罷免，被任命為彰德軍留后、知貝州兼部署。將要赴任，真宗憐憫他瘦弱患病，只命他返回安居。當時上黨、大名的百姓已爭相來迎接請見。同年八月壬寅日（9月19日），馬知節去世，終年六十五歲。臨終時，他讓家人推辭詔葬（下詔安葬，古代給有勛功大臣的殊榮）。真宗聞訊后，痛切哀悼，追贈侍中，謚號“正惠”。加倍賜予助喪的財物，授其子孫四人為官。