宋徽宗期間，張綱以首貢進(jìn)入太學(xué)，應(yīng)試內(nèi)舍、上舍，均得第一。崇寧殿試御賜狀元及第，授太學(xué)正。政和五年張綱被委任國子監(jiān)。由于蔡京當(dāng)權(quán)，士無大小皆出其門。張綱官居京都后只去蔡家造拜一次，以后絕然不往，引發(fā)蔡京不滿。政和六年，張綱遷任太學(xué)博士，后改任秘書省校書郎。他進(jìn)朝入對，論“君子小人混雜，風(fēng)俗奢靡，宜以祖宗為法”。因常與蔡京觀點(diǎn)分歧，遂出任主管玉局觀。期間，朝廷計(jì)議派遣宦官童貫、蔡攸率兵出使朔方，張綱力論不可受恩不報(bào)而出兵朔方，他的諫言未被采納。朔方加強(qiáng)聯(lián)盟，嚴(yán)守都城，戒嚴(yán)轄區(qū)，童貫、蔡攸領(lǐng)兵攻克不下。徽宗下詔：凡在上城垛固守滿月者皆調(diào)升俸祿。張綱又進(jìn)言：主憂臣辱，義當(dāng)而已，因此受賞嗎?誰料此言激怒徽宗，遂將張綱調(diào)離京都，出任兩浙提刑。

江南東路將領(lǐng)王進(jìn)剽悍，手下官吏因很小過錯(cuò)或得罪，皆被釘手于門。張綱奉詔前往究查。王遣兵圍攻起事，被張綱按下就問，嚴(yán)厲治罪。張綱因此遂為監(jiān)察御史，任上，他令郡城按月向提刑申報(bào)羈押囚犯存亡數(shù)，年終根據(jù)羈押人數(shù)多寡，考核評定政績優(yōu)劣。

靖康元年(1126年)六月，東方出現(xiàn)彗星，欽宗詔諭求言。張綱上疏：求言易，聽察難，各主司部門應(yīng)詳審奏章，考究真情實(shí)況，一般事宜則力求簡略。欽宗遂頻諭寬恤民力。張綱又奏利民80件事，求請頒布中外，但因得罪秦檜被罷官回鄉(xiāng)，隱居茅山華陽洞20年，秦檜死后方出山任職。

孝宗登基(1163年)，屢次召張綱出任輔政，他因年事已高，堅(jiān)持不出。孝宗又專下辭赴行詔，令所在州郡對他常加存問，并賜羊、酒以示優(yōu)賢。張綱常在案牘之余埋頭著述，著有《華陽文集》40卷(收入《四庫全書》)、《確論》10卷等多種著作。卒謚文簡，祀七賢祠。《宋史》、《中國歷史人物辭典》皆載其跡。