宋徽宗期間，張綱以首貢進入太學，應試內舍、上舍，均得第一。崇寧殿試御賜狀元及第，授太學正。政和五年張綱被委任國子監。由于蔡京當權，士無大小皆出其門。張綱官居京都后只去蔡家造拜一次，以后絕然不往，引發蔡京不滿。政和六年，張綱遷任太學博士，后改任秘書省校書郎。他進朝入對，論“君子小人混雜，風俗奢靡，宜以祖宗為法”。因常與蔡京觀點分歧，遂出任主管玉局觀。期間，朝廷計議派遣宦官童貫、蔡攸率兵出使朔方，張綱力論不可受恩不報而出兵朔方，他的諫言未被采納。朔方加強聯盟，嚴守都城，戒嚴轄區，童貫、蔡攸領兵攻克不下。徽宗下詔：凡在上城垛固守滿月者皆調升俸祿。張綱又進言：主憂臣辱，義當而已，因此受賞嗎?誰料此言激怒徽宗，遂將張綱調離京都，出任兩浙提刑。

江南東路將領王進剽悍，手下官吏因很小過錯或得罪，皆被釘手于門。張綱奉詔前往究查。王遣兵圍攻起事，被張綱按下就問，嚴厲治罪。張綱因此遂為監察御史，任上，他令郡城按月向提刑申報羈押囚犯存亡數，年終根據羈押人數多寡，考核評定政績優劣。

靖康元年(1126年)六月，東方出現彗星，欽宗詔諭求言。張綱上疏：求言易，聽察難，各主司部門應詳審奏章，考究真情實況，一般事宜則力求簡略。欽宗遂頻諭寬恤民力。張綱又奏利民80件事，求請頒布中外，但因得罪秦檜被罷官回鄉，隱居茅山華陽洞20年，秦檜死后方出山任職。

孝宗登基(1163年)，屢次召張綱出任輔政，他因年事已高，堅持不出。孝宗又專下辭赴行詔，令所在州郡對他常加存問，并賜羊、酒以示優賢。張綱常在案牘之余埋頭著述，著有《華陽文集》40卷(收入《四庫全書》)、《確論》10卷等多種著作。卒謚文簡，祀七賢祠。《宋史》、《中國歷史人物辭典》皆載其跡。