胡儼從小十分好學(xué)，對天文、地理、律歷、醫(yī)學(xué)、占卜方面的書籍，無不博覽。洪武年間，胡儼以舉人身份被授予華亭縣教諭，能以師道自任。母親去世，他守孝期滿后，改到長垣任教諭，請求給予便地養(yǎng)家，后又改到余干縣任職。批準(zhǔn)學(xué)官請求便地即是從胡儼開始。

建文元年（1399年），胡儼被推薦任為桐城縣知縣。他主持開鑿?fù)┶樗喔忍锏?，使百姓獲利。縣境有虎傷人，胡儼齋戒沐浴后向神靈禱告，老虎便逃走了。桐城縣人把他供祀在朱邑祠。

建文四年（1402年），副都御史練子寧把胡儼推薦給朝廷，說：“胡儼具有的知識足以通達(dá)天人，他的才智足以參佐帷幄?！钡群鷥氨徽賮頃r，燕王的部隊(duì)已渡過了長江。

朱棣即位后，說：“胡儼懂得天文，就讓欽天監(jiān)考考他?！笨纪曛?，欽天監(jiān)官員上奏說胡儼確實(shí)通象緯、氣候之學(xué)。不久又因解縉的推薦，授予胡儼翰林檢討之職，與解縉等人一同在文淵閣當(dāng)值。升為侍講，再升為左庶子。胡儼因父親去世守喪，守孝期滿后胡儼又出來任職。胡儼在內(nèi)閣時，受皇上顧問，他從不與人爭先，但稍嫌戇直。

永樂二年（1404年）九月，胡儼被任為國子監(jiān)祭酒，便不再參預(yù)機(jī)務(wù)。當(dāng)時國子監(jiān)用法嚴(yán)峻，國子生請事假回家的，也被判戍邊。胡儼到任后，立即上奏廢除了這條規(guī)定。

永樂七年（1409年），朱棣幸臨北京，召胡儼赴行。

永樂八年（1410年），朱棣率軍北征，命胡儼以祭酒兼侍講，掌管翰林院事務(wù)。輔佐皇太孫留守北京。

永樂十九年（1421年），胡儼改任北京國子監(jiān)祭酒。當(dāng)時，海內(nèi)統(tǒng)一已近五十年，朱棣正內(nèi)興禮樂，外懷要荒之地，公卿大夫彬彬然多是文學(xué)之士。胡儼作為館閣宿儒，朝廷大著多出自他之手，重修《太祖實(shí)錄》、《永樂大典》、《天下圖志》，他都擔(dān)任總裁官。他主持國學(xué)二十余年，以身率教，一行一動都有師法。

洪熙元年（1425年），胡儼以病請求退休，明仁宗朱高熾賜給敕書，獎勵慰勞他，進(jìn)升他為太子賓客，仍兼祭酒。退休后，朝廷免除他子孫的賦稅徭役。明宣宗朱瞻基即位后，以禮部侍郎之銜召胡儼，胡儼推辭歸家。

胡儼在家二十年，方岳重臣都以師禮對待他。胡儼與他們交談，從不曾說到他個人的事。他自處淡泊，歲時的衣食才剛夠需要。當(dāng)初他任湖廣考官時，看到楊溥的文章，非常驚異，在其上題寫道：“此文作者必能為董子之正言，而不為公孫之阿曲。”世人都認(rèn)為他知人。

正統(tǒng)八年（1443年）八月，胡儼去世，終年八十三歲。