早年升遷

杭世駿自幼家境貧寒，勤奮好學，年輕時偶爾過訪友人館舍，見異文秘冊，即端坐那里默默記下其中要點，用功之勤，可見一斑。王瞿序《道古堂集》曰：“堇浦於學無所不貫，所藏書擁榻積幾，不下十萬卷。堇浦枕藉其中，目睇手纂，幾忘晷夕。”杭世駿經常向他人借書閱讀，并與同鄉梁詩正、孫灝、嚴在昌等人組織讀書會，互相討論學術。雍正二年(1724）考中舉人，屢次赴考進士不中。雍正九年(1731年)，杭世駿在主持纂修《浙江通志·經籍志》時，堅持按事實修志，然而當時文網頗密，官府修志，要刪除違礙字句，因此他的要求遭到拒絕。后曾受聘擔任福建鄉試的同考官。鄉試的考官一般都由進士出身的官員擔任。而杭世駿能以舉人的身份擔任考官，足以說明他在當時影響之大。 乾隆元年(1736），杭世駿應浙江總督程元章之薦考取了丙辰博學鴻詞科，名列一等第五，授翰林院編修之職，校勘武英殿《十三經》、《二十四史》，纂修《三禮義疏》。

直言賈禍

乾隆八年，久旱無雨，乾隆帝循例下詔求直言，開御史試。杭世駿以為當今皇上納諫入流，于是貿然上了一篇洋洋灑灑數千字的《時務策》，言“意見不可先設，軫域不可太分，滿洲才賢號多，較之漢人，僅什之三四，天下巡撫尚滿漢參半，總督則漢人無一焉，何內滿而外漢也？三江兩浙天下人才淵藪，邊隅之士間出者無幾。今則果于用邊省之人，不計其才，不計其操履，不計其資俸。而十年不調者，皆江浙之人，豈非意見軫域？”主要內容是指責朝廷用人存在偏見。他認為天下滿洲人少、漢人多，而各地總督卻沒有一個漢人；江浙人才輩出，但在政府中多年沒有人升調。雖然，他所寫的內容都能切中時弊，但清朝由滿洲貴族統治，一直存在著防范漢人的心理，杭世駿恰恰是觸及了“滿漢畛域”這個最忌諱的問題。乾隆皇帝一見之下，勃然大怒說：“滿漢遠邇，皆朕臣工，朕從無歧視。國家教養百年，滿洲人才輩出，何事不及漢人？”杭世駿被斥“懷私妄奏”，刑部議處死刑。刑部尚書徐本極力為杭世駿求情，稱“是狂生，當其為諸生時，放言高論久矣”，并不停叩頭，一直把額頭都叩腫了。最后，杭世駿免死革職回鄉。

剛開始得知“罪且不測”的消息時，杭世駿正在參加同僚的宴會，還沒等杭世駿從震愕中回過神來，東道主已先一步作出反應，要趕杭世駿出門，免得連累自己。此后，那些所謂的同僚如同躲避瘟神一樣地躲著他，“杭往話別，輒預戒閽者拒之。”唯獨鄭板橋寫信慰問《與杭世駿書》：“君由鴻博，地處清華，當如歐陽永叔在翰苑時，一洗文章浮靡積習，慎勿因循茍且，隨聲附和，以投時好也。數載相知，於朋友有責善之道，勿以冒瀆為罪，是所冀於同調者。堇浦詞兄，燮頓首。”罷歸之初，杭世駿要么閉門不出、避人如仇，要么踟躇在距家很近的吳山幽徑中。但有時他又會倒載而行，招搖過市，目無旁人地大聲吟唱詩句。

家居著學

杭世駿性格伉直，恃才傲物。他甚至與禮部侍郎方苞發生辯論，引經據典，將一向以經學自負的方苞駁得無言以對。生活上也不拘細節，不喜歡看當時的邸報（邸報是當時政府的內部文告，只有一定地位的人才能看到）。他家居著書或講學，閑居二十年，連當地與他年齡相仿的人做到了大學士、尚書、總督等政府高官，他全然不知道。一次，吏部尚書兼協辦大學士劉綸去揚州安定書院看望他。他問劉綸：“現在做什么官?”劉綸回答說：“實不相瞞，已經做了很多年大學士了。”杭世駿感到非常驚訝。事實上，杭世駿除了平時講學以外，把其他的時間都用于著書立說上了。盡管與他同一年考中“博學鴻詞科”的許多人都做了高官，惟獨他一人被遣放回家，但是他著的書卻是這些人當中最多的。他較著名的書就有《兩浙經籍志》、《經籍志》、《榕城詩話》、《詞科掌錄》等。杭世駿的詩在當時更是與厲鶚齊名，嘗賦《方鏡詩》二十四首，在京城被傳誦一時。

乾隆十六年（1751）得以平反，官復原職。晚年主講廣東粵秀和江蘇揚州兩書院。