劉峻生不及一月，曾任宋始興內使的父親劉病逝，母親許氏不得不帶著他及哥哥法鳳回到故鄉。宋明帝泰始五年，劉峻8歲，魏攻占青州，劉峻母子為亂兵所掠，作為奴隸賣到中山。富人劉寶憫惜劉峻，以束帛贖出，并教他讀書。此時劉峻的叔父劉懷珍仍在宋為官，并以軍功累遷至黃門郎領虎賁中郎將。魏實行民族隔離政策，對南朝有戚屬者尤甚，因此再徙劉峻母子到更為僻遠的代地。

劉峻母子衣食難繼，不得不到寺廟為僧為尼，還俗只是后來的事情。劉峻卻非常好學，在“居貧不自立”的情況下，燃麻桿為燈；夜讀昏困，就用麻桿燎發須，“及覺復讀”。齊武帝永明四年，劉峻母子不堪忍受民族歧視，由桑乾回到建康。

自東晉偏安江隅以來，建康一直為中國文化的中心。至建康，劉峻自感少時的讀書不博，加之生性魯鈍，不勝愧嘆：“黌中濟濟皆升堂，亦有愚者解衣裳。”此時劉峻已屆25歲，“于是博及群書，文藻秀出”（《南史》本傳）。

梁初建，劉峻曾被召“入西省，與學士賀琮校點秘閣”。然而劉峻率性而動，于學于識方面均不讓梁武帝蕭衍。一次“會策錦被事，咸言已罄，帝試呼峻”，劉峻“忽請紙筆，請疏十余事”。蕭衍“不覺失色。自是惡之，不復引見”。蕭衍對劉峻的忌恨一直延續了相當長的時間，當劉峻編纂的《類苑》成，蕭衍則另外組織一班文士編《華林遍略》“以高之，竟不見用”（《南史》本傳）。這是造成劉峻由中年及老年坎坷、淹蹇的根本原因。

劉峻并不屈服于命運，可是劉峻的命運卻是這樣的舛訛，甚至幾次到了“疏薄遭棄”的境地，不能不使他良多慨嘆，由己及人、由今及古思索有關命運的課題。

偶然他聽到梁武帝蕭衍對管輅“有奇才而位不達”的議論，于是接過話題，洋洋灑灑寫成了《辨命論》一文。劉峻認為前人的辨命存在著許多不足，如王充只是論其末卻“蔽其原”，司馬遷辨惑而終為惑所蔽，李康“論其本而不暢其源”，郭象能“語其流而未詳其本”。劉峻本著“仕而不易，則謂之命。命也者，自天之命也”的角度，逐一予以辨蔽。

《辨命論》雖然屬于哲學方面的論文，然而卻是用華麗的駢儷文體寫成的。特別是劉峻寫作《辨命論》“蓋以自喻”（劉瑤：《梁典》），澆鑄著他的不平之氣，從而使之音節精壯，辭彩飛揚，辨鋒犀厲，情致淋漓，較之李康、郭象等前人之作顯現出另一番慷慨激越的特色。而劉峻這一論文面對現實，面向人生，與南朝文風大相徑庭，故而有“足杜浮競”（李善：《文選注》）之效。誠然，《辨命論》從總體上言仍然囿于儒家“天命不可知”的思想體系，然而較之前人有所開拓，有所恢宏，故張溥擊節稱賞：“辨命六蔽，善言天命。”（《劉戶曹集題辭》）至于劉峻于其中首先倡言：“天下善人少，惡人多；暗主眾，明主寡”，吐出了封建社會諸多失意文人內心的憤懣，故而千百年來有著許多的知音。

《辨命論》成，中山劉沼不盡同意劉峻的觀點，曾往來致書詰難，劉峻并一一作答。過了很久很久，劉沼沒有音信、而劉峻值兒子病死內心戚戚惶惶不能前去相訪。有人來拿著劉沼的復信給劉峻看，并言及這是劉沼于病中寫成只是因為死未及發出。劉峻面對劉沼遺文，如睹故人，不勝悲悼，寫作《追答劉沼書》以相吊。該書不及200字，只是借典實來說明劉峻的相哀相念之情。

如結末說：“冀東平之樹，望咸陽而西靡；蓋山之泉，聞弦歌而赴節。但懸劍空垅，有恨如何！”書中所用之典，意謂人死之后既有所感應，便想象著劉沼在九泉之下等待著劉峻的回答。于是劉峻就面對著蒼冥，追思劉沼昔日的殷殷候答之情，仍然作了答書。劉峻說，當他再看到劉沼的復信，就如同秋菊春蘭一樣，芬芳之香充溢，英華之才流淌。只此一語就回答了劉沼。這種答死者書，“甚是創格”（許連：《六朝文絜》）。可是劉峻那里不知道人死魂滅，結末一語用季子懸劍徐君墓樹的典實，使之屬辭凄惋纏綿，“俯仰徘徊，無限悲切。”這封答書，在創格之中表達了對剛逝去朋友的哀悼，表現了與朋友討論問題的真誠態度，最后深表失去摯友的遺恨，意味至為深永。

劉峻不獨重友誼，而且還特別重視為人交友之道。梁武帝天監七年任昉死于新安任所，任昉吏風清正，不喜營物。任昉的兒子“東里、西華、南容、北叟并無求業，墜其家聲。

兄弟流落，不能自振，平生舊交莫有收恤。西華冬月著葛帔練裙”；道逢劉峻，劉峻“泫然矜之，謂曰：‘我當為卿作計’乃著《廣絕交論》以譏其舊交”（《南史》本傳）。

《廣絕交論》取主客問答的形式，循著東漢朱穆的《絕交論》的思路寫成。不過《廣絕交論》更突出了對“利交”的揭露及“利交”種種表現形式，其一為勢交，其二為賄交，其三為談交，其四為窮交，其五為量交。這五種“利交”的形式，“義同賈鬻”，并且滋生出三釁：“敗德殄義，禽獸相若，一釁也；難固易攜，仇訟所聚，二釁也；名陷饕餮，貞介所羞，三釁也。

古人知三釁之為梗，懼五交之速尤，故王丹威子以槚楚，朱穆昌言而示絕”，都是有著遠大的眼光的。至于現狀較之朱穆寫成《絕交論》時尤甚。

劉峻通過任昉生前與死后境遇的完全不同，不勝感慨地說：“嗚呼！世路險巇，一至于此。太行孟門，豈云嶄絕。是以耿介之士疾其若斯，裂裳裹足，棄之長鶩。獨立高山之頂，歡與麋鹿同群，皦皦然絕其雰濁，誠恥之也，誠畏之也。”不止應象朱穆所示的那樣“絕交”，而且還要廣絕交，從而擴大了朱穆的觀點。由于該論現實針對性強，似到溉“見其論，抵幾于地，終身病之”（劉璠：《梁典》）；而且還似燭照諸種丑惡行為的鏡子懸掛中天，成為不脛而走的名篇。至千百年后，尚有“郈成、季札，遺風在焉”（張溥：《劉戶曹集題辭》）的盛譽。

由于蕭衍的忌恨，劉峻雖為蕭秀征為荊州戶曹參軍，最終卻選擇了金華山為棲地的歸隱之路。他一方面設帳授徒，一方面篩選收集自己的文章，并寫成一篇《自序》總結他的一生。其中發出“魂魄一去，將同秋草”，將為“世不吾知”的悲嘆！不過歷史是有選擇的。

在他死后，他的學生私謚為“玄靖先生”，作品亦不脛而走，影響深遠。