少年時他先結識了來自西南的宋玉，後又與嶽鳴、柳然、林青鋒幾人義氣相投，結爲異性兄弟。那段時間裏，他們五人在江湖上叱吒風雲，建立長生堡，那是何等順心暢意的日子。然而時間未久，林青鋒便第一個退隱，五名結義兄弟中，胡絕與林青鋒的交情並不是最深厚的，但他心中仍是不愉，便彷彿一塊品相完美的寶石，驟然被切割掉了一角。
再後來，宋玉死於江湖搏殺之中。這個年紀還小於他的四弟曾救過胡絕一命，二人交情最好，到此時，胡絕才是真正的心灰意冷。他對自己，對嶽鳴與柳然說：江湖多風雨，我煩了，不想繼續了，退隱罷。
嶽鳴與柳然皆有些驚訝，卻又不是特別驚訝，畢竟先前已有了一個林青鋒，再者，胡絕的性情素來脫略狂傲，這似乎也正是他能做出的事。但嶽鳴到底還是多問了一句，“老三，你當真要退隱？”
自己當時是怎麼說的？對了，胡絕當時冷笑着道：“江湖上我已走過一次，不過如此，何必再留！”
嶽鳴便不再多說什麼了。胡絕自負瀟灑，背了個簡單的行囊步出長生堡，一出大門險些撞上個孩子。
那便是嶽海燈，手裏還抱着小小的嶽小夜。
嶽鳴膝下僅此一兒一女，若說不疼，自然是假話，但那個時候正是長生堡冉冉上升之期，在嶽鳴看來，自然是現下的江湖事業最爲重要，並沒有多少時間照管他們。胡絕看了不由皺眉頭，道：“依海燈現下的年紀，也可以啓蒙了，怎好似沒什麼功底的樣子？”
柳然出來送他，乘機就道：“大哥現下忙碌成這樣，哪有時間教孩子。依我看，三弟你既要隱居，哪裏不行？俗話還說大隱隱於朝，難道在長生堡不能隱居？也不用你管什麼江湖事，就教教這兩個孩子，不也很好？”
胡絕又看了一眼岳氏兄妹兩個，腳步不由自主地停了下來。
他教着嶽海燈，帶着嶽小夜。過幾年，又來了姜白虹與林皆醉。他的心裏面，隱隱也是頗爲自豪的。
我雖不管長生堡的事務，卻教出了四個好孩子。
這些年來，長生堡在江湖中的地位逐步上升，雖然中間風波不斷，也出現了天之涯這般強勁的對手，但並沒有人能夠真正戰勝這個強大的組織。胡絕喝着酒，種着他的草藥，心裏尋思：退隱江湖，超然物外，卻還能做到如我一般的，縱觀武林，大概也唯有我胡絕一人了。
僅有的一點傷感之處，乃是姜白虹入堡時所受的嚴重內傷，然而因着姜白虹自身的優異與樂天，這些傷感也被淡化了許多。
就這樣過了十多年，忽然間柳然叛變，霎那時天翻地覆。
這一場叛變，連嶽鳴事先也全無覺察，更不必提胡絕。事情發生之時，柳然對嶽鳴下了狠手，對他卻沒怎麼難爲。但胡絕並不因此而歡喜，反而更加傷痛。
二哥怎的會忽然叛變？兄弟之間怎會互相殘殺？倘若我當日一直留在江湖中，不曾隱居，是否便不會發生這些事情？
至少我教的這幾個孩子，不能再出事了。
這四個孩子裏，最讓他放心的是嶽小夜，聰明懂事的女孩子，從不讓人操一分心；私心裏最喜歡的則是姜白虹，性情疏朗開闊，劍術在年輕一代中當世無雙；最重視的自然是嶽海燈，長生堡未來的繼承人；而林皆醉……
他總有些看不透這孩子。
然而林皆醉終還是一路成長了起來，成爲長生堡的小總管，武學方面雖不算特別出色，但行事滴水不露，爲人周密齊全，胡絕從前會想：這樣也很好，一個林皆醉，一個姜白虹，一文一武，二人關係又好，將來正好一同輔佐嶽海燈。誰想當他好容易帶着嶽海燈回來的時候，又是一番鉅變。
最讓他放心的嶽小夜，他親眼看着這個從小看大的女孩子中毒身死；
最被他喜歡的姜白虹，在長生堡鉅變之後忽然出走，自此全無影蹤；
而本應是擔負着長生堡未來重任的嶽海燈全無干勁，黃沙幫、李三娘，這些事情發生在其他江湖人身上，原本無傷大雅，出現在他身上，便是致命之處。
再有，便是林皆醉，柳然出事之後，這名年紀輕輕的小總管所做所爲，亦令胡絕觸目驚心：私下修煉清明手記中的武學，心腹林戈擊敗少主嶽海燈，一手調動堡內精兵，最終又在衆目睽睽之下奪得了龍文古劍。
小總管的武學是胡絕教出來的，但他的爲人處事，應對事務，卻是柳然一手帶出來的。一個大總管，一個小總管，林皆醉會是第二個柳然嗎？然而嶽海燈，胡絕自己也不得不承認，不如嶽鳴遠矣。
他心中一直抱着這樣的疑慮，在看到李三娘將嶽海燈打落寒潭之時，如同天花板上的第二隻靴子一般，終於落了下來。
原來如此，果然還是如此。
我後半生退隱，任事不管，自詡超脫，最終卻是兄弟反目；而這半生裏我唯一做的一件事情，教出的四個孩子，終於全軍覆沒。
而海燈來參加品劍大會，甚至還是我專程陪他前來。
胡絕實在無法繼續想下去，恰好前方路邊有個茶棚，他跌跌撞撞地走了進去，內裏的一位白衣青年公子忙扶了他一把，“這位老先生，你是怎樣了？”
老先生？胡絕從前可從沒覺得這一個老字和自己有關，那白衣青年公子的力道不大，他隨身一個老僕便過來，攙扶胡絕坐下。那公子便招呼道：“店家，快上一碗酸湯子給這位老先生，喝了暖暖身子。”
一碗滾熱的酸湯子很快便端上了上來，胡絕喝了幾口，出了一頭的虛汗，他定一定神，不願接受旁人的憐憫，從懷中掏出一小塊銀子放在桌上，道：“我沒什麼事。”便起身離開了。