时代，他与胡铁花、姬冰雁一起，被称为雁蝶为双翼，花香满人间。
楚留香当时左有飞雁，右有彩蝶，笑傲江湖，纵横天下。
一次胡铁花在醉酒后答应与华山派的清风女剑客高亚男成亲，酒醒后反悔，不告而别之后不久，姬冰雁也离开了。
楚留香独自闯荡江湖，直到七年之后高亚男追了胡铁花三年，之后胡铁花又在沙漠边的小镇上徘徊四年，在大沙漠里，楚留香才再次见到胡铁花和姬冰雁。
楚留香的年纪虽然从未在书中明确说明，但在蝙蝠传奇里，楚留香说出胡铁花是三十三岁。
楚留香新传郑少秋版本23张
而楚留香与胡铁花是从小一起长大的，七八岁时就曾经一起去偷酒喝，也一起在雪地里玩，因此楚留香的年纪也应该与此相差不远。
楚留香与没有家的胡铁花不同，他有一艘自己的船。而且，船上有三个美丽的女孩子，是身世极苦、从她们十一、二岁时就跟着他的红颜知己：温柔体贴、精于易容的苏蓉蓉，博闻强记、头脑清楚的李红袖，还有妙手烹饪、调皮可爱的宋甜儿。
他的其他朋友也很多：先友后敌的无花和尚、看似冰冷却热情如火的姬冰雁、外号杀人不见血，剑下一