楚留香（ 狄龙 饰）刺杀八皇爷（ 井淼 饰）失败，被朝廷通缉，于是前往幽灵山庄想要在那里躲藏。幽灵山庄的庄主老鹰（ 谷峰 饰）专门收留在江湖上犯了案子的恶人，这些人在山庄里隐姓埋名，过着与世隔绝的生活。楚留香一路与同样前往幽灵山庄的独孤美（ 杨志卿 饰）同行，顺利到达山庄。与此同时，一路上尾随而至的柳长街（ 顾冠忠 饰）也入驻幽灵山庄，并居住在楚留香的隔壁。 在幽灵山庄中，楚留香认识了好赌的轩辕四光（ 罗烈 饰），但轩辕四光胆子很小，加上幽灵山庄中相传总是闹鬼，更是令他胆战心惊。老鹰利用独孤美试探楚留香，当发现他确实一心投靠幽灵山庄后，便将其吸收为骨干力量，伺机率领山庄上下人等造反。而事实上，楚留香投奔幽灵山庄是他和八皇爷商议设下的局，此行目的就是引蛇出洞，一举歼灭老鹰和他的党羽。 在行动中楚留香发现轩辕四光竟然是八皇爷派来接应的内线，于是两人联手参与造反，将老鹰及部下引入圈套。一场混战后老鹰逃走，楚留香跟随至幽灵山庄。狡猾的老鹰一直与几个部下穿相同的衣服，头戴斗笠脸上遮着面纱，没有人知道他的真实面目，楚留香只得出手将现场所有穿同样衣服的人全部歼灭。 返回八皇爷处的楚留香受到八皇爷的热情招待，此刻柳长街和八皇爷的好友龙五也出现。龙武对楚留香杀死老鹰一事不屑一顾，他劫持了八皇爷并承认自己就是老鹰，他与自己的儿子柳长街相互掩护，在楚留香血洗幽灵山庄时趁乱逃出，现在他要以八皇爷为人质逼迫朝廷就范。正当大家为此感到惊愕之时，忽然一个人影闪入了房间。这个人就是幽灵山庄里盛传的鬼魂，现场立刻紧张起来。但此刻“鬼魂”说话了，他才是真正的老鹰。当年龙五潜入幽灵山庄，将老鹰打下悬崖，自己则假扮老鹰当起了庄主。被打下山崖的老鹰捡了一条命，但双腿却已经残疾。他只能靠自己苦练多年的轻功在山庄里出没，因此经常被人误解成鬼魂。 柳长街取出母亲临终前留下的信物，老鹰也出示了同样的一块，此刻柳长街才明白自己认贼作父，真正的父亲就在眼前。愤怒的柳长街和楚留香一起联手对付龙武，尽管龙五武功高强，但香帅的武功还是更胜一筹，加之有柳长街相助，龙五很快毙命，楚留香为朝廷解决了心腹之患。