女县长鞠萍率领的工作队正在夹皮沟开展土改，深夜遭到奶头山匪首许大马棒的突袭。危难中通讯员白茹突出重围向牡丹江民主联军二团部求救，途中被进城买粮食的团部炊事员杨子荣所救。鞠县长的亲弟弟二团参谋长少剑波带兵火速援救夹皮沟，可土匪已逃之夭夭。由于土匪作战的游击特性，军分区领导决定由少剑波组建一支精干的小分队深入林海雪原追剿土匪，并要求他们寻找出一张标有牡丹江地区潜伏特务分布情况的地下联络图。少剑波意识到局势的严峻和自己身上责任的重大，精心挑选了一批身怀绝技的战士，如身高力大的“坦克“刘勋苍，夜行千里的“长腿“孙达得，攀缘能手栾超家等等。军分区田司令则将身边懂得土匪黑话，了解东北风情的炊事员杨子荣安排进了小分队。少剑波听说老杨身上有很多江湖气息，成分复杂，不太想接受，碍于田司令员的命令，决定先让他当伙夫，看看再说。白茹也央求田司令替她说情，积极要加入小分队为鞠县长报仇。驻扎在牡丹江的苏联红军突然包围了二团团部并缴了械，杨子荣从跟随苏联红军的翻译身上看出了破绽，夜里和坦克溜出团部，在大烟馆活捉了正和土匪串谋陷害民主联军的翻译，解除了危机。杨子荣也因此赢得了少剑波和小分队其他成员的初步信任。小分队第一站决定驻扎夹皮沟摸清匪情，没想到他们刚到，原土改工作队的房子就不明不白地着了火，杨子荣在火场发现了一只可疑的破旧胶皮鞋，决定以此为突破深入侦察。杨子荣和刘勋苍密林侦察数天终于发现了重要情报，胶皮鞋的主人是个小炉匠，真名栾平，是奶头山的联络副官，杨子荣在没有打草惊蛇的情况下活捉了栾平。在审问栾平的过程中发现在夹皮沟寄居多年的外乡女人槐花失散多年的老公就是奶头山的土匪“老北风“，而槐花也无意中发现杨子荣居然就是在山东老家和她订过亲的杨宗贵。杨子荣因此开始琢磨如何里应外合剿灭奶头山的办法。首先，他们通过顶替栾平接捻子，捉到了土匪刁占一，从刁占一打开了栾平的缺口。顽固不化的栾平终于供出地下联络图由他老婆保管，并交代出联络图全是日文，他根本看不懂。藏匿大烟土的地点也只有奶头山的老北风和军需副官胡彪最清楚。为了进一步掌握敌情，少剑波派杨子荣等去寻找栾平老婆，自己则去赶集。集市的不太平让少剑波分析到各路土匪为了加紧找寻联络图，都坐不住了。他决定尽快剿灭奶头山。杨子荣和孙达得在寻找栾平老婆期间，发现了对奶头山了如指掌的蘑菇老人。白茹治好了蘑菇老人的病，赢得了老人的信任。经过蘑菇老人的详细介绍，少剑波了解到形势的严峻和作战的困难。栾超家则对蘑菇老人提到的鹰嘴崖产生了兴趣。杨子荣设计活捉了下山接捻子的老北风，并借助槐花的力量让老北风里应外合，打了个措手不及，将奶头山一举歼灭。