麦铁杖生活于陈朝和隋朝期间，隋朝灭掉陈朝后，他转入大将军杨素的军中，被派往清流县，在那里多次立下战功。正巧江东发生叛乱，杨素派遣铁杖前往江南侦察情况。
麦铁杖头戴草帽，在夜间漂水渡过江河，详细了解了敌人的营地情况后回报了杨素。后来他又一次潜入敌营侦察，结果被敌军抓住，贼帅李棱派出三十名士兵押送他，并准备把他绑送给高智慧。押送过程中，抵达肻亭时，士兵们吃饭休息，看到他饥饿的样子，就解开了他的绑缚让他吃饭。麦铁杖趁机夺过士兵的刀，乱砍押送他的士兵，直到全部杀尽，然后一一割下他们的鼻子，怀揣着回到了杨素那里，让杨素非常震惊。后来在功劳评定时，麦铁杖却没有得到应有的奖赏。正好碰上杨素坐驿车返回京都，铁杖却选择徒步追随杨素，每晚都在同一家店里休息。
直到杨素发现麦铁杖时，才明白他的用心。杨素特地向隋文帝请奏，请求授予麦铁杖仪同三司的官职。但因为麦铁杖不识字，于是被送回了家乡。成阳公李彻非常欣赏铁杖的勇猛，于是在开皇十六年(597年)征召麦铁杖到京城，并任命他为车骑将军。他仍然跟随杨素北征突厥，还被封为上开府。
