公元528年，北魏国内发生重大变故，权臣尔朱荣发动河阴之变，屠杀包括胡太后和小皇帝在内的两千多名皇亲重臣，北魏政局陷入混乱。北魏宗室北海王元颢为求自保，率部投降梁朝，并请求梁朝出兵助其北归称帝。梁武帝萧衍出于战略考虑，封元颢为魏王，并决定派兵护送其北归。在选择领军将领时，梁武帝看中了表现出色的陈庆之。尽管此次任务极为艰险，以区区七千人深入北魏腹地几乎等同于送羊入虎口，但陈庆之毅然接下了这个看似不可能完成的任务。
公元529年四月，陈庆之被任命为假节、飙勇将军，率领七千精兵护送元颢北归。从此，开始了中国战争史上一次堪称奇迹的军事行动——白袍军北伐。
陈庆之的军队皆着白袍，成为其标志性特征。庆之麾下悉着白袍，所向披靡。这支白袍军队虽然人数不多，但战斗力极强，而且纪律严明，深受百姓欢迎。
北伐第一场重要战斗是荥城之战。魏将丘大千（即之前曾在浔梁被陈庆之击败的将领）此时拥有七万重兵，分筑九座城池抵御梁军。面对十倍于己的敌军，陈庆之从容不迫，指挥若定。他从早上发动进攻，到下午申时（约4点），便已攻破三座堡垒。丘大千被陈庆之的威名和战斗力所震慑，率部投降。首战告捷，白袍军声威大震。
接下来，陈庆之率军进抵考城（今河南民权东北）。考城地势险要，城四面萦水，守备严固，魏征东将军济阴王元晖业率领二万羽林军驻守于此。元晖业自以为凭借考城的水势天险，可以高枕无忧。
然而，陈庆之出奇制胜，命浮水筑垒，在水上构筑浮垒，发动进攻，一举攻陷考城，生擒元晖业，并缴获战车七千八百辆。这一战，陈庆之再次展示了灵活变通的战术思想，克服地理劣势，以最小代价取得最大胜利。
攻占考城后，陈庆之率军西进，直指大梁（今河南开封）。仍趋大梁，望旗归款，大梁守军见白袍军旗，望风归降。至此，梁军已深入北魏腹地，兵锋直指洛阳。
北魏朝廷见局势危急，急忙调兵遣将，集结重兵阻击陈庆之。魏左仆射杨昱、西阿王元庆、抚军将军元显恭率领御仗羽林、宗子、庶子等精锐部队，共计七万人，据守荥阳。荥阳城坚池深，守军精强，成为陈庆之北进路上的重大障碍。
与此同时，魏将元天穆率领大军赶来增援，先遣尔朱吐没儿率领五千胡骑和鲁安率领九千夏州步骑援助杨昱；又派尔朱世隆、王罴率领一万骑兵据守虎牢关，切断梁军退路。元天穆与尔朱吐没儿的前后部队相继而至，旗鼓相望，声势浩大。
当时，荥阳久攻不下，而北魏援军已至，梁军腹背受敌，士众皆恐，军心震动。在这生死存亡的关头，陈庆之展现出了卓越的领导才能和鼓舞士气的智慧。
他解鞍秣马，集合将士，慷慨陈词：吾至此以来，屠城略地，实为不少；君等杀人父兄，略人子女，又为无算。天穆之众，并是仇雠。我等才有七千，虏众三十余万，今日之事，义不图存。吾以虏骑不可争力平原，及未尽至前，须平其城垒，诸君无假狐疑，自贻屠脍。
这番话既坦诚了当前的危机，又指出了唯一生路——在敌军合围前攻下荥阳。陈庆之的直率和勇气感染了全军，将士们闻言，无不振奋，一鼓悉使登城，仅一通鼓的时间，梁军便全部登城进攻。
壮士东阳宋景休、义兴鱼天湣等人逾堞而入，率先打开突破口，梁军遂攻克荥阳。不久，魏军在城外合围，陈庆之亲率三千骑兵背城逆战，大破魏军，鲁安在阵前乞降，元天穆、尔朱吐没儿单骑逃脱。梁军缴获荥阳储存的物资，牛马谷帛不可胜计。
攻占荥阳后，陈庆之马不停蹄，进赴虎牢关。尔朱世隆闻听荥阳失守，陈庆之来攻，心胆俱裂，弃城而走。至此，北魏都城洛阳的门户洞开。
魏孝庄帝元子攸见大势已去，仓皇逃离洛阳，奔往并州。北魏临淮王元彧、安丰王元延明率百官，封存府库，备法驾，迎接元颢入洛阳。元颢进入洛阳宫，御前殿，改元大赦，正式称帝。元颢为酬谢陈庆之，任命他为侍中、车骑大将军、左光禄大夫，增邑万户。
陈庆之率领七千白袍军，从铚县出发至洛阳，历时十四旬（约140天），平三十二城，四十七战，所向无前。创造了中国战争史上以少胜多的奇迹。当时洛阳流传着这样的童谣：名师大将莫自牢，千兵万马避白袍。意思是即便是着名的将领和庞大的军队，也无法阻挡白袍军的兵锋。