中国共产党为寻求从江西瑞金到达附近的安全地带，决定转移根据地。这就是有名的二万五千里长征，是从1934年10月14日开始，1936年12月12日到达延安的大行军。武亭作为中央军委直属的炮兵部队指挥官，是典型的救火队，不论是在进攻，还是在断后时，都广泛地担任了火力支援任务。一名老红军撰写的《罗元发回忆录》就曾提到过他的工作性质：“11月下旬，中央军委决定分四个纵队从新安、全州之间渡湘江，突破敌人第四道封锁线。这是长征开始以来一次最紧张最激烈的湘江战役。我们五师奉彭德怀军团长的命令，以急行军日夜兼程每天100余的速度，抢占湘江渡口。……师首长告诉我们，军委炮兵营武亭同志带领的炮兵营和你们一起完成这次任务，他会用火力支援你们。”不久武亭出任军委纵队第三野战梯队司令，指挥包括炮兵营、工兵营、运输第一大队和附属医院在内的技术兵种，后又改任红三军团炮兵营长。

关于武亭在长征中的重要作用还见于《长征：前所未闻的故事》：“根据彭德怀的狱中自述，那时人们愈来愈担心两支红军队伍之间会发生冲突。……他担心会和第一军团失去联系。据他说，由于没有向导，第一军团在俄界附近被困了。因为密码已经更换，他无法进行联络。他编了一本新密码，交给了武亭——一个可靠的朝鲜族党员，还给了他一个指南针，让他去同林彪和聂荣臻去联系。聂荣臻记得，当时第一军团根本不知道出了什么事，接到的唯一电报就是原地待命。”显然武亭深受彭德怀的信任。

长征是一日也不休息的先后与蒋介石军队经过大小500余次战斗的饥饿困苦的行军。比较能说明问题的是：当长征开始时，这支红色军队中还有30余名朝鲜革命者，但是在到达陕北时，只剩下了武亭和杨林两个人，而杨林也在不久之后的战斗中牺牲了，因此，武亭成为了唯一的幸存者。武亭曾对一个知心朋友说：“长征结束后，我们于1936年2月渡过了黄河。那时，杨林和我是仅有的两个朝鲜军官。杨被挑选出来担任一支强渡黄河的突击队长，这是一个敢死性的任务。突击队冲过了河并建立了滩头阵地，但是杨被子弹击中了，那时的医疗条件无法挽救他的生命。他忍受了整整一天后，在痛苦的折磨中死去了。”

具有讽刺意味的是，杨林英勇的牺牲却挽救了武亭的生命。武亭回忆说：“杨林牺牲后，彭德怀在党委会上发言：‘太多的外国革命者为了中国的革命事业牺牲了。如果我们继续让他们在中国死去，还会剩下谁来为他们祖国的革命事业战斗呢？我们无法为那些已经死去的同志做些什么，但是我们不应该再浪费外国同志的生命了。’在彭的呼吁下，军委下了休息命令，让我进行学习研究。”这时，武亭正被胃肠病的恶化折磨着，彭救了他的命，所以两人成为了终生的朋友和同志。