他首先进入文化大学，学习汉语。1924年进入北方军官学校（一说是东北讲武堂），学习炮兵专业。当他还是一名军校学生时，他参加了中国北方军阀之间的南口之战，不久又在攻占天津时立了功。毕业后，被任命为炮兵上尉。他的军事才能过人，年仅22岁就成了炮兵中校。1925年，他20岁时，他加入了中国共产党，当时，该党还只是一个不足千人的小党，不过，由于吕运亨的影响，显然这也是他的必然选择。随后，他放弃了在军阀部队里的军籍，参加了第一次国内革命和北伐战争。1927年，蒋介石镇压共产党，对他也下了逮捕令，他被迫转入地下。他的秘密地下活动，使得蒋恨之入骨，屡屡悬赏缉拿。他又转到汉口继续工作，不久在武昌被捕并被判处死刑。可是，在武昌，有一万多名中国学生进行了示威游行，反对蒋的白色恐怖政策，并要求释放武亭和其他政治犯；加上武昌法院的法官中，有他的同志等原因，方得以逃到中共中央所在地——上海。

在上海，他重新开始做共产党的政治工作。1929年他作为组织者之一参加了上海工人暴动，他虽然是外国人，但由于他的军事才能，被推举为总指挥。起义被镇压后，他被英国人逮捕，同年10月10日，被判刑2个月（这种象征性的判罚颇为耐人寻味）。获释后，他到了香港。此后辗转回到内地，参加了第二次国内革命（即土地革命）。他先是在彭德怀将军的麾下，由于红军在攻克湖南岳州后缴获了一些七五野炮和山炮，武亭有了用武之地。根据《彭德怀自传》称：“占领岳州后，英、美、日兵舰仍如黄石港一样，很猖獗，对城岸乱轰。我们隐蔽地架好了炮（当时，还只有我自己和一个朝鲜同志武亭会用炮），待敌舰逼近时，还击了几十炮，大概十发以上打中了兵舰，从此它们不敢抵岸射击了。”这是有关于武亭在中国红军里最早的作战经历，虽然记载简略，但是显然战果辉煌。

红三军团于1930年7月31日在湖南平江成立了军团山炮连。当年的老炮兵回忆称武亭于这年年底，从苏联学习炮兵技术回国（这尚无更多史料证实），先从事炮兵教练工作，后来成为该连第三任连长。1931年5月，红军中央军委炮兵团（有资料称是炮兵营）在江西陂头成立，由于首任团长有失职行为，武亭于这年6月成为该团第二任团长。在红军时期，战功赫赫的武亭升迁很快，最后竟进入中国共产党军事委员会，对于一个没有政治后台的外国人来说，这的确是破格的晋升。

从1930年12月到1934年10月，蒋介石对红军进行了五次进攻，到最后，中国共产党的苏维埃区的大部分，被蒋的军队所占领。