1936年的余下日子里，武亭在红军大学进行战略学和党的工作研究。而后，他一面在红军大学学习，一面在军官学校上课。从红军大学毕业后被任命为八路军总司令部作战科长。1937年底，在接受了重组八路军炮兵的任务后，他作为八路军总部炮兵处主任建立了八路军的炮兵部队，并于1938年初出任八路军总部炮兵团长。在红军中，武亭作为炮兵的最高权威，是人所共知的。

武亭再次由于过度疲劳，健康受到损害，司令部再次命令他休息。在康复后，他担负了新的任务，负责集中为了寻求对日作战而来到延安的朝鲜青年，着手朝鲜义勇军的建军工作。即以土地革命时期尚存的十余名朝鲜革命者为骨干，把来延安的朝鲜青年、抗日军政大学毕业的朝鲜青年、还有在东北活动过的、在莫斯科学习过军事之后来到延安的青年全部集中起来，实施了彻底的训练。1939年到了八路军前方司令部所在的晋东南，和八路军一起参加抗日战斗。朝鲜人自身的革命力量日益壮大。1941年1月10日，朝鲜独立同盟的前身——华北朝鲜青年联合会终于成立了，武亭担任会长，是年6月，原属于重庆系统的朝鲜义勇队部分成员先后投奔华北敌后抗日根据地，武亭把他们编为朝鲜义勇队华北支队，与八路军一起作战。8月，在山西桐峪八路军总部所在地成立了朝鲜义勇队干部训练班，武亭担任校长，专门培训从事抗日武装斗争的军事干部。接着，又在晋东南抗日根据地成立了朝鲜青年干部学校和朝鲜武装宣传队。在10月26日召开的东方各民族反法西斯大会上，武亭的画像作为外国抗日领袖之一同毛泽东并列。

国际上史学家一般都认为此时的武亭已经离开八路军了，但中国的一段记载表明并非如此。在关于延安大生产时期开发南泥湾的资料中叙述道：“1941年1月末2月初，中央军委直属炮兵团团长武亭率领两个营开进南泥湾。大约用了半年时间，从榛莽丛中开出了一条6米宽的公路。以后南泥湾的粮食、副食品、工业品都是经过这条路，源源不断地运到抗日前线的。武亭团长率两个营克服了缺粮食、无房住等难以想象的困难，三、四月份就在开出的荒地上种上了庄稼。这以后不久，王震率三五九旅开进南泥湾，使垦荒队伍迅速扩大。以后许多部队及边区政府、中央军委等单位也相继开进南泥湾，形成了开荒热潮。”