1952年7月18日，第15届芬兰赫尔辛基奥运会组委会向中国发出邀请，请中国派运动员参加本届奥运会。这是新中国成立以后，国际奥委会发出的第一次邀请，不过在荣高棠看到这份电报时，奥运会还有几个小时就开幕了。在周总理的支持下，中国代表团组建，荣高棠担任团长，率领代表团于7月29日上午到达芬兰，迟到的他们只有吴传玉参加了游泳的预赛，并且没能进入决赛。

不过值得纪念的是，就在赫尔辛基，五星红旗第一次在奥运村的上空升起。

1983年9月16日，为表彰荣高棠对发展中国体育事业和促进中国与世界各国体育交往所做出的贡献，时任国际奥委会主席的萨马兰奇将银质奥运勋章授予他。