明末清初，广州西关的十三行，客商云集。最有钱的潘、卢、伍、叶四大家族，将眼光越过珠江，选中了一江之隔的“河南”南华西，建 别墅 ，起豪宅。而在十三行的众多行商中，有一个历史上最显赫的家族——潘氏家族。从这个家族的第一位行商潘振承开始，在一个多世纪的时间里，都在广州对外事务上发挥着极重要的作用。

如今，在海珠区的南华西街还保存着潘氏建于1826年的居所，以及一街之隔的古老祠堂。