传说过去黑水城是西夏都城，最后一位君主号称黑将军。他英武盖世，所向无敌，在与汉族争霸中原时，出师不利，退守孤城。中原大军久攻不克，见城外额济纳河流贯其间，便以沙袋塞其上流，断绝城中水源。守城者于城内掘井，至极深而滴水未见。黑将军被迫全力出战，未战前，以所存白金八十余车连同其他珍宝倾入井中，又亲手杀死自己的妻小，以免落入敌手，然后率士卒出战，终因寡不敌众战败身亡。

中原军队攻陷黑水城后，大肆搜寻而未能得见宝藏。关于这段历史还有另外一种说法：黑将军战败后并没有死，而是向东南方向撤退。在距今内蒙古自治区阿拉善左旗巴音浩特不远的地方，曾留下了他的盔甲和战袍。这一有传奇色彩的故事与历史事实相去甚远，但其中藏宝的传说却吸引着不少人。俄国的科兹洛夫就是着迷于神秘的黑水城的人物。