于礼宾府的建筑民间一直有各种的传说。最著名的是指礼宾府有一条秘密的地下通道可连接中环的汇丰银行总部和金钟的添马舰海军基地。事实上这是一条二战时用作防空的地道，于1940年11月兴建，通往当时的布政司署，其长度比传言中的短。通道的入口原设计在港督府的花园，但当时的港督葛量洪对这个设计不满意，遂将地道入口改在地牢的一个储物室内。
另外一个就是寻宝的故事：前立法局和行政局非官守议员、著名商人遮打爵士收藏了一批极具价值的画作及瓷器，该批私人珍藏在他去世后捐赠予香港政斧，大部分的画作摆放在港督府内。1941年，在香港沦陷前夕，港府计划将部分遮打藏品匿藏。1941年12月8曰，港督副官巴蒂史密斯上校秘密约见负责藏品修复工作的匈牙利专家冯?科布扎及工务司署的托马斯?哈蒙，负责匿藏该批画作。有档案资料显示，贵重的画作被卸去画框，经处理过后再放进密封的锡罐内，并埋在港督府的花园里。不过，负责匿藏画作的巴蒂史密斯、冯?科布扎及哈蒙三人在曰据时期相继去世，画作的确实位置成为秘密。战后为追寻这批画作，政斧在1945年及1976年数度进行发掘工作。至1979年，适值港督府大肆修葺，港督府里里外外、地