13年3月2日在位与他的儿子威尔士亲王后来的亨利五世以及侍从们在这所住宅内短暂逗留过一些日子后，这所住宅便成了适合王子居住的贵族宫殿。
事实上，这所住宅一直以来都是北方达勒姆郡的达勒姆主教兼伯爵在伦敦城内的住所。宗教改革期间，达勒姆主教库斯伯特通斯托尔把它献给了亨利八世。亨利八世也曾与主教签署协议，答应将伦敦城内的其他归属于主教的住宅归还给主教。不过，亨利八世却从未履行过自己的诺言。
1532年，安妮博林王后曾在达勒姆住宅内居住过一些日子。1533年时，亨利八世在这所住宅内向安妮求婚。里士满公爵于1536年患上瘟疫疑似肺结核病去世后，亨利八世将这所住宅终生授予给了安妮王后的女儿伊丽莎白公主。现在，伊莎贝尔沃尔顿却改变了里士满公爵的命运，这所住宅自然仍由亨利八世的私生子所拥有。
爱德华六世在执政期间，批准了支付给伊丽莎白公主的一笔款项后，剥夺了她拥有这所住宅的所有权。玛丽女王登基后，再次从伊丽莎白公主的手中夺走了住宅，并打算将住宅和其他住宅一起归还给达勒姆主教。不过，那时的达勒姆主教在伦敦城内已不再拥有一所住宅。值得一提的是，简格雷郡主九日女王于