這座浪漫的雙護城河十三世紀的城堡，曾經是亨利八世的第二任妻子，女王伊麗莎白一世的母親安妮·博林(Anne Boleyn)的童年住所。開始這裡只是一個鄉間別墅，在1462年由當時的家族成員之一的倫敦市市長傑弗里·博林整改為莊園。Philippa Gregory的小說《另一個波琳家的女孩》(The other Boleyn Girl)就是以這裡為背景寫成。

博林家族在這邊居住很多代，在安妮死後，城堡歸亨利八世所有。在此城堡裡留下了博林家族與安妮早年生活的歷史。

在亨利八世的年代這幾人的愛恨情仇，改變了世界，孕育了當今英語世界與北美的文明。

後來亨利八世將它賜給了離婚的第四任老婆。現在的赫弗城堡變成一個很漂亮的英式庭園，展品包括歷史悠久的16世紀的肖像，繪畫，傢具，掛毯和珍品。