ชาวนอร์มันเริ่มรุกรานเข้าไปในเวลส์ตอนใต้ตั้งแต่ปลายทศวรรษ 1060 เป็นต้นไป โดยรุกคืบไปทางตะวันตกจากฐานที่มั่นในอังกฤษที่เพิ่งถูกยึดครอง^{[ 1 ]}การรุกคืบของพวกเขามีลักษณะเด่นคือการสร้างปราสาทและการก่อตั้งเขตปกครองระดับภูมิภาค^{[ 2 ]}เบอร์นาร์ด เดอ นอยฟ์ มาร์เช ผู้พิชิตชาวนอร์มันพิชิตเบรกน็อค ได้ ในปี 1091 และมอบที่ดินของเฮย์ให้กับฟิลิป วอลวิน หนึ่งในผู้ติดตามของเขา^{[ 3 ]}ปราสาทแห่งแรกในเฮย์ ซึ่งต่อมาถูกทิ้งร้าง สร้างขึ้นโดยโบสถ์เซนต์แมรีนอกเขตชุมชนหลัก ซึ่งเนินดินที่รู้จักกันในชื่อเฮย์ ทัมป์ยังคงมีอยู่จนถึงปัจจุบัน^{[ 4 ]}เขตปกครองของอังกฤษในเฮย์ ซึ่งรู้จักกันในชื่อเฮย์ แองกลิคานากลายเป็นเมืองที่มีกำแพงล้อมรอบที่ร่ำรวย และที่ดินได้ตกทอดผ่านการแต่งงานไปยังไมล์สแห่งกลอสเตอร์แล้วจึงตกทอดไปยังตระกูลเดอ บรา โอ ส^{[ 5 ]}ในช่วงปลายศตวรรษที่ 11 หรือต้นศตวรรษที่ 12 ได้มีการสร้างป้อมปราการใหม่ขึ้นภายในเมืองเฮย์ บนพื้นที่สูงห่าง จาก เนินดินเดิม ประมาณ 200 เมตร (660 ฟุต)โดยมีลักษณะเป็นกำแพง ดินล้อมรอบ และ มี หอประตูหิน^{[ 6 ]} 

ราชวงศ์เดอ บราโอสได้ขยายปราสาทเฮย์ด้วยหินราวปี 1200 โดยมีกำแพงล้อมรอบที่เสริมความแข็งแรงด้วยไม้ภายในกำแพง เปลี่ยนหอประตูให้เป็นป้อมปราการ^{[ 7 ]}ผู้เช่าปราสาทใช้โบสถ์เซนต์จอห์นในเมืองเพื่อประกอบพิธีกรรมทางศาสนา^{[ 8 ]}ในช่วงสงครามบารอนครั้งที่หนึ่งเรจินัลด์ เดอ บราโอสได้เข้าร่วมพันธมิตรต่อต้านกษัตริย์จอห์นซึ่งโจมตีปราสาทได้สำเร็จในปี 1215 ^{[ 9 ]}เจ้าชายเวลส์ลลีเวลิน อับ ไอออร์เวิร์ธ ได้โจมตีและเผาเมืองและปราสาทในปี 1231 และปราสาทก็ได้รับการสร้างใหม่โดยเฮนรีที่ 3ในปี 1233 ^{[ 10 ]}ในช่วงสงครามบารอนครั้งที่สองเจ้าชายเอ็ดเวิร์ดได้ยึดปราสาทในปี 1263 แต่ก็ถูกไซมอน เดอ มงต์ฟอร์ตและลลีเวลิน อัป กรัฟ ฟัดด์ยึดคืนและเผาทำลาย ในปีถัดมา^{[ 9 ]}ปราสาทได้รับความเสียหายเพิ่มเติมจากการกบฏของชาวเวลส์ที่นำโดยOwain Glyndŵrในช่วงราวปี 1401 และในปี 1460 ระหว่างสงครามดอกกุหลาบ [ ^{11 ] เมื่อ}นักโบราณคดีJohn Lelandมาเยือนในศตวรรษที่ 16 เมือง Hay ก็ "ทรุดโทรมอย่างน่าอัศจรรย์" แม้ว่าปราสาทจะถูกอธิบายว่าครั้งหนึ่ง "เคยสง่างามมาก" ^{[ 12 ]}

ปราสาทเฮย์ได้รับการขยายอย่างมากในศตวรรษที่ 17 ทำให้เกิดคฤหาสน์สไตล์จาโคเบียน ขึ้น ^{[ 13 ]}นักประวัติศาสตร์ได้เสนอคำอธิบายสองประการสำหรับการพัฒนาใหม่นี้ ความเป็นไปได้ประการหนึ่งคือ ในช่วงครึ่งแรกของศตวรรษที่ 17 ฮาวเวลล์ กวินน์ ได้สร้างคฤหาสน์ทางทิศตะวันตกของป้อมปราการเก่า ซึ่งต่อมาถูกแทนที่ด้วยคฤหาสน์ใหม่ในปี 1660 โดยเจมส์ บอยล์ แห่งเฮเรฟอร์ด^{[ 13 ]}อีกประการหนึ่งกลับลำดับเหตุการณ์นี้ โดยเสนอว่าเจมส์ บอยล์ ได้ยกปราสาทให้แก่ฮาวเวลล์ กวินน์ ในปี 1603 และคฤหาสน์ถูกสร้างขึ้นในช่วงต้นศตวรรษ^{[ 14 ]}ไม่ว่าในกรณีใด อาคารสไตล์จาโคเบียนมีความสูงสองชั้น สามชั้นหากรวมส่วนหน้าอาคารด้วย และมีจั่วหน้าต่างเจ็ดบานในสไตล์ดัตช์และบันไดขนาดใหญ่^{[ 15 ]}มันถูกสร้างขึ้นจากหินและรวมเอาชั้นบนของป้อมปราการเก่าเข้าไว้ในการออกแบบด้วย^{[ 16 ]}สวนแบบทางการถูกสร้างขึ้นนอกป้อมปราการในช่วงต้นศตวรรษที่ 17 หรือหลังปี 1660 ^{[ 17 ]}ในปี 1702 บ้านหลังนี้ถูกแบ่งให้กับผู้เช่าหลายราย และตกเป็นของตระกูลเวลลิงตันในท้องถิ่น^{[ 18 ]}จนถึงปี 1812 ห้องใต้ดินของป้อมปราการถูกใช้เพื่อเสริมเรือนจำของเมือง^{[ 19 ]}

ในปี ค.ศ. 1809 เซอร์โจเซฟ เบลีย์ นักอุตสาหกรรม ได้เช่าปราสาท และต่อมาได้ซื้อปราสาทโดยสมบูรณ์ในปี ค.ศ. 1844 พร้อมทั้งสร้างสวนครัว ที่มีกำแพงล้อมรอบ ซึ่งรู้จักกันในชื่อสวนปราสาท ทางทิศตะวันตกเฉียงใต้ของปราสาทหลัก^{[ 20 ]} สวน แห่งนี้ถูกใช้เป็นบ้านพักของบาทหลวงตั้งแต่ปี ค.ศ. 1825 เป็นต้นมา รวมถึงโดยอาร์คดีคอน วิลเลียม เบแวน [ ^{21 ] สวน}แบบขั้นบันไดได้รับการดูแลรักษาตลอดศตวรรษที่ 19 โดยมีการปลูกต้นไม้หลากหลายชนิดไว้ด้านหลังปราสาทในช่วงปี ค.ศ. 1860 และ 1870 และมีการสร้างโรงม้าขึ้นภายในบริเวณ^{[ 22 ]}

ระหว่างปี 1904 ถึง 1906 ปราสาทแห่งนี้ถูกเช่าโดยตระกูล Morell หลังจากนั้นก็ถูกครอบครองโดยท่านหญิง Glanusk ผู้เป็นม่าย [ ^{13 ] สถาปนิก} WD Caröeได้รับการว่าจ้างให้บูรณะบ้านในปี 1910 และถูกขายให้กับนายธนาคาร Benjamin Guinness ในปี 1937 ^{[ 13 ]}จากนั้นเกิดเพลิงไหม้ครั้งใหญ่ทำลายภายในด้านตะวันออกของปราสาทในปี 1939 ^{[ 23 ]}ประมาณปี 1961 ปราสาทแห่งนี้ถูกซื้อโดยRichard Boothซึ่งใช้เป็นร้านหนังสือและสถานที่จัดงานเลี้ยง โดยมีบ้านพักตากอากาศอยู่ในบริเวณ^{[ 24 ]}สวนที่มีกำแพงล้อมรอบส่วนใหญ่ถูกขายเพื่อการพัฒนาในปี 1975 และเกิดเพลิงไหม้อีกครั้งในปี 1977 ทำลายภายในครึ่งตะวันตกของปราสาท การซ่อมแซมได้ดำเนินการตั้งแต่ช่วงปี 1980 เป็นต้นไป^{[ 25 ]}

ในปี 2011 ปราสาทถูกขายในราคาประมาณ 2 ล้านปอนด์ให้กับ Hay Castle Trust ซึ่งเข้าซื้อเพื่อบูรณะอาคารเพื่อใช้เป็นศูนย์กลางด้านศิลปะ วรรณกรรม และการเรียนรู้^{[ 26 ]}บริษัทRick Mather Architectsได้รับการแต่งตั้งให้ออกแบบการบูรณะ ซึ่งรวมถึงหอศิลป์และจุดชมวิวที่ด้านบนสุดของหอคอย^{[ 27 ]}การบูรณะได้รับทุนสนับสนุนจากเงินช่วยเหลือมากกว่า 5 ล้านปอนด์จากNational Lottery Heritage Fundพร้อมด้วยเงินทุนเพิ่มเติมจากทรัสต์ มูลนิธิ บุคคล และรัฐบาลเวลส์ปราสาทเปิดให้ประชาชนเข้าชมเป็นครั้งแรกในประวัติศาสตร์เมื่อวันที่ 26 พฤษภาคม 2022 ^{[ 28 ]}

ปัจจุบันพื้นที่ปราสาทมีขนาดประมาณ110 คูณ 100 เมตร (360 คูณ 330 ฟุต) ^{[ 29 ]}คฤหาสน์สมัยจาโคเบียนได้รับการบูรณะเพื่อสร้างศูนย์กลางสำหรับศิลปะ วรรณกรรม และการเรียนรู้ อาคารเก่าได้รับการเสริมความแข็งแรงแล้ว ไม่มีคันดินหรือกำแพงใดๆ เหลืออยู่ ยกเว้นส่วนเล็กๆ ที่อยู่ติดกับประตูทางเข้า กำแพงส่วนนี้มี ความหนา 6 ฟุต (1.8 เมตร)และแสดงให้เห็นว่าคันดินเดิมมีความสูงถึง25 ฟุต (7.6 เมตร)เมื่อมองจากภายนอก แต่ก็อยู่ในสภาพที่ย่ำแย่^{[ 30 ]}ประตูไม้ทางด้านซ้ายของประตูทางเข้าอาจมีอายุราวปี ค.ศ. 1300 และประตูทางด้านขวามีอายุตั้งแต่ต้นศตวรรษที่ 17 ^{[ 31 ]}มีซากสวนที่มีกำแพงล้อมรอบเก่าเหลืออยู่บ้างในบริเวณที่อยู่อาศัยสมัยใหม่^{[ 32 ]} พื้นที่ปราสาทหลักได้รับการคุ้มครองตามกฎหมายในฐานะ อาคารอนุรักษ์ระดับ1 ^{[ 10 ]}สวนของปราสาทได้รับการขึ้นทะเบียนเกรด II ในทะเบียนอุทยานและสวนที่มีความสำคัญทางประวัติศาสตร์เป็นพิเศษในเวลส์ของ Cadw/ ICOMOS ^{[ 33 ]}