เดวิส ดูคาร์ทออกแบบบ้านหลังนี้ในสไตล์พัลลาเดียน โดยมีโครงสร้างหลักสามชั้นเหนือชั้นใต้ดิน และมีเจ็ดช่อง รวมถึงปีกอาคารที่ต่อเติม^{[ 2 ] [ 3 ]}การออกแบบนี้ได้รับมอบหมายจากอาร์ชบิชอปแห่งแคเชลไมเคิล ค็อกซ์ในปี 1767 และก่อสร้างระหว่างปี 1767-1771 ^{[ 4 ]}กล่าวกันว่ารายละเอียดบางส่วนได้รับแรงบันดาลใจ จาก พระราชวังบักกิงแฮมในลอนดอนที่สร้างขึ้นในปี 1703 ^{[ 5 ] [ 6 ]}

บางครั้ง Ducart ยังได้รับการยกย่องว่าเป็นผู้ออกแบบโบสถ์ใน Whitechurch ที่อยู่ใกล้เคียง ซึ่งสร้างโดย Cox ในปี 1766 ด้วยความช่วยเหลือจากBoard of First Fruitsจำนวน 200 ปอนด์ ^{[ 7 ] [ 8 ] [ 9 ]}

เมื่อไมเคิล ค็อกซ์เสียชีวิตในปี 1779 บ้านหลังนี้จึงตกเป็นของริชาร์ด ค็อกซ์ (เสียชีวิตในปี 1790) บุตรชายคนเดียวของเขา ก่อนหน้านั้นเขาได้แต่งงานกับแมรี บุตรสาวของฟรานซิส เบอร์ตัน

เมื่อริชาร์ดเสียชีวิต บ้านหลังนี้จึงตกเป็นของไมเคิล (เกิดปี 1768) บุตรชายคนโตของเขา ซึ่งได้แต่งงานกับแมรี พริตตี บุตรสาวของ เฮนรี พริตตี บารอนดัน นาลลีย์ที่ 1

ในปี พ.ศ. 2376 วิลเลียม วิลเลียร์ส-สจวร์ตแต่งงานกับแคทเธอรีน ค็อกซ์ บุตรสาวของไมเคิล ค็อกซ์ (เกิด พ.ศ. 2301) และน้องสาวของเซอร์ริชาร์ด ค็อกซ์ บารอนเน็ตคนที่ 8 (เสียชีวิต พ.ศ. 2389) และทั้งคู่ได้รับมรดกที่ดิน^{[ 10 ]}

มีการกล่าวถึงว่าเป็นที่อยู่อาศัยของ R. Cox esquire โดย Samuel Lewis ในปี พ.ศ. 2480 ^{[ 11 ]}

ต่อมาบ้านหลังนี้ได้ตกเป็นของเฮนรี จอห์น ริชาร์ด วิลเลียร์ส สจวร์ต บุตรชายของวิลเลียม เมื่อวิลเลียมเสียชีวิตในปี พ.ศ. 2416 ในขณะที่แคทเธอรีน ภรรยาของเขาเสียชีวิตในปี พ.ศ. 2422 ^{[ 12 ] [ 13 ]}

ตั้งแต่ปีพ.ศ. 2452 จนถึงปีพ.ศ. 2464 วินด์แฮม วินด์แฮม-ควิน เอิร์ลแห่งดันราเวนและเมาท์เอิร์ลคนที่ 5และเลดี้อีวา วินด์แฮม-ควิน อาศัยอยู่ที่คาสเซิลทาวน์^{[ 14 ]}

ในเดือนตุลาคม พ.ศ. 2464 พวกเขาขายของบางส่วนในบ้านในการประมูลกับบริษัท Battersby & Company ^{[ 15 ]}

ในปี พ.ศ. 2469 เมื่อพันเอก Wyndham-Quin สืบทอดตำแหน่งต่อจากWindham Wyndham-Quin เอิร์ลแห่ง Dunraven และ Mount-Earl คนที่ 4เขาได้ขายบ้านหลังนี้ให้กับตระกูล Blacque และย้ายไปอยู่ที่คฤหาสน์Adare Manor ซึ่งเป็นที่ตั้งของครอบครัว บ้านหลังนี้ต่อมาตกทอดไปยัง Charles Blacque ^{[ 16 ]}

ในปี 1976 แบล็กขายที่ดินผืนนี้ให้กับนิโคลัส วอลช์ ซึ่งเขาไม่เคยย้ายเข้าไปอยู่เลย

ไบรอัน ไมเคิล ลีส (เขียนว่า 'เดอเบรฟฟ์นี') ซื้อที่ดินจากวอลช์ในปี 1979 และอาศัยอยู่ที่นั่นกับภรรยาของเขา อุลลี จนถึงปี 1991 ^{[ 17 ]}

ในเดือนตุลาคม พ.ศ. 2534 คริสตี้ส์ได้ดำเนินการขายสิ่งของจำนวนมากเพิ่มเติมให้กับเจ้าของใหม่คือจอร์จ มาแกน บารอน มาแกน แห่งคาสเซิลทาวน์^{[ 18 ]}

บ้านหลังนี้ได้รับการบูรณะครั้งใหญ่ในช่วงต้นศตวรรษที่ 21 โดยจอร์จ มาแกน บารอนมาแกนแห่งคาสเซิลทาวน์

บ้านและที่ดิน 513 เอเคอร์ถูกเสนอขายในปี 2017 ^{[ 19 ]}และขายได้ในปี 2019 ในราคาประมาณ 20 ล้านยูโรให้กับKelcy Warren ^{[ 20 ] [ 21 ]}

ในปี 2019 ลอร์ดมาแกนถูกขับไล่ออกจากคาสเซิลทาวน์ค็อกซ์เนื่องจากไม่ชำระค่าเช่าจำนวน 100,000 ยูโรต่อปีให้กับทรัสต์ที่เขาได้มอบที่ดินให้^{[ 22 ]}