ปราสาทไอริชหลังเก่าบนที่ดินแห่งนี้เคยเป็นที่อยู่อาศัยของตระกูลแฮโรลด์ ซึ่งถือครองที่ดินในฐานะผู้เช่าของตระกูลเลอ เบรต์ ต่อมาได้มีการสร้างปราสาทหลังปัจจุบันขึ้นแทนที่ บนที่ดินที่ยึดมาจากตระกูลยูสเตซแห่งบัลทิงกลาสเนื่องจากมีส่วนเกี่ยวข้องกับการกบฏเดสมอนด์ครั้งที่สอง ตระกูลเจ รัลดีนทำหน้าที่ปกป้องเขตปกครองเพลจาก ชนเผ่า ไอริชในเทือกเขาวิกโลว์ ที่อยู่ใกล้เคียง ราธฟาร์นแฮมถูกอธิบายว่าเป็น "หมู่บ้านร้าง" เมื่ออดัม ลอฟตัสซื้อมา เชื่อกันว่าปราสาทหลังปัจจุบันสร้างขึ้นราวปี ค.ศ. 1583 สำหรับอาร์ชบิชอปลอฟตัสในขณะนั้น ปราสาทสร้างเสร็จได้ไม่นานก็ต้องเผชิญกับการโจมตีจาก ชนเผ่า วิกโลว์ในช่วงสงครามเก้าปีในปี ค.ศ. 1600

อาร์ชบิชอป ลอฟตัส ยกปราสาทให้แก่ดัดลีย์ บุตรชายของเขา และต่อมาก็ตกทอดไปยังอดัม บุตรชายของดัดลีย์ ในปี 1616 ในช่วงที่อดัมเป็นเจ้าของ ปราสาทถูกล้อมในระหว่างการกบฏปี 1641 ปราสาท สามารถต้านทานกองทัพฝ่ายสัมพันธมิตรได้ ในขณะที่พื้นที่โดยรอบถูกยึดครอง อดัม ลอฟตัส คัดค้านสนธิสัญญายุติสงครามเพื่อหยุดการสู้รบระหว่างฝ่ายสัมพันธมิตรชาวไอริชและฝ่ายนิยมกษัตริย์ อังกฤษ ด้วยเหตุนี้ เขาจึงถูกคุมขังในปราสาทดับลิน

ในช่วงสงครามสมาพันธรัฐไอร์แลนด์ (ค.ศ. 1641–1653) ปราสาทแห่งนี้เปลี่ยนมือหลายครั้ง ตั้งแต่ปี ค.ศ. 1641 ถึง 1647 กองทหารฝ่ายนิยมกษัตริย์ อังกฤษประจำการอยู่ ในปี ค.ศ. 1647 ออร์มอนด์ ผู้บัญชาการฝ่ายนิยมกษัตริย์ในไอร์แลนด์ ยอม จำนนดับลิน ให้ แก่รัฐสภาอังกฤษ และกองทหารรัฐสภาประจำการอยู่ที่ปราสาทจนถึงปี ค.ศ. 1649 เมื่อไม่กี่วันก่อนยุทธการที่ราธไมน์ ​​ปราสาทถูกฝ่าย นิยมกษัตริย์บุกยึดโดยไม่มีการต่อสู้ใดๆในระหว่างการปิดล้อมดับลินอย่างไรก็ตามฝ่ายรัฐสภาได้กลับมายึดครองอีกครั้งหลังจากได้รับชัยชนะในยุทธการที่ราธไมน์ ​​มีรายงานว่าโอลิเวอร์ ครอมเวลล์ได้จัดการประชุมสภาที่นั่นระหว่างการรณรงค์ในไอร์แลนด์ก่อนที่จะลงใต้ไปปิดล้อมเว็ก ซ์ฟอ ร์ด อดัม ลอฟตัส ผู้ซึ่งได้ปราสาทและที่ดินคืนภายใต้การปกครองของครอมเวลล์ ได้เข้าร่วมกับฝ่ายรัฐสภาและถูกสังหารในการปิดล้อมลิเมอริกในปี ค.ศ. 1651

หลังสงครามกลางเมืองอังกฤษตระกูลลอฟตัสยังคงเป็นเจ้าของปราสาท ต่อมาในปี 1659 ดร. ดัดลีย์ ลอฟตัสเหลนของอาร์ชบิชอป ลอฟตัส ได้เข้าครอบครองปราสาท ในช่วงชีวิตของเขา ดัดลีย์ดำรงตำแหน่งต่างๆ มากมาย เช่น ผู้ตรวจการด้านรายได้ ผู้พิพากษาศาลทหารเรือ หัวหน้าศาลยุติธรรม ผู้แทนเขตคิลแดร์และวิคโลว์ในรัฐสภาผู้ปกครอง และสมาชิกสภาผู้แทนราษฎรเขตนาสแบนโนว์และเฟทาร์ด (เคาน์ตีเว็กซ์ฟอร์ด)ร่างของเขาถูกฝังอยู่ที่มหาวิหารเซนต์แพทริก

ต่อมาทรัพย์สินตกทอดไปยังฟิลิป วอร์ตัน โดยการแต่งงาน ชายหนุ่มสูญเสียเงินในเหตุการณ์ฟองสบู่เซาท์ซีและในปี 1723 ปราสาทถูกขายในราคา 62,000 ปอนด์ให้กับวิลเลียม คอนอลลีผู้ทรงเกียรติ ประธานสภาสามัญแห่งไอร์แลนด์ในปี 1742 สิทธิการเช่าถูกขายให้กับดร. โฮดลีย์อาร์ชบิชอปแห่งอาร์มาห์และเมื่อเขาเสียชีวิตในอีกสี่ปีต่อมา สิทธิการเช่าก็ตกทอดไปยังเบลลิงแฮม บอยล์ ลูกเขยของเขา ในปี 1767 บอยล์ขายผลประโยชน์ของเขาในทรัพย์สินให้กับนิโคลัส ฮูม-ลอฟตัส เอิร์ลแห่งอีลีคนที่สองผู้สืบเชื้อสายมาจากอดัม ลอฟตัส ผู้สร้างปราสาทดั้งเดิม โดยยังคงมีค่าเช่าเล็กน้อยให้กับตระกูลคอนอลลี^{[ 5 ]}

นิโคลัสเสียชีวิตภายในไม่กี่ปีต่อมา ซึ่งอาจเป็นผลทางอ้อมจากความยากลำบากอย่างมากที่เขาประสบในวัยเยาว์ และที่ดินจึงตกทอดไปยังลุงของเขา คือ ท่านเฮนรี ลอฟตัสผู้ได้รับแต่งตั้งเป็นเอิร์ลแห่งอีลีในปี 1771 เฮนรี ลอฟตัส เอิร์ลแห่งอีลี รับผิดชอบงานส่วนใหญ่ในการปรับปรุงบ้านป้อมปราการยุคกลางให้เป็นคฤหาสน์สไตล์จอร์เจียน และได้ว่าจ้างสถาปนิกชื่อดังอย่างเซอร์วิลเลียม แชมเบอร์สและเจมส์ 'เอเธเนียน' สจวร์ตมาดำเนินการ หน้าต่าง บานเกล็ดถูกขยายให้ใหญ่ขึ้น และเชิงเทินถูกแทนที่ด้วยคานประดับด้วยแจกัน มีการต่อเติมส่วนโค้งครึ่งวงกลมทางด้านทิศตะวันออก และสร้างเฉลียงทางเข้าที่มีบันไดทางด้านทิศเหนือ การตกแต่งภายในเป็นไปตามรสนิยมของยุคนั้น และได้ว่าจ้างศิลปินชั้นนำ รวมถึงแองเจลิกา คอฟฟ์แมนมาทำงาน นักเขียนในยุคนั้นที่เคยมาเยี่ยมชมบ้านหลังนี้ได้บรรยายถึงความงดงามตระการตาไว้อย่างฟุ่มเฟือย

เฮนรีเสียชีวิตในปี 1783 และหลานชายของเขาชาร์ลส์ ท็อตแนม ได้ขึ้นครองราชย์ต่อ ซึ่งต่อมาเขาได้รับแต่งตั้งเป็นมาร์ควิสแห่งอีลีเพื่อเป็นการตอบแทนที่เขาลงคะแนนเสียงสนับสนุนในช่วงการรวมชาติ

ในปี ค.ศ. 1812 ครอบครัวได้ให้เช่าที่ดินแก่ตระกูลโรเปอร์ และย้ายทรัพย์สินมีค่าของพวกเขาไปยังลอฟตัสฮอลล์ในเคาน์ตีเว็กซ์ ฟ อร์ด ที่ดินและปราสาทถูกนำไปใช้ทำฟาร์มโคนมและทรุดโทรมลง อ้างอิงจากบันทึกร่วมสมัยจากปี ค.ศ. 1838: ^{[ 5 ]}

เมื่อข้ามแม่น้ำดอดเดอร์โดยใช้ทางข้ามลำธาร และเดินเลียบฝั่งใต้ไปยังราธฟาร์นแฮม จะพบกับประตูทางเข้าอันงดงามทางด้านซ้าย ซึ่งได้รับการยกย่องว่าเป็นหนึ่งในผลงานสถาปัตยกรรมประเภทนี้ที่ดีที่สุดในไอร์แลนด์ เชิญชวนนักท่องเที่ยวให้สำรวจบริเวณปราสาทราธฟาร์นแฮมที่เคยสวยงาม แต่ปัจจุบันกลับกลายเป็นที่รกร้างว่างเปล่า เนินเขาที่คดเคี้ยวปกคลุมไปด้วยหญ้าขึ้นรก ลำธารน้ำนิ่งและเต็มไปด้วยกก ทางเดินแทบมองไม่เห็น โรงเก็บน้ำแข็งเปิดโล่งรับแสงแดด บ่อปลาอุดตันด้วยวัชพืช ขณะที่สถาปัตยกรรมของปราสาทที่ผุพัง และอาคารสำนักงานที่ทรุดโทรมและไม่น่ามองในบริเวณใกล้เคียง…ปราสาทแห่งนี้ซึ่งเป็นที่อยู่อาศัยของตระกูลลอฟตัสมานาน และยังคงเป็นทรัพย์สินของมาร์ควิสแห่งอีลี แต่ต้องจ่ายค่าเช่าหลักเล็กน้อยให้กับมิสเตอร์คอนอลลี เป็นอาคารขนาดใหญ่…ห้องโถงใหญ่เข้าได้จากระเบียง โดยมีระเบียงเสาแบบดอริกแปดต้นรองรับโดมที่ทาสีไว้ ภาพจิตรกรรมฝาผนังที่มีสัญลักษณ์ของจักรราศีและสัญลักษณ์อื่นๆ ห้องนี้ประดับประดาด้วยรูปปั้นครึ่งตัวทั้งแบบโบราณและสมัยใหม่ วางอยู่บนแท่นหินอ่อนหลากสี และมีหน้าต่างกระจกสีสามบาน โดยบานหนึ่งมีตราประจำตระกูลลอฟตัส พร้อมการแบ่งส่วนอย่างประณีต ห้องอื่นๆ อีกหลายห้องแสดงให้เห็นถึงความงดงามของการตกแต่ง และจนกระทั่งเมื่อไม่นานมานี้ ยังคงมีภาพเหมือนของสมาชิกในครอบครัวจำนวนมาก และคอลเลกชันภาพวาดอันทรงคุณค่าของปรมาจารย์โบราณ แต่เมื่อมีการกล่าวถึงว่าโครงสร้างนี้เคยเป็นโรงรีดนมสาธารณะมานานหลายปี และพื้นที่กว่า300 เอเคอร์ (1.2 ^{ตาราง}กิโลเมตร)ถูกดัดแปลงไปใช้ประโยชน์อื่นๆ ก็อาจทำให้พอเข้าใจถึงสภาพที่เปลี่ยนแปลงไปของพื้นที่ได้บ้าง 

ในปี ค.ศ. 1852 ที่ดินผืนนี้ถูกซื้อโดยลอร์ดแชนเซลเลอร์ฟรานซิส แบล็กเบิร์นซึ่งครอบครัวของเขาอาศัยอยู่ที่นั่นมาสามชั่วอายุคน

บริษัทพัฒนาอสังหาริมทรัพย์ Bailey & Gibson ได้ซื้อปราสาทแห่งนี้ในปี 1912 และแบ่งที่ดินออกเป็นส่วนๆ ส่วนตะวันออกกลายเป็นสนามกอล์ฟ Castle Golf Clubส่วนปราสาทและส่วนตะวันตกเฉียงใต้ถูกซื้อโดยคณะเยซูอิต ในปี 1913 และส่วนตะวันตกเฉียงเหนือถูกจัดสรรเป็นที่อยู่อาศัย

การประมูลสิ่งของภายในบ้านเกิดขึ้นเมื่อวันที่ 2 เมษายน พ.ศ. 2456 และดำเนินการโดยบริษัท Battersby and Company คณะเยซูอิตได้ซื้อสิ่งของจำนวนหนึ่ง^{[ 6 ]}

บาทหลวงโอเลียรี SJ หนึ่งในคณะเยซูอิต ได้สร้างเครื่องตรวจวัดแผ่นดินไหวขึ้นเครื่องนี้สามารถตรวจจับการสั่นสะเทือนของพื้นดินและแผ่นดินไหวได้จากทุกที่ทั่วโลก และในช่วงหนึ่ง ปราสาทราธฟาร์นแฮมกลายเป็นแหล่งข้อมูลแผ่นดินไหวสำหรับสื่อระดับชาติ คณะเยซูอิตจะใช้เวลาส่วนหนึ่งของการอบรมทางศาสนา หรือช่วงเทอร์เทียนชิป ที่ราธฟาร์นแฮม

ในปี 1986 คณะเยซูอิตได้ขายปราสาทราธฟาร์นแฮม แต่ก่อนที่จะจากไป พวกเขาได้ถอดหน้าต่างกระจกสีที่ออกแบบโดยแฮร์รี คลาร์กออกจากโบสถ์ และบริจาคบางส่วนให้กับ โบสถ์คาทอลิก ทัลลาโมร์ซึ่งถูกไฟไหม้ทำลายไปในปี 1983 ส่วนหน้าต่างบานอื่นๆ บริจาคให้กับ สถานสงเคราะห์ผู้ป่วยระยะสุดท้าย Our Lady's Hospiceในแฮโรลด์สครอสและโรงพยาบาลเด็กเทมเปิลสตรีทในดับลิน

ปราสาทถูกขายให้กับDelaware Propertiesในปี 1985 และเกรงว่าจะถูกรื้อถอน หลังจากแรงกดดันจากสาธารณชนอย่างมหาศาลเพื่อรักษาอาคารไว้ ในปี 1987 รัฐได้ซื้อปราสาทและประกาศให้เป็นอนุสรณ์สถานแห่งชาติสำนักงานโยธาธิการได้ดำเนินการบูรณะครั้งใหญ่ทั่วทั้งปราสาท พร้อมทั้งเปิดให้ประชาชนเข้าชมในช่วงฤดูร้อน (5 พฤษภาคม - 12 ตุลาคม) ^{[ 7 ]}ทำให้ผู้เข้าชมสามารถสังเกตงานอนุรักษ์ และแง่มุมต่างๆ ของการดำรงอยู่ก่อนหน้านี้ของปราสาทที่ถูกค้นพบในระหว่างกระบวนการ

ปราสาทแห่งนี้ประกอบด้วยอาคารทรงสี่เหลี่ยมจัตุรัสสูงสี่ชั้น มีหอคอยยื่นออกมาที่แต่ละมุม ผนังมีความหนาเฉลี่ย5 ฟุต (1.5 เมตร)ที่ชั้นล่างมีห้องชุดสองห้องที่มีเพดานโค้ง แบ่งด้วยกำแพงหนาเกือบ10 ฟุต (3.0 เมตร)ซึ่งสูงขึ้นไปจนถึงความสูงทั้งหมดของปราสาท ในระดับเดียวกับห้องโถงทางเข้าเป็นห้องรับรองในศตวรรษที่ 18 และเหนือชั้นนี้เป็นห้องบอลรูมเดิม ซึ่งต่อมาได้ถูกดัดแปลงเป็นโบสถ์  

เพื่อเป็นการระลึกถึงการได้กรรมสิทธิ์คืนและการที่เฮนรีได้รับการแต่งตั้งเป็นเอิร์ลแห่งอีลีในปี ค.ศ. 1771 ครอบครัวลอฟตัสจึงสร้างทางเข้าอีกทางหนึ่งสำหรับปราสาทในรูปแบบของซุ้มประตูชัยแบบโรมัน^{[ 8 ]}

ปัจจุบันมักเรียกกันว่าซุ้มประตูของอีลี ประตูทางเข้าแห่งชัยชนะถูกสร้างขึ้นราวปี 1769-1779 และปรากฏอยู่ในแผนที่ดับลินปี 1779 โดยถูกเรียกว่า 'ประตูใหม่' มีสถาปนิกหลายคนถูกเสนอชื่อให้เป็นผู้ออกแบบ แม้ว่าหลักฐานเกี่ยวกับสถาปนิกที่แน่ชัดจะมีน้อยก็ตาม ประตูนี้มีพื้นฐานมาจากPorta Porteseในกรุงโรมและสร้างจากหินแกรนิตของไอร์แลนด์โดยมีหินโคดเป็นหินหลัก^{[ 9 ]}

ไม่ไกลจากคลับเฮาส์ของสนามกอล์ฟ มีวิหารสไตล์พัลลาเดียนขนาดเล็กที่มีระเบียง ล้อมรอบ สร้างด้วยหินแกรนิตและอิฐ ซึ่งเป็นอีกหนึ่งโบราณสถานจากการที่ลอร์ดอีลีเข้าครอบครองราธฟาร์นแฮม และน่าจะสร้างขึ้นในไตรมาสสุดท้ายของศตวรรษที่ 18 วิหารแห่งนี้อยู่ในสภาพทรุดโทรม แต่สามารถบูรณะได้ อย่างไรก็ตาม ด้วยการตัดสินใจของคณะกรรมการสโมสร จึงถูกรื้อถอนในปี 1979

ทางทิศเหนือของปราสาทมีห้องโถงโค้งยาวซึ่งเดิมรู้จักกันในชื่อCromwell ’s CourtหรือFortเห็นได้ชัดว่าเดิมเป็นโรงนาหรือโกดังเก็บของที่สร้างขึ้นเป็นส่วนหนึ่งของฟาร์มปราสาท และมีช่องยิงปืนแคบๆ อยู่ใน ผนังหนา 5 ฟุต (1.5 เมตร)ในปี 1922 ห้องโถงนี้ถูกรวมเข้ากับบ้านพักตากอากาศหลังใหม่ โดยเป็นชั้นล่าง และลักษณะของมันถูกปกปิดจากภายนอกด้วยการฉาบปูนซีเมนต์อย่างสม่ำเสมอ