ปราสาท เนินดินไม้ตั้งอยู่บนพื้นที่อื่น^{[ a ]}ในเอลลอน ต่อมาเป็นที่รู้จักกันในชื่อ Moot Hill หรือ Earl's Hill ซึ่งมีอายุย้อนไปถึงการปกครองของตระกูลComynใน ศตวรรษที่ 13 ^{[ 2 ]}หนึ่งในที่ตั้งหลักของตระกูลMormaerที่ควบคุม Buchan ^{[ 3 ]}เนินดินนี้ถูกใช้โดยAlexander Comynเป็นศูนย์กลางหลักในการดำเนินกิจการทางกฎหมาย^{[ 4 ]} ล้อมรอบด้วยคูน้ำลึก เนินดินราบเรียบ นี้มีหอคอยไม้ตั้งอยู่บนยอด ซึ่งเป็นที่พักอาศัยของครอบครัว^{[ 1 ]}สะพานชักป้องกันผู้บุกรุกไม่ให้เข้าถึงบันไดไม้ด้านข้างของเนินลาดที่นำไปสู่รั้วไม้รอบหอคอย^{[ 1 ]}โรงนา คอกม้า และโครงสร้างเสริมอื่นๆ ตั้งอยู่ในลานอีกแห่งหนึ่งที่อยู่ติดกัน ซึ่งมีมาตรการป้องกันแบบเดียวกัน^{[ 1 ]}หลังจากที่โรเบิร์ต เดอะ บรูซเอาชนะจอห์น บุตรชายของคอมิน ในการรบที่บาร์ราเมื่อวันที่ 24 ธันวาคม ค.ศ. 1307 ก็ได้เกิดเหตุการณ์เผาบูแคนและเอลลอนด้วยไฟ^{[ 1 ]}เนินดินยังคงอยู่จนกระทั่งถูกปรับให้ราบเรียบในช่วงต้นศตวรรษที่ 19 ^{[ 5 ]}การล่มสลายของตระกูลคอมินทำให้กรรมสิทธิ์ในที่ดินกลับคืนสู่ราชบัลลังก์ ซึ่งถือครองไว้จนกระทั่งถูกมอบให้แก่^อเล็กซานเดอร์ สจ๊วต เอิร์ลแห่งบูแคนโดยโรเบิร์ตที่ 2 แห่งสกอตแลนด์^{[ 6} ]

ที่ดินที่รู้จักกันในชื่อเนินเขาอาร์ดกิธถูกขายโดยอิโซเบล มอฟแฟตให้กับโทมัส เคนเนดีในปี ค.ศ. 1413 ^{[ 7 ]}เคนเนดี – บางครั้งสะกดว่า คีนิดี – ได้รับการแต่งตั้งให้เป็นผู้บัญชาการสืบทอดตำแหน่งของอเบอร์ดีนโดยดยุคแห่งอัลบานีเพื่อเป็นการตอบแทนการกระทำของเขาในระหว่างการรบที่ฮาร์ลอว์ [ ^{8 ] ป้อม}ปราการถูกสร้างขึ้นในช่วงเวลาใดเวลาหนึ่งหลังจากวันที่ซื้อที่ดินและก่อนปี ค.ศ. 1500 ^{[ 7 ]}เดิมทีรู้จักกันในชื่อป้อมปราการอาร์ดกิธ^{[ 9 ]}ปราสาทแห่งนี้น่าจะสร้างโดยตระกูลเคนเนดีแห่งเคอร์มัก  – บางครั้งบันทึกไว้ว่า คินมัก – และใช้เป็นที่พำนักของครอบครัว^{[ 10 ]}ตามที่นักประวัติศาสตร์โบราณคดีดับเบิลยู. ดักลาส ซิมป์สัน^{[ 11 ]}กล่าวไว้ ห้องใต้ดินมีอายุย้อนไปถึงศตวรรษที่ 15 และเก่าแก่กว่าซากปรักหักพังใดๆ ในภายหลัง^{[ 12 ]}ปราสาทได้รับการบูรณะใหม่ในช่วงปลายศตวรรษที่ 16 ซึ่งตามที่ซิมป์สันกล่าวไว้ ดำเนินการโดยช่างก่อสร้างจอห์นและโทมัส ไลเปอร์ ซึ่งรับผิดชอบงานที่ปราสาทโทลควิฮอน ที่อยู่ใกล้เคียง บ้านของชิวาสและปราสาทเฟรเซอร์ด้วย^{[ 12 ] [ 13 ]}

หินที่มีตราประจำตระกูล เคนเนดี ถูกฝังไว้ในซากปรักหักพัง^{[ 14 ]}ลงวันที่ 1635 ^{[ 9 ]}หินแต่งงานมีรูปโล่และมีอักษรย่อ GK ^{[ 14 ]}

ในปี ค.ศ. 1706 ที่ดินผืนนี้ถูกซื้อโดยเบลลี เจมส์ กอร์ดอน ในปี ค.ศ. 1752 ที่ดินถูกขายให้กับเอิร์ลแห่งอเบอร์ดีนซึ่งได้ขยายปราสาทให้มีรูปทรงตัวยู และอนุญาตให้ภรรยาน้อยคนหนึ่งของเขาอาศัยอยู่ที่นั่นกับอเล็กซานเดอร์ กอร์ดอน บุตรชายของเขา หลังจากที่กอร์ดอนเสียชีวิตในปี ค.ศ. 1873 บ้านหลังนี้ก็ตกทอดไปยังจอร์จ บุตรชายของเขา ซึ่งเป็นนักการทูตที่เกษียณแล้ว เขาอาศัยอยู่ที่นั่นกับ เอมีภรรยาชาวเยอรมันของเขาจนกระทั่งย้ายไปอยู่ทวีปยุโรปในช่วงปี ค.ศ. 1880 ^{[ 15 ]}

ต่อมาปราสาทถูกรื้อถอนและสร้างคฤหาสน์ขึ้นมาแทนที่ ซึ่งคฤหาสน์หลังนั้นก็ถูกรื้อถอนอีกครั้งในปี 1927 ปัจจุบันเหลือเพียงส่วนของคอกม้าเท่านั้นที่ยังคงใช้ชื่อนี้อยู่