เดิมทีบริเวณนี้เคยเป็นที่ตั้งของป้อมปราการในศตวรรษที่ 14 ซึ่งก่อตั้งโดย ตระกูล เฮย์รู้จักกันในชื่อปราสาทสมิธฟิลด์ ซึ่งถูกทำลายในศตวรรษที่ 18 บ้านหลังปัจจุบันสร้างขึ้นสำหรับอเล็กซานเดอร์ สตีเวนสัน รองนายอำเภอแห่งพีเบิลส์เชอร์ บนพื้นที่นี้ในปี 1782 ^{[ 2 ]}เป็นตัวอย่างที่ยอดเยี่ยมของสถาปัตยกรรมแบบบารอนเนียลของสกอตแลนด์และตั้งอยู่ใน สวนขนาด 4 เอเคอร์ (1.6 เฮกตาร์)บ้านหลังนี้ยังคงอยู่ในตระกูลสตีเวนสันจนกระทั่งถูกซื้อโดยตระกูลแกรนต์ในปี 1790 และต่อมาโดยตระกูลเออร์สกินในปี 1798 ^{[ 2 ]}ต่อมาบ้านหลังนี้กลายเป็นบ้านของพลเรือเอกเซอร์เจมส์ เอลฟินสโตน เออร์สกินในปี 1862 ^{[ 2 ]}จากนั้นก็ตกเป็นของริชาร์ด เดวิดสัน ผู้ปลูกชาที่เกษียณแล้ว และต่อมาเป็นของมิสวอลตันในปี 1946 ^{[ 2 ]} 

ในปี 1948 เจ้าของใหม่ Alexander Cumming และภรรยาของเขา Jean Brownlee ตั้งใจจะเปลี่ยนที่ดินให้เป็นโรงแรม แต่ไม่สามารถจ่าย "ภาษีพัฒนา" ซึ่งเรียกเก็บจากผู้ที่เปลี่ยนบ้านส่วนตัวให้เป็นธุรกิจได้ Cumming ต่อสู้จนประสบความสำเร็จในการยกเลิกภาษี และความสำเร็จของเขาได้รับการบันทึกไว้ในHansard [ ^{2 ] โรงแรม} Venlaw Castle เปิดให้บริการในปี 1949 และยังคงอยู่ในครอบครัวจนถึงเดือนพฤศจิกายน 1997 เมื่อตระกูล Ross ซื้อกิจการไป Lady Marion Mattheson Ross ลูกสาวของ Lord Robert Ross ยังคงอยู่กับครอบครัวของพวกเขาจนถึงทุกวันนี้ มีการเปลี่ยนแปลงทางสถาปัตยกรรมในปี 2010 โดยได้รับความช่วยเหลือจาก Historic Scotland ซึ่งปัจจุบันเป็นเจ้าของปราสาทบางส่วน ปราสาทได้รับการบูรณะในปี 2021 หลังจากทรุดโทรมลง ปัจจุบันเป็นที่ตั้งของอพาร์ตเมนต์ส่วนตัวที่สวยงาม 8 ห้อง โดยมีอพาร์ตเมนต์ที่ทันสมัยกว่า 3 ห้องตั้งอยู่ในอาคารส่วนต่อเติมใหม่ด้านข้างอาคารเดิม