คฤหาสน์สวาคลีย์ตั้งชื่อตามโรเบิร์ต สวาลคลิฟฟ์ เจ้าของคฤหาสน์ในศตวรรษที่ 14 ซึ่งมีบันทึกว่า "สวาลคลีฟ" ^{[ 4 ]}ต่อมาจอห์น ชาร์ลตันได้เป็นเจ้าของสวาคลีย์ แต่ญาติของเขาถูกสังหารในระหว่างยุทธการที่บอสเวิร์ธฟิลด์ในปี 1485 ขณะต่อสู้เคียงข้างริชาร์ดที่ 3ผู้ชนะในยุทธการ ครั้งนั้นคือ เฮนรีที่ 7ได้พระราชทานสิทธิในคฤหาสน์ตลอดชีวิตแก่ภรรยาม่ายของชาร์ลตัน แม้ว่าพระองค์จะมอบการครอบครองให้แก่เซอร์โทมัส บูร์เชียร์ก็ตาม ต่อมาตระกูลบูร์เชียร์ได้ส่งต่อสวาคลีย์ให้แก่เซอร์จอห์น เพคเช จากนั้นก็ตกทอดไปยัง เอิร์ลแห่ง เดวอนเฮนรี คอร์ทนีย์และราล์ฟ เพกซอลล์^{[ 5 ]}

บ้านหลังนี้สร้างขึ้นสำหรับเซอร์เอ็ดมันด์ ไรท์ผู้ซึ่งต่อมาได้ดำรงตำแหน่งนายกเทศมนตรีแห่งลอนดอนในปี ค.ศ. 1640 ^{[ 6 ]}โครงสร้างอิฐมีอายุระหว่างปี ค.ศ. 1629 ถึง 1638 ในปี ค.ศ. 1629 ไรท์ได้ซื้อที่ดินจากจอห์น บิงลีย์ ซึ่งได้ทำการบูรณะโครงสร้างเดิมในศตวรรษที่ 13 อย่างกว้างขวางในบริเวณที่ดิน^{[ 7 ]}ซึ่งน่าจะเป็นโครงสร้างไม้และมุงด้วยหวาย^{[ 8 ]}การเปลี่ยนแปลงของบิงลีย์นั้นถูกกล่าวหาว่าส่งผลเสียต่อสภาพของบ้านและที่ดิน เขาถูกกล่าวหาว่าขับไล่นกเกือบทั้งหมดออกจากโรงเลี้ยงนกพิราบ และถอนต้นไม้ผลที่แข็งแรงหลายต้นออกจากสวนผลไม้^{[ 9 ]}บ้านหลังนี้มีคูน้ำ ซึ่งบิงลีย์ได้ถมคูน้ำนั้นเพราะเชื่อว่าน้ำไม่ดีต่อสุขภาพ และในขณะนั้นเขายังได้สร้างกำแพงอิฐป้องกันรอบบ้านอีกด้วย^{[ 9 ]}

บ้านหลังนี้เป็นตัวอย่างที่โดดเด่นของสิ่งที่เซอร์จอห์น ซัมเมอร์สันเรียกว่า " Artisan Mannerism " ซึ่งเป็นการพัฒนาสถาปัตยกรรมแบบจาโคเบียนที่นำโดยกลุ่มช่างฝีมือส่วนใหญ่ที่อยู่ในลอนดอนซึ่งยังคงมีบทบาทในสมาคม ของพวกเขา (เรียกว่าlivery companiesในลอนดอน) Swakeleys แสดงให้เห็นว่า "มีความแตกต่างอย่างมากระหว่างรสนิยมของราชสำนักและรสนิยมของเมือง " บ้านหลังนี้มีลักษณะเด่นคือ ส่วนปลายจั่วแบบกึ่งคลาสสิกที่หรูหรา ซึ่งเป็นเอกลักษณ์ของสไตล์นี้ บ้านหลังอื่นๆ ในสไตล์เดียวกัน ได้แก่ "Dutch House" ซึ่งเป็นชื่อที่ใช้เรียกกัน ปัจจุบันคือKew Palace ( ^ช่วงปี ค.ศ. 1630) West Horsley Placeและ Slyfield Manor ซึ่งสองหลังหลังนี้อยู่ใกล้กับGuildford [ ^{10 ]}

บ้านหลังนี้สร้างเป็นรูปตัว "H" โดยมีส่วนกลางขนาบข้างด้วยปีกที่ยื่นออกมาสี่ปีก^{[ 11 ]}บ้านสวาคเลย์สร้างด้วย อิฐ แบบ English Bondโดยมีกรอบหน้าต่างเป็นหิน^{[ 12 ]}หัวรางน้ำฝนภายนอกหลายแห่งแสดงปีที่ก่อสร้างเสร็จสมบูรณ์พร้อมกับอักษรย่อ "EW" ซึ่งย่อมาจาก Sir Edmund Wright ^{[ 13 ]}ทางด้านตะวันตกของบ้านมีสนามหญ้าขนาดใหญ่ทอดยาวไปยังบริเวณที่ปัจจุบันรู้จักกันในชื่อทะเลสาบสวาคเลย์ เส้นทางหลักที่นำไปสู่บ้านหลังนี้ได้กลายเป็นถนนที่อยู่อาศัย ได้แก่ ถนนสวาคเลย์ (เดิมชื่อ Back Lane) ถนนเดอะโกรฟ และถนนดิอเวนิว^{[ 13 ]}

ภายใน บันไดหลักทำจากไม้โอ๊ค และเตาผิงทำจากหินอ่อน ห้องโถงใหญ่ ซึ่งมีความยาว42 ฟุต (13 เมตร) และกว้าง 23 ฟุต (7.0 เมตร)หรือที่รู้จักกันในชื่อห้องบอลรูมและห้องโถงยาว เดิมทีมีพื้นเป็นไม้สน ต่อมาได้มีการปูพื้นใหม่หลังจากพื้นเดิมสึกหรอไปตามกาลเวลา ห้องนี้ สูง 16 ฟุต (4.9 เมตร)โดยมีเพดานประกอบด้วยแผ่นไม้ 15 แผ่น ภายในห้องมีฉากกั้นไม้ที่ทำขึ้นสำหรับเซอร์เจมส์ แฮร์ริงตันในปี 1655 โดยช่างแกะสลักไม้จอห์น โคลต์ และทาสีให้ดูเหมือนหิน^{[ 14 ]}ด้านบนของฉากกั้นมีรูปปั้นครึ่งตัวของพระเจ้าชาร์ลส์ที่ 1ขนาบข้างด้วยสิงโตสองตัว^{[ 15 ]}ในห้องรับประทานอาหาร เชื่อกันว่าแผ่นไม้บุผนังมาจากบ้านหลังเดิม ซึ่งเซอร์เอ็ดมันด์ประทับใจมากจนนำมาใช้ในอาคารใหม่^{[ 16 ]}   

เซอร์เจมส์ แฮร์ริงตัน ลูกเขยของไรท์ ได้รับกรรมสิทธิ์ต่อจากเซอร์เอ็ดมันด์ แฮร์ริงตันเป็นกรรมาธิการในการพิจารณาคดีของชาร์ลส์ที่ 1 และหนีไปฝรั่งเศสในปี 1660 เมื่อระบอบกษัตริย์ได้รับการสถาปนาขึ้นใหม่ ภรรยาของเขา เลดี้แฮร์ริงตัน ได้ขายบ้านหลังนี้ให้กับเซอร์โรเบิร์ต ไวเนอร์^{[ 17 ]}

ซามูเอล เพปส์ เยี่ยมชมบ้านหลังนี้ในปี 1665 และจดบันทึกรายละเอียดบางอย่าง โดยเฉพาะรูปปั้นครึ่งตัวของพระเจ้าชาร์ลส์ที่ 1 ลอร์ดเอสเซ็กซ์และลอร์ดแฟร์แฟ็กซ์และบรรยายบ้านหลังนี้ว่าเป็น "สถานที่ที่น่ารื่นรมย์มาก" ^{[ 6 ]}เขามาเยี่ยมบ้านหลังนี้สองครั้งเพื่อเก็บเงินในนามของพระเจ้าชาร์ลส์ที่ 2จากเซอร์โรเบิร์ต ไวเนอร์ ซึ่งเป็นช่างทองที่มีชื่อเสียง ในโอกาสหนึ่ง เซอร์โรเบิร์ตได้แสดงศพของเด็กชายผิวดำที่เคยทำงานที่บ้านหลังนี้และเสียชีวิตด้วยวัณโรค ให้เพปส์ ดู^{[ 18 ]}ศพนั้นถูกทำให้แห้งในเตาอบและเก็บไว้ในโลงศพแบบเปิด จากนั้นจึงนำมาแสดงให้ผู้มาเยี่ยมชม^{[ 19 ]}ต่อมาเซอร์โรเบิร์ตได้เป็นนายกเทศมนตรีของลอนดอนในปี 1674 ^{[ 6 ]}หลังจากบ้านหลังนี้ว่างเปล่าในปี 1923 คนงานได้เปิดตู้ใกล้กับห้องพักของคนรับใช้ ซึ่งเชื่อกันว่าเป็นที่เก็บศพ แต่พวกเขากลับไม่พบร่องรอยใดๆ^{[ 20 ]}

เปปิสได้เขียนถึงการเยือนครั้งแรกของเขาว่า:

...และพวกเราก็ไปที่บ้านสวาคลีย์ของเซอร์ อาร์. ไวน์เนอร์ด้วยกันอย่างสนุกสนาน เขาพาเราเดินขึ้นลงด้วยความเคารพอย่างยิ่ง และพาเราชมบ้านและบริเวณโดยรอบทั้งหมด ซึ่งเป็นสถานที่ที่ไม่ค่อยทันสมัยนัก ทั้งในส่วนของสวนและบ้าน แต่มีความเป็นระเบียบเรียบร้อยที่สุดเท่าที่ฉันเคยเห็นมา และบางสิ่งก็มากเกินไป น่าดูชมที่เหนือฉากกั้นห้องโถง (ซึ่งเซอร์ เจ. แฮริงตัน สมาชิกสภายาวเป็นผู้สร้างขึ้น) มีรูปพระเศียรของพระมหากษัตริย์ และลอร์ดแห่งเอสเซ็กซ์อยู่ด้านหนึ่ง และแฟร์แฟ็กซ์อยู่อีกด้านหนึ่ง และอีกด้านหนึ่งของฉากกั้นก็มีรูปบาทหลวงประจำตำบลและเจ้าของที่ดินและน้องสาวของเขา กรอบหน้าต่าง กรอบประตู และปล่องไฟของบ้านทั้งหมดทำจากหินอ่อน^{[ 20 ]}

เซอร์โรเบิร์ตเสียชีวิตในปี 1688 เมื่อสวาคลีย์ตกเป็นของโทมัส ไวเนอร์ หลานชายของเขา ซึ่งโรเบิร์ต บุตรชายของไวเนอร์ได้ขายบ้านหลังนี้ให้กับเบนจามิน เลธิอูลลิเยร์ในปี 1741 ในนามของเบนจามิน บุตรชายของน้องสะใภ้ของเขา ในปี 1750 บุตรชายของเลธิอูลลิเยร์ได้ขายบ้านหลังนี้ให้กับบาทหลวงโทมัส คลาร์ก ซึ่งในขณะนั้นเป็นอธิการของอิคเคนแฮม โทมัส ทรูสเดล คลาร์ก บุตรชายของคลาร์กได้สืบทอดกรรมสิทธิ์บ้านหลังนี้ต่อจากบิดาในปี 1796 ต่อมาเขาถูกพบว่าจมน้ำเสียชีวิตในแม่น้ำพินน์ซึ่งไหลผ่านที่ดินของสวาคลีย์ แม้ว่าแม่น้ำจะลึกเพียง20 นิ้ว (51 ซม.)แต่ก็เพียงพอที่จะท่วมใบหน้าของเขาและทำให้จมน้ำเสียชีวิต มีการสอบสวนซึ่งปฏิเสธที่จะลงความเห็นว่าเป็นการฆ่าตัวตาย เนื่องจากเจ้าหน้าที่ชันสูตรศพเชื่อว่าการตัดสินเช่นนั้นจะทำให้ครอบครัวคลาร์กเสื่อมเสียชื่อเสียง^{[ 18 ]} 

เอ็ดเวิร์ด วอลฟอร์ด ยังเขียนเกี่ยวกับบ้านสวาคลีย์ในปี พ.ศ. 2436 โดยบรรยายว่าเป็น "บ้านสไตล์จาโคเบียนที่น่าสนใจที่สุดในมิดเดิลเซ็กซ์ทั้งมณฑล สวนมีลักษณะแปลกตาและเป็นระเบียบเรียบร้อย จัดวางในสไตล์โบราณ และมีต้นเอล์มเรียงรายยาวอยู่ด้านหน้าบ้านทางทิศใต้" ถนนสายนี้ได้รับการพัฒนาเป็นถนนที่อยู่อาศัยชื่อ เดอะโกรฟ แม้ว่าต้นเอล์มจะถูกทำลายด้วยโรคดัตช์เอล์มในช่วงทศวรรษ พ.ศ. 2503 ก็ตาม ^{[ 11 ]}

ในขณะที่อัลเบิร์ต กิลบีย์เป็นผู้เช่าหลักของบ้านหลังนี้ในช่วงทศวรรษ 1890 การแข่งขัน คร็อกเก็ตชิง แชมป์ออลอิงแลนด์ ก็จัดขึ้นในบริเวณนี้ ต่อมากิลบีย์ได้ดำรงตำแหน่งนายอำเภอใหญ่แห่งมิดเดิลเซ็กซ์ในปี 1912 ^{[ 17 ]}ที่ดินมีขนาดเล็ลงอย่างมากหลังจากการขาย ที่ดิน 1,382 เอเคอร์ (559 เฮกตาร์)เพื่อการพัฒนาในการประมูลเมื่อวันที่ 5 กรกฎาคม 1922 ถนนวอร์เรน ถนนสวาคลีย์สไดรฟ์ ถนนคอร์ท ถนนมิลตัน ถนนไอวีเฮาส์ ถนนดิอเวนิว และถนนธอร์นฮิลล์ (เดิมชื่อถนนพาร์ค) ถูกสร้างขึ้น ในขณะที่ที่ดินอื่นๆ ที่อยู่ติดกับแม่น้ำพินน์ถูกกำหนดให้เป็นพื้นที่เปิดโล่งสาธารณะ^{[ 21 ]}ฮัมฟรีย์ จอห์น ทัลบอตซื้อบ้านหลังนี้เพื่อหลีกเลี่ยงการถูกรื้อถอน และในที่สุดก็ขายให้กับ สมาคมกีฬา กระทรวงการต่างประเทศและเครือจักรภพในปี 1927 โดยมีเงื่อนไขว่าเขาจะยังคงเป็นผู้เช่าในชั้นหนึ่งได้^{[ 9 ]}สวาคลีย์ถูกกองทัพยึดครองในช่วงสงครามโลกครั้งที่สองเมื่อมีการติดตั้งแบตเตอรี่ไฟฉายส่องสว่างภายในบริเวณ^{[ 22 ]}กระทรวงการต่างประเทศยังคงครอบครองบ้านหลังนี้จนถึงปี 1955 เมื่อขายให้กับสโมสรกีฬาไปรษณีย์ลอนดอน^{[ 23 ]}สโมสรจัดการแข่งขันคริกเก็ตกับทีมท้องถิ่นจากอิคเคนแฮมและอักซ์บริดจ์^{[ 17 ]} 

ชาวบ้านสามคน ได้แก่ Keith Chamberlain, Paul Newson และ Simon Kreiger ได้ก่อตั้งบริษัท Swakeleys House Ltd ขึ้นเพื่อแสวงหาผลกำไร โดยซื้อบ้านหลังนี้ในปี 1980 หลังจากที่บ้านทรุดโทรมมาเป็นเวลานาน จากนั้นพวกเขาก็ได้บูรณะส่วนสำคัญๆ ของบ้านและสร้างอาคารสำนักงานใหม่ภายในบริเวณบ้านเพื่อช่วยเป็นทุนในการบูรณะ ในปี 1984 ได้มีการเจรจาทำสัญญาเช่าระยะเวลา 25 ปีกับ บริษัท Bristol-Myers Squibbและบ้านหลังนี้ได้เปิดให้ประชาชนเข้าชมปีละสามวัน^{[ 24 ]}เจ้าชายฟิลิปดยุกแห่งเอดินบะระ เสด็จพระราชดำเนินเปิดบ้านที่ได้รับการปรับปรุงใหม่นี้อย่างเป็นทางการในวันที่ 7 พฤษภาคม 1985 บริษัท Swakeleys House Ltd ได้รับรางวัล Country House Award ประจำปี 1988 สำหรับการดัดแปลงบ้านชนบทที่ขึ้นทะเบียนเป็นมรดกทางวัฒนธรรมที่ดีที่สุด^{[ 17 ]}

ในปี 1967 ฉากเปิดเรื่องของภาพยนตร์คริกเก็ตเรื่อง Carry On Follow that Camel ถ่ายทำในสนามแห่งนี้

ในระหว่างปี 2012 ฉากสำหรับภาพยนตร์เรื่องGreat Expectations [ ^{25 ] และ}การดัดแปลงละครโทรทัศน์เรื่องMr Stink [ ^{26 ] ถ่าย}ทำภายในบ้าน

สัญญาเช่าของบริสตอล-ไมเออร์ส สควิบบ์หมดอายุในปี 2552 และสวาคเลย์ส์ถูกขายให้กับเจ้าของรายใหม่ที่ต้องการลดการเข้าถึงของประชาชนเหลือเพียงวันละหนึ่งวันต่อปี ซึ่งเป็นส่วนหนึ่งของโครงการ Open House London [ ^{27 ] ข้อ}เสนอใหม่นี้ได้รับการยอมรับจากเขตฮิลลิงดอนของลอนดอนในเดือนมิถุนายน 2553 ^{[ 28 ]}

ในปี 2014 เจ้าของใหม่ของ Swakeleys คือ CES Properties (Ickenham) ได้รับอนุญาตจากสภา Hillingdon ให้แปลงบ้านกลับมาเป็นที่อยู่อาศัยขนาดใหญ่หลังเดียว^{[ 29 ]}ซึ่งรวมถึงห้องนอนพร้อมห้องน้ำในตัว 23 ห้อง ศาลาจัดงานเลี้ยง และคอกม้า^{[ 30 ]} CES Properties ได้กำหนดข้อจำกัดในการจัดงานเทศกาล Ickenham ในปีนั้น ส่งผลให้คณะกรรมการจัดงานเทศกาลต้องย้ายกิจกรรมช่วงกลางวันและกลางคืนที่วางแผนไว้ไปยังโรงเรียน Vyners ที่อยู่ใกล้เคียง[ 31 ^{]ก่อนหน้า}นี้เทศกาลดังกล่าวเคยใช้พื้นที่ของบ้านเป็นจุดศูนย์กลางสำหรับกิจกรรมต่างๆ^{[ 32 ]} CES Properties ได้ประกาศขายบ้านหลังนี้ในเดือนกุมภาพันธ์ 2015 ในราคา 45 ล้านปอนด์^{[ 30 ]}