ชื่อBrooksbyซึ่งบันทึกไว้ในDomesday Bookว่าBrochesbiมาจากภาษาอังกฤษโบราณbrochiซึ่งแปลว่า " แบดเจอร์ " และอาจบ่งชี้ว่าพื้นที่นี้เคยมีชื่อเสียงในเรื่องประชากรแบดเจอร์ ที่ดินนี้ตกเป็นของ Hugh d'Avranches หลังจากการพิชิตอังกฤษของชาวนอร์มันในปี 1066 ^{[ 2 ]}ในช่วงต้นศตวรรษที่ 13 ผู้เช่าที่ดิน Brooksby ชื่อ Gilbert de Seis ได้แต่งงานกับสมาชิกของตระกูล Villiersซึ่งเป็นตระกูลขุนนางชั้นรองที่สืบเชื้อสายมาจากชาวนอร์มัน^{[ 6 ]}ที่ดินนี้ยังคงอยู่ในมือของตระกูล Villiers เป็นเวลา 500 ปีต่อมา ในช่วงเวลานี้ Brooksby ประกอบด้วยตัวอาคารหลัก โบสถ์ St Michael and All Angels ที่อยู่ใกล้เคียง บ้านชาวนาจำนวนเล็กน้อย และระบบแปลงนาที่มีที่ดินสาธารณะ^{[ 2 ]}

ในช่วงสองร้อยปีต่อมา หมู่บ้านค่อยๆ กลายเป็นหมู่บ้านร้าง โรคระบาดกาฬโรคในปี 1348–49 อาจมีส่วนเกี่ยวข้อง^{[ 7 ]}แต่การสูญสิ้นอย่างสมบูรณ์เกิดขึ้นจากโครงการล้อมรั้วที่ดำเนินการโดยตระกูลวิลเลียร์ส ที่ดินสาธารณะที่ใช้ทำการเกษตรถูกล้อมรั้วและเปลี่ยนเป็นทุ่งเลี้ยงแกะที่ให้ผลกำไรมากกว่า โดยแลกกับการที่ผู้อยู่อาศัยต้องสูญเสียบ้านและแหล่งทำมาหากิน มีบันทึกว่าเซอร์จอห์น วิลเลียร์สได้ล้อมรั้วฟาร์มสี่แห่งในที่ดินของตนในวันเดียว คือวันที่ 6 ธันวาคม 1492 โดยล้อมรั้วพื้นที่ 160 เอเคอร์ และบังคับให้ผู้คน 24 คนต้องออกจากบ้านและอาชีพของตน นี่อาจไม่ใช่การล้อมรั้วครั้งแรกหรือครั้งสุดท้ายในที่ดินแห่งนี้ และในช่วงกลางศตวรรษที่ 16 คฤหาสน์น่าจะถูกล้อมรั้วทั้งหมดและหมู่บ้านก็กลายเป็นหมู่บ้านร้าง ในปี ค.ศ. 1603 รายงานของศาสนจักรระบุว่า "ผู้อุปถัมภ์ของโบรคส์บีมีเพียงครัวเรือนเดียวในตำบลดังกล่าวคือ วิลเลียร์ส เอสไควร์" กระบวนการล้อมรั้วแบบเดียวกันนี้เกิดขึ้นทั่วภาคกลางของอังกฤษทำให้หมู่บ้านหลายสิบแห่งต้องอพยพ^{[ 8 ]}ร่องรอยบางส่วนของหมู่บ้านยังคงสามารถมองเห็นได้ทางทิศใต้ของโบสถ์ในรูปของแท่นบ้านและรั้วและเนินดินที่กระจัดกระจาย^{[ 9 ]}

เมื่อชาวบ้านจากไป ตระกูลวิลเลียร์สก็เจริญรุ่งเรืองจากการค้าขนสัตว์ที่ทำกำไรได้มหาศาล เซอร์จอร์จ วิลเลียร์สเป็นบิดาของจอร์จ วิลเลียร์สหนึ่งในคนสนิทที่สุด – ตามที่บางคนกล่าวคือคนรัก – ของพระเจ้าเจมส์ที่ 1และที่ปรึกษาของพระเจ้าชาร์ลส์ที่ 1เขาได้รับแต่งตั้งเป็นดยุคแห่งบักกิงแฮมและลอร์ดไฮแอดมิรัล กลายเป็นบุคคลที่ไม่ใช่เชื้อพระวงศ์ที่มีตำแหน่งสูงสุดในประเทศก่อนที่เขาจะถูกลอบสังหารในปี 1628 บารอนเน็ตคนสุดท้ายเซอร์วิลเลียม วิลเลียร์ส บารอนเน็ตคนที่ 3เสียชีวิตโดยไม่มีทายาทในปี 1711 ^{[ 2 ]}

เมื่อเซอร์วิลเลียม วิลเลียร์สเสียชีวิต ตำแหน่งจึงสิ้นสุดลง และคฤหาสน์ถูกขายให้กับเซอร์นาธาน ไรท์ ลอร์ดคีปเปอร์แห่งตราประทับหลวง เขาไม่ได้อาศัยอยู่ที่นั่นและเสียชีวิตในปี 1721 ต่อมาคฤหาสน์ได้เปลี่ยนมือเจ้าของหลายราย และดูเหมือนว่าจะถูกปล่อยให้เช่าในช่วงปลายศตวรรษที่ 18 ^{[ 10 ]}ในปี 1830 คฤหาสน์ตกเป็นของตระกูลวินด์แฮมแห่งโครเมอร์ในนอร์ฟอล์กโดยการแต่งงาน พวกเขาใช้เป็นที่พักล่าสัตว์ โดยมีบุคคลสำคัญหลายคนเช่า และมีการประชุมล่าสัตว์ของควอร์น ที่นั่น ลอร์ด เจมส์ บรูเดเนลล์ ผู้ ซึ่งต่อมาได้รับตำแหน่งเอิร์ลแห่งคาร์ดิแกนคน ที่ 7 และมีชื่อเสียงจากการโจมตีของกองพลทหารม้าเบาได้เช่าคฤหาสน์และฝังม้าตัวโปรดของเขาชื่อแดนดี้ไว้ใต้ต้นเอล์มขนาดใหญ่บนสนามหญ้าในปี 1831 อนุสรณ์สถานของม้ายังคงสามารถมองเห็นได้บนกำแพงด้านตะวันตกของบ้าน^{[ 11 ]}

คฤหาสน์บรูคส์บีถูกขายให้กับตระกูลชาร์ลตันในปี ค.ศ. 1850 แต่ในปี ค.ศ. 1863 ก็ถูกปิดตายและว่างเปล่า สองปีต่อมา ตระกูลแชปลินได้ซื้อคฤหาสน์นี้และอาศัยอยู่ที่นั่นจนถึงปี ค.ศ. 1891 เมื่อโจเซฟ กรูท วิลเลียมส์ มหาเศรษฐีเหมืองแร่ชาวเวลส์ได้ซื้อคฤหาสน์นี้ไป แม้ว่าเขาจะไม่ได้อาศัยอยู่ที่นั่น โดยปล่อยให้พี่ชายของเขา กัปตันสแตนลีย์ วิลเลียมส์ เป็นผู้ครอบครองคฤหาสน์ แต่เขาก็ได้ว่าจ้างสถาปนิก RJ และ J. Goodacre จากเมืองเลสเตอร์ให้ทำการขยายและปรับปรุงครั้งใหญ่^{[ 11 ]}หลังจากสแตนลีย์ วิลเลียมส์เสียชีวิตจากอุบัติเหตุในการล่าสัตว์ดัชเชสแห่งมาร์ลโบโรห์ได้เช่าคฤหาสน์ระหว่างปี ค.ศ. 1894–1895 และนายธนาคาร HT Barclay ก็ได้เช่าคฤหาสน์นี้ในปี ค.ศ. 1898 ในปี ค.ศ. 1904 ที่ดินถูกประกาศขาย แต่ไม่สามารถหาผู้ซื้อได้เมื่อนำออกประมูล^{[ 12 ]}

ต่อมาอาคารนี้ถูกปล่อยทิ้งร้างจนกระทั่งปี 1906 เมื่อกัปตัน (ต่อมาเป็นพลเรือตรีและเอิร์ล) บีตตีแห่งราชนาวี และ เอเธล ฟิลด์ภรรยาชาวอเมริกันผู้มั่งคั่งของเขาได้เช่าอาคารและที่ดิน 0.26 ตารางกิโลเมตร (64 เอเคอร์)จากโจเซฟ กรูท วิลเลียมส์^{[ 13 ]}เขาซื้ออาคารและที่ดิน0.75 ตารางกิโลเมตร (186 เอเคอร์)ในราคา 22,000 ปอนด์ในปี 1911 ( 2,240,000 ปอนด์ ในปี 2025 ) และว่าจ้างลูเทียนส์ให้ทำการเปลี่ยนแปลงภายในอาคาร ในช่วงสี่ปีต่อมา เขาได้ขยายสวนไปทางทิศตะวันตกเข้าไปในพื้นที่สวนสาธารณะของอาคาร และสร้าง ทะเลสาบและ ซุ้ม หิน ^{[ 13 ]}นอกจากนี้ยังมีการสร้างลำธารประดับในช่วงเวลานี้ โดยส่งน้ำจากเนินลาดเหนืออาคารเพื่อสร้างน้ำตกหลายสายไหลผ่านสวนหิน^{[ 14 ]}มีการปลูกต้นไม้และไม้พุ่มจำนวนมาก โดยบางส่วนมาจากสวนคิวในลอนดอน^{[ 15 ]}บีตตียังได้เพิ่มสิ่งเตือนใจที่แปลกประหลาดเกี่ยวกับการรับใช้ชาติในช่วงสงครามของเขาด้วยการวางทุ่นระเบิดลอยน้ำไว้ในทะเลสาบ แม้ว่าเรื่องราวที่ว่าเขาเคยยิงใส่ทุ่นระเบิดนั้นเพื่อฝึกซ้อมยิงเป้าอาจจะเป็นเรื่องที่แต่งขึ้นก็ตาม^{[ 16 ]}

หลังจากที่คฤหาสน์ถูกโจรกรรมอัญมณีในช่วงทศวรรษ 1920 ครอบครัวบีตตีจึงเลือกที่จะไปอาศัยอยู่ที่บ้านอีกหลังหนึ่งของพวกเขา คือดิงลีย์ ฮอลล์ใกล้กับมาร์เก็ต ฮาร์โบโรห์^{[ 17 ]}เอเธล ฟิลด์ เสียชีวิตในปี 1932 และสามปีต่อมา บีตตีจึงนำบรูคส์บีออกขาย แต่ก็ขายไม่ออกอีกครั้ง และบีตตีจึงยกคฤหาสน์ให้แก่เดวิด บุตรชายของเขา เมื่อเขาเสียชีวิตในปี 1936 ในเดือนกันยายนปี 1938 เมื่อ มีการลงนามใน ข้อตกลงมิวนิกเดวิด บีตตี ตัดสินใจว่าคฤหาสน์ควรใช้เป็นบ้านพักฟื้นสำหรับนายทหารเรือหากเกิดสงครามขึ้น^{[ 18 ]}เมื่อสงครามโลกครั้งที่สอง ปะทุ ขึ้นในอีกหนึ่งปีต่อมา แผนนี้ก็ถูกนำไปปฏิบัติ แต่ต่อมาคฤหาสน์ก็เปิดให้สำหรับทุกระดับชั้นและทุกเหล่าทัพภายใต้การดูแลของกาชาดบีตตีเองอาศัยอยู่ในกระท่อมคนสวนเก่าใกล้กับโบสถ์^{[ 19 ]}

เมื่อวันที่ 1 มิถุนายน พ.ศ. 2488 ไม่นานก่อนสิ้นสุดสงคราม สภาเทศมณฑลเลสเตอร์และรัตแลนด์ได้ร่วมกันซื้ออาคารหลังนี้ในราคา 20,000 ปอนด์ เพื่อใช้เป็นวิทยาลัยฝึกอบรมด้านการเกษตร อาคารนี้กลายเป็นศูนย์ฝึกอบรมบรูคส์บีฮอลล์สำหรับอดีตทหาร ซึ่งจะได้รับการฝึกอบรมวิธีการทางการเกษตรภายใต้การดูแลของคณะกรรมการบริหารการเกษตรแห่งเลสเตอร์เชียร์ ต่อมาได้กลายเป็นสถาบันการเกษตรในปี พ.ศ. 2493–2494 ^{[ 20 ]}และถูกเปลี่ยนเป็นวิทยาลัยการเกษตรในปี พ.ศ. 2504 ^{[ 21 ]}

แม้ว่าปัจจุบันห้องโถงจะใช้สำหรับงานแต่งงาน การประชุม และงานเลี้ยง แต่ส่วนที่เหลือของที่ดินเป็นส่วนหนึ่งของวิทยาลัย Brooksby Melton ที่ควบรวมกิจการ ซึ่งให้บริการแก่เขตปกครอง Leicestershire และเปิดสอนหลักสูตรวิชาชีพหลากหลายประเภท สำนักงานบริหารของวิทยาลัยตั้งอยู่ในห้องโถง^{[ 5 ] [ 2 ]}