ภายในไตรมาสที่สามของปีแรก ค.ศ. 1840 โรงงานทำงานของสหภาพคาร์ดิแกนเป็นที่อยู่ของเด็กที่เกิดนอกสมรส 14 คน และเด็กที่เกิดในสมรส 13 คน รวมถึงผู้หญิงที่มีร่างกายแข็งแรง 13 คน ซึ่งในจำนวนนี้ 4 คนเป็น"แม่ของเด็กนอกสมรส"นอกจากนี้ยังมีผู้ชายอีกจำนวนหนึ่งที่ไม่ทราบจำนวน^{[ 4 ]}ในปี ค.ศ. 1841 มีผู้พักอาศัย 43 คน รวมทั้งคนเร่ร่อน 1 คน ภายในสองปี โรงงานทำงานแห่งนี้รองรับผู้คนได้ 102 คน และภายในอีกสองปีก็มี 224 คน ส่วนใหญ่เป็นผู้ชาย ภายในปี ค.ศ. 1845 มีผู้พักอาศัย 441 คนในอาคารที่ออกแบบมาสำหรับผู้พักอาศัยเพียง 120 คน

ในปี พ.ศ. 2391 แอนน์ ลันดี ลูกสาวของนายใหญ่และนางพยาบาล ได้รับการแต่งตั้งเป็นครูใหญ่ของโรงเรียน มีการก่อกวนบ่อยครั้งในช่วงที่โรงงานทำงานเปิดดำเนินการ ทั้งจากผู้พักอาศัยและเจ้าหน้าที่ โดยมีรายงานบ่อยครั้งในหนังสือพิมพ์ท้องถิ่น^{[ 5 ]}

ในช่วงทศวรรษ 1870 มีผู้ต้องขังประมาณ 130 คน การสำรวจสำมะโนประชากรในปี 1881 ระบุว่ามีผู้พักอาศัย 52 คน รวมทั้งเจ้าหน้าที่ 3 คน^{[ 6 ] [ 7 ]}ในปี 1884 ได้มีการสร้างห้องขังคนจรจัดที่มีตะแกรงและรางสำหรับทุบหิน^{[ 3 ]}ในปี 1901 คณะกรรมการเยี่ยมเยียนสตรีได้สังเกตว่าไม่มีห้องพยาบาลและแนะนำให้จัดห้องเพื่อแยกผู้ป่วยและผู้ที่กำลังจะตายออกจากผู้ที่อ่อนแอ^{[ 8 ]}

สภาพที่ไม่ถูกสุขอนามัยทำให้เกิดกรณีไข้ไทฟอยด์ในช่วงทศวรรษ 1920 และในปี 1929 โรงงานทำงานแห่งนี้ถูกพิจารณาว่าเป็นโรงงานทำงานที่แย่ที่สุดในเวลส์ ตามความเห็นของผู้ตรวจสอบ ในที่สุดสถาบันแห่งนี้ก็ปิดตัวลงในปี 1935 และทรัพย์สินก็ตกเป็นของสภาเทศมณฑลเพมโบรกเชอร์^{[ 5 ]}

ในช่วงสงครามโลกครั้งที่สองอาคารนี้ได้จัดที่พักให้กับกองร้อยสรรพาวุธที่ 111 ของกองทัพสหรัฐฯ ตั้งแต่เดือนมกราคม พ.ศ. 2487 ^{[ 5 ]}ทหาร 180 นายและยานพาหนะของพวกเขา รวมถึงรถบรรทุกและรถถัง ออกเดินทางในคืนวันที่ 6 มิถุนายน พ.ศ. 2487 ซึ่งเป็นวันดีเดย์มุ่งหน้าไปยังนอร์มังดี^{[ 9 ]}

ทรัพย์สินดังกล่าวถูกขายในปี พ.ศ. 2491 และดัดแปลงเป็นอพาร์ตเมนต์และโรงงาน^{[ 5 ]}ได้รับการขึ้นทะเบียน เป็นอาคารอนุรักษ์ ระดับ II* ในปี พ.ศ. 2535 ^{[ 3 ] [ 10 ]}ปัจจุบัน ปราสาทอัลโบรเป็นที่พักตากอากาศส่วนตัว