ปราสาทแห่งนี้ตั้งอยู่บนแหลมหิน สร้างขึ้นโดยชาวนอร์มันในช่วงที่พวกเขารุกรานเวลส์ตะวันตกในศตวรรษที่ 12 หอคอยหินถูกสร้างขึ้นบนจุดที่สูงที่สุดของแหลม ซึ่งได้รับการปกป้องด้วยกำแพงล้อมรอบ กำแพงมีประตูทางเข้าและหอคอยขนาดเล็กหลายแห่งทางด้านที่ติดกับแผ่นดิน กำแพงกันคลื่นขนาดเล็กกว่าล้อมรอบพื้นที่ส่วนที่เหลือและบริเวณชายหาดทางด้านตะวันตก

ในปี ค.ศ. 1153 ปราสาทถูกยึดและทำลายโดยMaredudd ap GruffyddและRhys ap Gruffydd (บุตรชายของGruffydd ap Rhys ) ผู้ปกครอง อาณาจักรเล็กๆทางตะวันตกเฉียงใต้ของDeheubarthในเวลส์ตอนกลางในอนาคต^{[ 3 ]}ปราสาทถูกล้อมอีกครั้งโดยชาวเวลส์ในปี ค.ศ. 1187 เกือบหนึ่งศตวรรษต่อมาLlywelyn ap Gruffudd (เจ้าชายแห่งGwyneddและบุตรชายของGruffudd ap Llywelyn ) ได้ปล้นสะดมเมืองในระหว่างการรณรงค์เพื่อยึดคืนเวลส์ตอนใต้ในปี ค.ศ. 1260 แต่ปราสาทก็ไม่ถูกยึดโดยชาวเวลส์^{[ 4 ]}

ในช่วงปลายศตวรรษที่ 13 ปราสาทเทนบีและเมืองได้กลายเป็นส่วนหนึ่งของอาณาจักรมาร์เชอร์แห่งเพมโบรกซึ่งในขณะนั้นปกครองโดยวิลเลียม เดอ วาเลนซ์^{[ 4 ]}ผู้ริเริ่มการสร้างกำแพงเมืองเทนบี ซึ่งเป็นกำแพงป้องกันรอบเมืองแทนที่จะเป็นเพียงปราสาท ซึ่งทำให้ความสำคัญในการป้องกันของปราสาทเทนบีลดลง โดยเฉพาะอย่างยิ่งหลังจากที่กำแพงส่วนใหญ่สร้างเสร็จสมบูรณ์ในช่วงต้นศตวรรษที่ 14 ในช่วงปี 1400 อาณาจักรเอิร์ลได้กลับคืนสู่ราชบัลลังก์ และปราสาทเทนบีก็ถูกทิ้งร้างและอยู่ในสภาพทรุดโทรม

ในปี ค.ศ. 1452 ^{[ 5 ]}พระเจ้าเฮนรีที่ 6พระราชทานตำแหน่งลอร์ดแห่งมาร์เชอร์ (และตำแหน่งเอิร์ลที่เกี่ยวข้อง) ให้แก่แจสเปอร์ ทิวดอร์พระอนุชาต่างมารดาของพระองค์ ซึ่งทรงตกลงที่จะปรับปรุงและพัฒนาการป้องกันเมืองเทนบีโดยแบ่งค่าใช้จ่ายระหว่างพระองค์เองกับพ่อค้าในเมือง การปรับปรุงรวมถึงการขยายคูน้ำแห้งตามแนวกำแพงเมืองด้านนอกให้กว้าง30 ฟุต (9.1 เมตร)การเพิ่มความสูงของกำแพงให้มีช่องยิงธนูชั้นที่สองที่สูงขึ้นด้านหลังทางเดินเชิงเทินใหม่ และการเพิ่ม หอคอย ป้อมปืน เพิ่มเติม ที่ปลายกำแพงซึ่งติดกับขอบหน้าผา 

ในปี ค.ศ. 1648 ระหว่างสงครามกลางเมืองอังกฤษครั้งที่สองหน่วยทหารฝ่ายนิยมกษัตริย์ภายใต้การบัญชาการของไรซ์ พาวเวลล์ ได้ตรึงกำลังในเมืองเทนบีที่ได้รับการเสริมกำลังขึ้นใหม่เป็นเวลา 10 สัปดาห์ จนกระทั่งถูก ฝ่ายรัฐสภาที่ปิดล้อมบีบให้ต้องยอมจำนนเพราะขาด อาหาร