ในเดือนตุลาคม พ.ศ. 2561 มีการประกาศแต่งตั้งเขาเป็นบิชอปแห่งแรมส์เบอรี คนต่อไป ซึ่งเป็นบิชอปผู้ช่วยในสังฆมณฑลซอลส์เบอรี [ ^{9 ] [ 10 ] เมื่อ}วันที่ 25 มกราคม พ.ศ. 2562 เขาได้รับการอภิเษกเป็นบิชอปโดยจัสติน เวลบี อาร์ ชบิชอปแห่งแคนเทอร์เบอรี ในระหว่างพิธีที่มหาวิหารเซาท์วาร์ค^{[ 11 ]}ในการสัมภาษณ์หลังการอภิเษก เขาได้กล่าวว่า พิธี สวดอีฟนิซองเป็นรูปแบบพิธีทางศาสนาที่เขาชื่นชอบที่สุด^{[ 12 ]}เขาได้รับการต้อนรับเข้าสู่สังฆมณฑลในฐานะบิชอปแห่งแรมส์เบอรีคนที่ 17 ในระหว่างพิธีสวดอีฟนิซองที่มหาวิหารซอลส์ เบอรี เมื่อวันที่ 26 มกราคม พ.ศ. 2562 ^{[ 11 ]}

รัมซีย์ได้สร้างชุดวิดีโอสั้นหลายชุดที่สะท้อนถึงเทววิทยาของสถานที่ ในชื่อ Going to Ground ซึ่งมีให้ชมบน YouTube ^{[ 13 ]}ชุดแรกเริ่มต้นในเดือนมีนาคม 2020 ในช่วงที่มีการล็อกดาวน์ทั่วประเทศเนื่องจากการระบาดของ COVID-19 วิดีโอหลายรายการบันทึกในบริเวณโบสถ์ในและรอบ ๆ วิลต์เชอร์ ในขณะที่บางรายการบันทึกในสภาพแวดล้อมชนบทตามธรรมชาติ เขาได้เขียนหนังสือหลายเล่ม โดยเล่มล่าสุดคือEnglish Groundsในปี 2021 ซึ่งตีพิมพ์โดย SCM Press ^{[ 14 ]}

เมื่อวันที่ 19 มีนาคม พ.ศ. 2569 เขาได้รับการประกาศให้เป็นบิชอปองค์ต่อไปของเซนต์อัลบันส์บิชอปประจำสังฆมณฑลเซนต์อัลบันส์ [ ^{15 ] [ 16 ] [ 3 ] การ}ยืนยันการเลือกตั้งเกิดขึ้นในพิธีที่เซนต์แมรี-เลอ-โบว์ กรุงลอนดอน เมื่อวันที่ 9 มิถุนายน พ.ศ. 2569 ซึ่งทำให้เขากลายเป็นบิชอปแห่งเซนต์อัลบันส์อย่างถูกต้องตามกฎหมายและเป็นทางการ^{[ 17 ]}เขาจะได้รับการแต่งตั้งที่มหาวิหารเซนต์อัลบันส์ในวันที่ 19 กันยายน พ.ศ. 2569 ^{[ 17 ]}

ในเดือนพฤศจิกายน พ.ศ. 2566 เขาเป็นหนึ่งในบรรดาบิชอปของคริสตจักรแห่งอังกฤษ 44 คนที่ลงนามในจดหมายเปิดผนึกสนับสนุนการใช้คำอธิษฐานแห่งความรักและศรัทธา (เช่น คำอวยพรสำหรับคู่รักเพศเดียวกัน) และเรียกร้องให้มีการออกคำแนะนำโดยไม่ชักช้า ซึ่งรวมถึงการยกเลิกข้อจำกัดทั้งหมดเกี่ยวกับการที่นักบวชเข้าไปมีส่วนร่วมในพิธีสมรสทางแพ่งของคู่รักเพศเดียวกัน และการที่บิชอปแต่งตั้งและออกใบอนุญาตให้กับนักบวชดังกล่าว^{[ 18 ]}

นอกจากนี้ในปี 2023 รัมซีย์ยังได้เข้าร่วมพิธีอวยพรแม่น้ำมาร์เดนในฐานะสิ่งมีชีวิตที่มีสติสัมปชัญญะ ร่วมกับเคท ไดนีน ผู้ปฏิบัติพิธีกรรมทางไสยศาสตร์ โดยจะมีการจัดงานซ้ำอีกครั้งในเดือนมีนาคม 2024 ^{[ 19 ]}