หลักฐานที่เก่าแก่ที่สุดของการอยู่อาศัยของมนุษย์ในบริเวณใกล้เคียงฟอร์ดประกอบด้วยขวานหินยุคหินเก่าตอนต้น สองเล่ม ที่พบในยอดเขา ห่างจากที่ตั้งของพระราชวังฟอร์ด ไป ทางทิศ ใต้-ตะวันตกเฉียงใต้ ประมาณ 550 หลา (503 เมตร)ข้ามลำธารซึ่งเป็นที่มาของชื่อสถานที่แห่งนี้ และอยู่ฝั่งตรงข้ามทางทิศตะวันตกของ ถนน โรมันระหว่างแคนเทอร์เบอรีและเรคัลเวอร์^{[ 4 ] [ 5 ]}พบหลุมฝังศพแบบเผาของชาวโรมันในศตวรรษที่ 2 จำนวน 5 หลุม ใกล้กับสถานที่เดียวกัน ^{[ 6 ]} พบ เศษจารึก โรมันและ เหรียญโรมันจำนวนหนึ่งในบริเวณที่ตั้งของพระราชวัง และห่างออกไปทางทิศใต้ประมาณ330 หลา (302 เมตร)ในทุ่งนาทางด้านตะวันออกของถนนโรมันและทางใต้ของลำธาร พบ ร่องรอยพืชผลที่บ่งชี้ถึงสถานที่ตั้งของวิลล่าโรมัน ที่เป็นไป ได้^{[ 7 ] [ 8 ] [ 9 ]}สิ่งของที่พบจากยุคแองโกล-แซกซอนได้แก่ ถ้วยทรงกรงเล็บและถ้วยดื่มน้ำที่ขุดขึ้นมาจากบ่อทรายทางใต้ของลำธาร ระหว่างบริเวณพระราชวังฟอร์ดและบริเวณที่ฝังศพแบบเผา^{[ 10 ] [ 11 ] [ 12 ]}  

นักโบราณคดี เช่นจอห์น ดันคอมบ์ นักบวชในศตวรรษที่ 18 เชื่อว่ากษัตริย์เอเธลเบิร์ตแห่งเคนต์ทรงย้ายราชสำนักจากแคนเทอร์เบอรีไปยังเรคัลเวอร์ ซึ่ง อยู่ห่างจากฟอร์ดไปทางตะวันออกเฉียงเหนือ ประมาณ2.6 ไมล์ (4.2 กม.)ในราวปี ค.ศ. 597 และทรงสร้างพระราชวังบนพื้นที่ซากปรักหักพังของโรมันที่นั่น^{[ 13 ]}อย่างไรก็ตาม การขุดค้นทางโบราณคดีไม่พบหลักฐานใดๆ เกี่ยวกับเรื่องนี้^{[ 14 ]}และความเชื่อมโยงของเอเธลเบิร์ตกับเรคัลเวอร์อาจเป็นเพียงตำนานเท่านั้น^{[ 15 ]}ในปี 2001 นักประวัติศาสตร์ Harold Gough ได้ตั้งข้อสังเกตถึงการคาดการณ์ว่ากษัตริย์อาจจะไปประทับที่ฟอร์ดแทน เนื่องจากฟอร์ดตั้งอยู่บนถนนโรมันระหว่างแคนเทอร์เบอรีและเรคัลเวอร์ และรวมอยู่ในที่ดินที่มีศูนย์กลางอยู่ที่เรคัลเวอร์ ซึ่งกษัตริย์Ecgberht แห่งเคนต์ ได้มอบให้ แก่ Bassa นักบวชประจำโบสถ์เพื่อก่อตั้งโบสถ์เซนต์แมรี เรคัลเวอร์ในปี 669 ^{[ 16 ] [ 17 ] [ Fn 2 ]}ฟอร์ดยังรวมอยู่ในที่ดินเรคัลเวอร์เมื่อกษัตริย์Eadredมอบให้แก่อาร์ชบิชอปOda แห่งแคนเทอร์เบอรีในปี 949 ^{[ 22 ] [ 3 ]}ในปี 1800 นักประวัติศาสตร์Edward Hastedเขียนว่าพระราชวังฟอร์ด "ดูเหมือนจะเป็นพระราชวังที่เก่าแก่ที่สุด ยกเว้นพระราชวังแคนเทอร์เบอรี ซึ่งสร้างขึ้นเพื่อเป็นที่พำนักของอาร์ชบิชอป" ^{[ 23 ]}อธิบายว่าเป็น "ส่วนหนึ่งของทรัพย์สินโบราณของสังฆมณฑล" แคนเทอร์เบอรี” ^{[ 23 ]}และตั้งสถานที่ทำการ “น่าจะบนที่ดินที่มอบให้แก่ [อาร์คบิชอป] ในช่วงเวลาก่อนการพิชิตของชาวนอร์มัน” ^{[ 23 ]}กอฟตั้งข้อสังเกตเพิ่มเติมว่าไม่มี “หลักฐานทางเอกสารหรือทางโบราณคดีแม้แต่น้อย” ^{[ 10 ]}สำหรับการมีอยู่ของพระราชวังในช่วงยุคแองโกล-แซกซอน^{[ 10 ]}  

หลักฐานแรกที่บ่งชี้ถึงการมีอยู่ของที่พำนักของอาร์คบิชอปที่ฟอร์ดคือเอกสารที่ออกที่นั่นในศตวรรษที่ 14 และ 15 ^{[ 24 ] [ Fn 3 ]}อย่างไรก็ตาม ส่วนหนึ่งของโครงสร้างหลักที่ตั้งอยู่จนถึงปี 1964 "มีการตกแต่งแบบม้วนงอซึ่งบ่งชี้ว่าสร้างขึ้นในช่วงปลายยุคตกแต่งราวปี 1300" ^{[ 10 ]}และอาจมี สถานที่ที่ มีคูน้ำล้อม รอบอยู่ก่อนหน้านี้ ติดกับด้านใต้ของพระราชวัง^{[ 27 ] [ Fn 4 ]}

แม้ว่าจะไม่มีเอกสารที่เกี่ยวข้องหลงเหลืออยู่ แต่ขั้นตอนสำคัญของการก่อสร้างที่พระราชวังฟอร์ดนั้นเชื่อกันว่าเป็นผลงานของอาร์ชบิชอปจอห์น มอร์ตัน (ค.ศ. 1479  – 1500) ^{[ 36 ]}เฮสเต็ดเชื่อว่ามอร์ตัน "เกือบจะสร้างพระราชวังขึ้นใหม่ทั้งหมด" ^{[ 23 ]}และนักประวัติศาสตร์สถาปัตยกรรม เซซิล ฮิวเว็ตต์ และทิม แทตตัน-บราวน์ ในการอภิปรายเกี่ยวกับอิฐที่ใช้ในหอคอยที่รู้จักกันในชื่อ "เบลล์ แฮร์รี่" ที่มหาวิหารแคนเทอร์เบอรีระหว่างปี ค.ศ. 1494 ถึง 1497 ได้เปรียบเทียบกับอิฐที่พบในฟอร์ด ซึ่งพวกเขาเขียนว่ามอร์ตัน "สร้างพระราชวังของตัวเอง" ^{[ 34 ]}มอร์ตันริเริ่มงานก่อสร้างจำนวนมากในช่วงอาชีพนักบวชของเขา ถึงขนาดที่เขาได้รับพระราชทานคำสั่งให้เกณฑ์ช่างหินช่างก่ออิฐ และคนงานก่อสร้างอื่นๆ เข้ามารับใช้เขา^{[ 37 ] [ 10 ]}แต่กอฟตั้งข้อสังเกตว่างานก่อสร้างใดๆ ที่ระบุว่าเป็นผลงานของเขาที่ฟอร์ดนั้นน่าจะประกอบด้วยอิฐ^{[ 38 ]}บ้านไร่ฟอร์ดแมนเนอร์ประกอบด้วยงานก่ออิฐและหินที่มีอายุต่างกัน รวมถึงซากของป้อมประตูพระราชวัง นอกจากนี้ยังมีส่วนหนึ่งของกำแพงอิฐจากสวนของพระราชวังหลงเหลืออยู่^{[ 38 ] [ 35 ]}ส่วนอื่นๆ ของกลุ่มอาคารพระราชวังที่ถือว่าเป็นผลงานของมอร์ตัน ได้แก่ หอพักอาศัยอิฐห้าชั้น ซึ่งไม่มีส่วนใดเหลืออยู่เหนือพื้นดิน และ อาคารคอก ม้า ปัจจุบันที่ตั้งของคอกม้าเป็นที่ตั้งของโรงนา ซึ่งบางส่วนมีอายุตั้งแต่ สมัยราชวงศ์ทิวดอร์ตอนต้น^{[ 39 ] [ Fn 5 ]}

กอฟเขียนว่าอาร์ชบิชอปโทมัส แครนเมอร์ (1533  – 1555) “ดูเหมือนจะผูกพันกับ [พระราชวังฟอร์ด] เป็นพิเศษ ... [โดยเกี่ยวข้อง] กับความก้าวหน้าของการปฏิรูปศาสนาในอังกฤษอย่างแยกไม่ออก” ^{[ 38 ] [ 41 ]}เขาอยู่ที่พระราชวังในปี 1535 เมื่อเขาเขียนถึงพระเจ้าเฮนรีที่ 8เกี่ยวกับเจ้าอาวาสของแบล็กไฟรเออร์ส แคนเทอร์เบอรีผู้ซึ่งคัดค้านการเทศนาของเขาต่อต้านพระสันตะปาปา และในปี 1536 เมื่อเขาเขียนถึงโทมัส ครอมเวลล์เกี่ยวกับปัญหาเรื่องความสัมพันธ์ทางสายเลือด [ ^{42 ] ปี}ต่อมา แครนเมอร์ออกจากพระราชวังแลมเบธไปยังฟอร์ดเพื่อหลีกเลี่ยงโรคระบาดหลังจากเสร็จสิ้นการประชุมของบรรดาบิชอปที่กำลังพิจารณาข้อความของ “หนังสือของบิชอป” ซึ่งจะกลายเป็นพื้นฐานสำหรับ บทบัญญัติ ศาสนาสามสิบเก้าข้อ^{[ 43 ]}ในเดือนสิงหาคมของปีเดียวกันนั้น เขาอยู่ที่ฟอร์ดเมื่อเขาได้รับสำเนาพระคัมภีร์มัทธิว จาก ริชาร์ด กราฟตันผู้พิมพ์และเขาได้เขียนจดหมายจากที่นั่นเพื่อแนะนำให้โทมัส ครอมเวลล์ [ ^{44 ] ใน}ปี 1538 เขาได้แต่งตั้งนิโคลัส ริดลีย์ซึ่งต่อมาได้เป็นหนึ่งในผู้พลีชีพแห่งอ็อกซ์ฟอร์ดในปี 1555 ให้ดำรงตำแหน่งบาทหลวง ประจำ เฮิร์นที่ อยู่ใกล้เคียง ^{[ 45 ]}ในฤดูร้อนปี 1552 เขาอยู่ที่พระราชวังครอยดอนกับริดลีย์ ทำงานเกี่ยวกับบทบัญญัติ 42 ข้อของศาสนาแต่ได้ถอนตัวไปที่ฟอร์ดในเดือนตุลาคมเนื่องจากป่วยเป็นไข้^{[ 38 ]}ในวันที่ 24  พฤศจิกายน ขณะที่ยังอยู่ที่ฟอร์ด เขาได้ส่งบทบัญญัติฉบับที่เขาได้ตรวจสอบและใส่คำอธิบายประกอบไปยังสภาองคมนตรี^{[ 46 ]}เห็นได้ชัดว่าแครนเมอร์มองว่าพระราชวังฟอร์ดเป็น "สถานที่พักผ่อนจากบรรยากาศที่ไม่ดีต่อสุขภาพของย่านลอนดอน ใกล้กับแคนเทอร์เบอรีพอสมควรโดยไม่ต้องอยู่ในเมือง ซึ่งศาสนาและการเมืองบางครั้งก่อให้เกิดส่วนผสมที่อันตราย" ^{[ 38 ]}และที่พระราชวังแห่งนี้ ในเดือนมิถุนายน ค.ศ. 1544 แครนเมอร์ได้รับการเยี่ยมเยือนจากพระเจ้าเฮนรี ซึ่งกำลังเดินทางจากลอนดอนไปยังฝรั่งเศส^{[ 47 ] [ 48 ]}พระมหากษัตริย์ประทับค้างคืนที่นั่นก่อนที่จะเดินทางต่อไปยังโดเวอร์[ ^{47 ] แต่}ในช่วงการปฏิรูปศาสนาคาทอลิก ของอังกฤษภายใต้การปกครองของพระราชินีแมรีที่ 1แครนเมอร์ได้รับคำสั่งให้ไปปรากฏตัวต่อหน้าสภาองคมนตรีที่พระราชวังฟอร์ด ซึ่งนำไปสู่การประหารชีวิตเขาในปี ค.ศ. 1556 ^{[ 48 ]}

แมทธิว พาร์เกอร์ (1559–1575 ) อาร์ ชบิชอปองค์แรกของแคนเทอร์เบอรีหลังจากการจัดระเบียบทางศาสนาของเอลิซา เบธ ในปี 1559 ไม่ชอบพระราชวังฟอร์ดถึงขนาดที่เขาต้องการให้รื้อถอนบางส่วน และให้ที่พักอาศัยที่เบเคสบอร์นและแคนเทอร์เบอรีได้รับประโยชน์จากทรัพย์สินที่รื้อถอน^{[ 48 ]}แผนของพาร์เกอร์คือการคงอาคารไว้ให้เพียงพอสำหรับผู้ดูแลอุทยานที่ฟอร์ด ซึ่งเป็นส่วนหนึ่งของที่ดินของพระราชวังและมีพื้นที่ประมาณ166 เอเคอร์ (67 เฮกตาร์)และบำรุงรักษาคฤหาสน์เฉพาะเมื่อจำเป็นสำหรับการเยี่ยมเยียนเป็นครั้งคราวของอาร์ชบิชอป^{[ 48 ]}ที่ดินถูกให้เช่าแก่ผู้ดูแลเป็นฟาร์ม แต่เพื่อขออำนาจจากสมเด็จพระราชินีนาถเอลิซาเบธที่ 1สำหรับการเปลี่ยนแปลงครั้งใหญ่ของอาคาร พาร์เกอร์จึงเขียนจดหมายถึงลอร์ดไฮเทรเชอเรอร์ ในขณะนั้น วิ ลเลียม เซซิลในเดือนมีนาคม 1573 โดยบรรยายพระราชวังฟอร์ดว่าเป็น "บ้านเก่าที่ทรุดโทรม สิ้นเปลือง ไม่ถูกสุขลักษณะ และรกร้าง" ^{[ 49 ] [ 50 ] [ 48 ] [ Fn 6 ]}เรื่องนี้ยังคงไม่มีข้อสรุปเมื่อพาร์เกอร์เสียชีวิตในเดือนพฤษภาคม ค.ศ. 1575 ^{[ 51 ] [ 48 ]}  

เฮสเต็ดและฮุกเชื่อว่าอาร์ชบิชอปจอห์น วิทกิฟต์ (1583  – 1604) มักจะล่าสัตว์ในฟอร์ดพาร์ค แต่กอฟคัดค้าน โดยระบุว่าความเชื่อนี้ไม่ได้รับการสนับสนุนจากหลักฐานใดๆ^{[ 23 ] [ 41 ] [ 48 ]}อาร์ชบิชอปจอร์จ แอ็บบอต (1611  – 1633) ซึ่งยิงและฆ่าคนดูแลสวนสาธารณะที่แบรมส์ฮิลล์พาร์ค โดยไม่ได้ตั้งใจ ในปี 1621 ^{[ 52 ]}ถูกบังคับให้ถอนตัวจากหน้าที่อาร์ชบิชอปโดยพระเจ้าชาร์ลส์ที่ 1ในปี 1627 และเกษียณชั่วคราวที่ฟอร์ด^{[ 53 ] [ Fn 7 ]}มีบันทึกหลายกรณีที่แอบบอตแต่งตั้งบุคคลให้ดำรงตำแหน่งผู้ดูแลสวนสาธารณะที่ฟอร์ดระหว่างปี 1613 ถึง 1624 ^{[ 56 ]}และระหว่างปี 1631 ถึง 1632 เขาใช้เงิน 11 ปอนด์ 15 ชิลลิง 6 เพนนี (11.78 ปอนด์) ในการซ่อมแซมที่นั่น แม้ว่าเขาจะมองว่ามันเป็นสถานที่ "แบบมัวร์" หรือเป็นหนองน้ำก็ตาม^{[ 57 ]}

ในปี ค.ศ. 1647 ระหว่างสงครามกลางเมืองอังกฤษฟอร์ดได้รับการสำรวจในนามของรัฐสภาซึ่งได้รับมาจากคริสตจักรแห่งอังกฤษและพบว่าอยู่ในสภาพที่ค่อนข้างดี^{[ 58 ] [ 59 ]}กล่าวกันว่าที่ดินทั้งหมดมีมูลค่าค่าเช่า 43 ปอนด์ 10 ชิ ลลิง (43.50 ปอนด์) และมูลค่าของวัสดุของอาคารทั้งหมดอยู่ที่ 820 ปอนด์ หาก "ขาย ... และนำออกไป" ^{[ 59 ]}พระราชวังส่วนใหญ่ถูกรื้อถอนตามคำสั่งของรัฐสภาในปี ค.ศ. 1658 ในขณะที่ตำแหน่งบิชอปแห่งแคนเทอร์เบอรีว่างลง และวัสดุถูกขายไปในราคา 840 ปอนด์^{[ 60 ]}ที่ดินถูกส่งคืนให้กับสังฆมณฑลหลังจากการฟื้นฟูในปี 1660 และรายงานที่จัดทำขึ้นในปี 1661 ระบุว่า "พระราชวังฟอร์ดถูกทำลายอย่างยับเยินราวกับว่าผู้เขียนเห็นว่าการทำลายล้างเช่นนี้เป็นสิ่งที่มีคุณค่า คฤหาสน์ถูกทำลายลงอย่างสิ้นเชิง และโบสถ์น้อยถูกดัดแปลงเป็นยุ้งฉาง" ^{[ 61 ]}ในปี 1667 มีรายงานว่ายุ้งฉางเดิมและป้อมประตูอยู่ในสภาพทรุดโทรม และในปี 1668 มีรายงานว่าผู้เช่าที่ดินส่วนที่เหลือ ไม่รวมยุ้งฉางและป้อมประตู ได้ดำเนินการรื้อถอนต่อไปและขาย "หินที่ดีที่สุดหกหรือเจ็ดกอง" ^{[ 62 ] [ Fn 8 ]}ในเวลาเดียวกันนั้น กระเบื้องจากฟอร์ดถูกขายให้กับผู้ดูแลโบสถ์ของเฮิร์นที่ อยู่ใกล้เคียง ^{[ 62 ]}แม้ว่าซากปรักหักพังของพระราชวังจะยังคงถูกขุดเพื่อนำวัสดุไปใช้หรือดัดแปลง แต่บางส่วนของห้องโถงพระราชวังและโบสถ์ยังคงตั้งอยู่จนถึงปี 1964 เมื่อถูกรื้อถอนเพื่อเตรียมการสร้างอาคารฟาร์มใหม่^{[ 63 ] [ Fn 9 ]}