The Fortezza is built on a hill called Paleokastro (Παλαιόκαστρο, meaning 'Old Castle'), which was the site of ancient Rhithymna's acropolis.^[1] Between the 10th and 13th centuries, the Byzantines established a fortified settlement to the east of the hill. It was called Castrum Rethemi, and it had square towers and two gates. The fortifications were repaired by Enrico Pescatore in the beginning of the 13th century. After Crete fell to the Republic of Venice, the settlement became known as the Castel Vecchio or Antico Castello, which both mean "old castle."^[2]

Under Venetian rule, a small harbour was built in Rethymno, which became the third most important city on Crete after Heraklion and Chania. On 8 April 1540, a line of fortifications began to be built around the city. The walls were designed by the architect Michele Sanmicheli, and were completed in around 1570. These fortifications were not strong enough to withstand a large assault, and when Uluç Ali Reis attacked in 1571, the Ottomans captured and sacked the city.^[2]

หลังจากการล่มสลายของไซปรัสให้กับออตโตมันในปี 1571 เกาะครีตกลายเป็นดินแดนโพ้นทะเล ที่ใหญ่ที่สุดที่เหลืออยู่ของเวนิส เนื่องจากเมืองเรธิมนోถูกปล้นสะดม จึงมีการตัดสินใจว่าจำเป็นต้องสร้างป้อมปราการใหม่เพื่อปกป้องเมืองและท่าเรือ ป้อมปราการใหม่ซึ่งสร้างขึ้นบน เนินเขา พาเลโอคาสโทร ได้รับการออกแบบโดยวิศวกรการทหาร สฟอร์ซา ปัลลาวิชินี ตาม ระบบป้อมปราการ แบบอิตาลี^{[ 2 ]}

การก่อสร้างเริ่มขึ้นเมื่อวันที่ 13 กันยายน พ.ศ. 2516 และแล้วเสร็จในปี พ.ศ. 2523 ป้อมปราการนี้สร้างขึ้นภายใต้การดูแลของช่างก่อสร้างผู้เชี่ยวชาญ Giannis Skordilis โดยมีชาวครีตทั้งหมด 107,142 คน และสัตว์อีก 40,205 ตัว มีส่วนร่วมในการก่อสร้าง^{[ 2 ]}

แม้ว่าแผนเดิมคือการรื้อถอนป้อมปราการเก่าของเรธิมโนและย้ายผู้อยู่อาศัยเข้าไปในฟอร์เตซซา แต่ฟอร์เตซซามีขนาดเล็กเกินไปที่จะรองรับคนทั้งเมือง กำแพงตามทางเข้าเมืองยังคงอยู่ และฟอร์เตซซากลายเป็นป้อมปราการที่ทำการของฝ่ายบริหารเวนิสของเมือง โดยจะใช้โดยผู้อยู่อาศัยในเมืองเฉพาะในกรณีที่ออตโตมันรุกรานเท่านั้น ตลอดหลายปีที่ผ่านมา มีการปรับปรุงป้อมปราการหลายครั้ง อย่างไรก็ตาม ป้อมปราการแห่งนี้ไม่เคยมีความปลอดภัยอย่างแท้จริง เนื่องจากขาดคูน้ำและกำแพงป้องกันและเชิงเทินก็ค่อนข้างต่ำ^{[ 3 ]}

เมื่อวันที่ 29 กันยายน ค.ศ. 1646 ในช่วงสงครามออตโตมัน-เวเนเซียครั้งที่ 5กองกำลังออตโตมันได้ปิดล้อมเมืองเรธิมโน และประชากรในเมืองได้ลี้ภัยเข้าไปในป้อมปราการ สภาพภายในป้อมปราการย่ำแย่ลงเนื่องจากโรคระบาดและการขาดแคลนอาหารและกระสุน ชาวเวเนเซียยอมจำนนภายใต้เงื่อนไขที่เป็นประโยชน์ในวันที่ 13 พฤศจิกายน^{[ 4 ]}

ชาวออตโตมันไม่ได้ทำการเปลี่ยนแปลงครั้งใหญ่ใดๆ กับป้อมฟอร์เตซซา ยกเว้นการสร้างราเวลินนอกประตูหลัก^{[ 5 ]}พวกเขายังสร้างบ้านบางหลังสำหรับทหารรักษาการณ์และการบริหารเมือง และพวกเขายังเปลี่ยนมหาวิหารให้เป็นมัสยิดป้อมยังคงใช้งานอยู่จนถึงต้นศตวรรษที่ 20 ^{[ 2 ]}

ในช่วงต้นศตวรรษที่ 20 อาคารที่พักอาศัยหลายแห่งตั้งอยู่ในฟอร์เตซซา หลัง สงครามโลกครั้งที่ 2สิ้นสุดลงเมืองเริ่มขยายตัวและผู้อยู่อาศัยจำนวนมากย้ายไปอยู่ที่อื่นในเมือง ป้อมปราการบนบกของเรธิมโนและบ้านเรือนหลายหลังภายในฟอร์เตซซาถูกรื้อถอนในช่วงเวลานี้ แต่กำแพงของฟอร์เตซซายังคงอยู่ ในช่วงหนึ่ง เรือนจำท้องถิ่นตั้งอยู่ภายในฟอร์เตซซา^{[ 2 ]}

งานบูรณะขนาดใหญ่ได้ดำเนินการมาตั้งแต่ต้นทศวรรษ 1990 ป้อมปราการฟอร์เตซซาอยู่ภายใต้การดูแลของกระทรวงวัฒนธรรมและกีฬาและเปิดให้ประชาชนเข้าชม^{[ 5 ]}ปัจจุบันอาคารราเวลินสมัยออตโตมันเป็นที่ตั้งของพิพิธภัณฑ์โบราณคดีแห่งเรธิมน ో ^{[ 6 ]}