ในปี ค.ศ. 1796 รัฐบาลกลางได้ซื้อ ที่ดินขนาด 125 เอเคอร์ (0.5 ^{ตาราง}กิโลเมตร)จากทายาทของโรเบิร์ต ฮาร์เปอร์ การก่อสร้างเริ่มขึ้นในสิ่งที่ต่อมาจะกลายเป็นคลังอาวุธและโรงเก็บอาวุธของสหรัฐอเมริกาที่ฮาร์เปอร์สเฟอร์รีในปี ค.ศ. 1799 ^{[ 27 ]}ในท้องถิ่นเรียกกันว่า "คลังอาวุธ" และ "โรงเก็บอาวุธ" แต่เป็นสถานที่เดียวกัน นี่เป็นสถานที่แห่งที่สองจากทั้งหมดสองแห่งในสหรัฐอเมริกา โดยแห่งแรกอยู่ที่สปริงฟิลด์ รัฐแมสซาชูเซตส์ ทั้งสองแห่งร่วมกันผลิตอาวุธขนาดเล็กส่วนใหญ่ให้กับกองทัพสหรัฐฯ เมืองนี้ถูกเปลี่ยนให้เป็นศูนย์กลางอุตสาหกรรมที่ขับเคลื่อนด้วยพลังงานน้ำ ระหว่างปี ค.ศ. 1801 ถึง ค.ศ. 1861 เมื่อคลังอาวุธถูกทำลายเพื่อป้องกันการถูกยึดครองในช่วงสงครามกลางเมืองอเมริกา คลัง อาวุธแห่งนี้ผลิต ปืนคาบศิลา ปืนไรเฟิล และปืนพกมากกว่า 600,000 กระบอก กัปตันจอห์น เอช. ฮอลล์ผู้ประดิษฐ์ได้บุกเบิกการใช้ชิ้นส่วนที่สามารถเปลี่ยนแทนกันได้ในอาวุธปืนที่ผลิตขึ้นที่โรงงานผลิตปืนไรเฟิลของเขาที่คลังแสงระหว่างปี 1820 ถึง 1840 ปืนไรเฟิล M1819 Hall ของเขา เป็นอาวุธบรรจุท้ายกระบอกแบบแรกที่กองทัพสหรัฐฯ นำมาใช้^{[ 28 ] : 151}  

สิ่งอำนวยความสะดวกด้านการขนส่งที่มนุษย์สร้างขึ้นแห่งแรกของฮาร์เปอร์สเฟอร์รีคือคลองโปโตแมคคลองนี้หยุดให้บริการขนส่งในปี 1828 แต่ส่วนหนึ่งของคลองที่อยู่หน้าเมืองยังคงใช้เป็นทางน้ำสำหรับเครื่องจักรในโรงงานผลิตอาวุธ

คลองโปโตแมคตั้งอยู่ทาง ฝั่ง รัฐเวอร์จิเนียของแม่น้ำ ส่วน ทางฝั่ง รัฐแมริแลนด์คลองเชซาพีคและโอไฮโอในภายหลังและ ทาง รถไฟบัลติมอร์และโอไฮโอต่างแย่งชิงสิทธิ์ในการใช้ที่ดินบนผืนดินแคบๆ ทางตอนล่างของฮาร์เปอร์สเฟอร์รี

ในปี ค.ศ. 1833 คลองเชซาพีคและโอไฮโอได้มาถึงฮาร์เปอร์สเฟอร์รีจากวอชิงตัน ดี.ซี.การขยายไปทางตะวันตกไปยังโอไฮโอ ตามแผนนั้น ไม่เคยเสร็จสมบูรณ์ หนึ่งปีต่อมา ทางรถไฟบัลติมอร์และโอไฮโอเริ่มให้บริการจากฮาร์เปอร์สเฟอร์รีผ่านสะพานเวเกอร์ ซึ่งตั้งชื่อตามตระกูลที่ต่อมาได้สร้างโรงแรมเวเกอร์ในเมือง สะพานนี้เชื่อมต่อเมืองข้ามแม่น้ำโปโตแมคไปยังแซนดีฮุก รัฐแมริแลนด์ซึ่งในช่วงไม่กี่ปีในทศวรรษ ค.ศ. 1830 เป็นสถานีปลายทางด้านตะวันตกของทางรถไฟ ในปี ค.ศ. 1837 ทางรถไฟได้ข้ามแม่น้ำโปโตแมคไปยังฮาร์เปอร์สเฟอร์รีด้วยการเปิดจุดข้ามแม่น้ำโปโตแมคของ ทางรถไฟ B & O ^{[ 29 ]}

จุดเชื่อมต่อทางรถไฟแห่งแรกของประเทศเริ่มเปิดให้บริการในปี 1836 เมื่อทางรถไฟวินเชสเตอร์และโพโทแมคเปิดเส้นทางจากฮาร์เปอร์สเฟอร์รีไปทางตะวันตกเฉียงใต้สู่ชาร์ลส์ทาวน์ และจากนั้นไปยัง วินเชสเตอร์ รัฐเวอร์จิเนีย

เกาะเวอร์จิเนียสซึ่งเชื่อมต่อแม่น้ำเชนันโดอาห์กับส่วนล่างของฮาร์เปอร์สเฟอร์รี เกิดขึ้นโดยบังเอิญในช่วงต้นทศวรรษ 1800 หลังจากเศษซากลอยลงมาจากโรงสีต้นน้ำระหว่างการก่อสร้างคลองเชนันโดอาห์^{[ 30 ]}โรงงานผลิตฝ้าย โรงสีแป้ง และบริษัทที่ใช้พลังงานน้ำอื่นๆ ได้รับการพัฒนาบนเกาะเวอร์จิเนียส โดยใช้ประโยชน์จากพลังงานน้ำของแม่น้ำเชนันโดอาห์และเส้นทางที่ดีไปยังตลาด เกาะนี้กลายเป็นที่ตั้งของโรงงานผลิตทั้งหมดของฮาร์เปอร์สเฟอร์รี ยกเว้นคลังอาวุธซึ่งใช้พลังงานจากแม่น้ำโปโตแมค และโรงงานผลิตปืนไรเฟิลซึ่งอยู่ห่างออกไปทางต้นน้ำโดยใช้พลังงานจากแม่น้ำเชนันโดอาห์

ในช่วงก่อนสงครามกลางเมือง มีผู้คนอาศัยอยู่บนเกาะเวอร์จิเนียสราว 180 คน รวมทั้งคนงานที่อาศัยอยู่ในหอพักและบ้านแถวน้ำท่วมในศตวรรษที่ 20 ทำลายสิ่งปลูกสร้างทั้งหมดบนเกาะ ปัจจุบัน นักท่องเที่ยวสามารถชมซากปรักหักพังทางประวัติศาสตร์ของเกาะเวอร์จิเนียสและเดินตามเส้นทางของอุทยานแห่งชาติได้^{[ 30 ]}

เมื่อวันที่ 16 ตุลาคม พ.ศ. 2392 จอห์น บราวน์ผู้ต่อต้านการเป็นทาส ได้นำกลุ่มชาย 22 คน (รวมตัวเขาเองด้วย) บุกโจมตีคลังอาวุธ ชายทั้ง 5 คนเป็นคนผิวดำ ได้แก่ ชายผิวดำอิสระ 3 คน ทาสที่ได้รับการปลดปล่อย 1 คน และทาสที่หลบหนี 1 คน บราวน์โจมตีและยึดอาคารหลายหลัง โดยหวังจะยึดคลังอาวุธและติดอาวุธให้ทาส เพื่อจุดชนวนการก่อจลาจลไปทั่วภาคใต้ บราวน์ยังนำหอกเหล็ก 1,000 เล่ม ซึ่งตีขึ้นในคอนเนตทิคัตโดยช่างตีเหล็กและผู้สนับสนุนการต่อต้านการเป็นทาส ชาร์ลส์ แบลร์ อย่างไรก็ตาม หอกเหล็กซึ่งเป็นอาวุธที่ไม่ต้องฝึกฝน ไม่เคยถูกนำมาใช้ เนื่องจากบราวน์ล้มเหลวในการรวบรวมทาสให้ก่อจลาจล^{[ 31 ]}กระสุนนัดแรกของการบุกโจมตีทำให้เฮย์เวิร์ด เชพเพิร์ด [ ^{32 ] ชาย}ผิวดำอิสระซึ่งเป็นคนยกกระเป๋าให้กับทางรถไฟบัลติมอร์และโอไฮโอได้ รับบาดเจ็บสาหัส

เสียงปืนดังขึ้นทำให้ดร. จอห์น สตาร์รี ตื่นตัวในเวลาประมาณ 1 นาฬิกา เขาเดินจากบ้านใกล้ๆ ไปตรวจสอบเหตุการณ์ยิงปืนและถูกคนของบราวน์เผชิญหน้า สตาร์รีกล่าวว่าเขาเป็นหมอ แต่ไม่สามารถทำอะไรให้เชพเพิร์ดได้มากกว่านี้ และคนเหล่านั้นก็ปล่อยให้เขาไป จากนั้นสตาร์รีก็ไปที่โรงเก็บรถ ม้า และขี่ม้าไปยังเมืองและหมู่บ้านใกล้เคียง เพื่อแจ้งเตือนชาวบ้านเกี่ยวกับการบุกโจมตี คนของจอห์น บราวน์ ถูกตรึงไว้ได้อย่างรวดเร็วด้วยกระสุนปืนที่ยิงโดยพลเมืองและกองกำลังติดอาวุธ ในท้องถิ่น และถูกบังคับให้หลบภัยในโรงเก็บรถดับเพลิง (ต่อมาเรียกว่าป้อมของจอห์น บราวน์ ) ที่ทางเข้าคลังอาวุธ^{[ 33 ]}อาคารที่แข็งแรงนี้ทำหน้าที่เป็นที่หลบภัยของพวกเขานานกว่าสองวัน

รัฐมนตรีว่าการกระทรวงสงครามได้ขอให้กระทรวงกองทัพเรือส่งหน่วยนาวิกโยธินสหรัฐจากอู่ต่อเรือวอชิงตันซึ่งเป็นกองกำลังที่อยู่ใกล้ที่สุด^{[ 34 ]}ร้อยโทอิสราเอล กรีนได้รับคำสั่งให้นำนาวิกโยธิน 86 นายไปยังเมืองนั้นร้อยโทโรเบิร์ต อี. ลี แห่งกองทัพบกสหรัฐ พบว่ากำลังลาพักอยู่ที่บ้านของเขาซึ่งอยู่ไม่ไกลจากอาร์ลิงตัน รัฐเวอร์จิเนียและได้รับมอบหมายให้เป็นผู้บัญชาการ พร้อมกับร้อยโทเจบี สจ๊วตเป็นผู้ช่วย ของเขา ลีนำหน่วยโดยสวมชุดพลเรือน เนื่องจากไม่มีเครื่องแบบของเขาให้ใช้ กองกำลังเดินทางมาถึงโดยรถไฟในวันที่ 18 ตุลาคม และเริ่มการเจรจาเพื่อการยอมจำนนของกลุ่มผู้ต่อต้านการเป็นทาส

เมื่อการเจรจาไม่ประสบผลสำเร็จ กองทหารจึงบุกโจมตีสถานีดับเพลิงและยุติการปิดล้อม ในการปฏิบัติการครั้งนี้ กองทหารได้สังหารผู้ต่อต้านการค้าทาสไปจำนวนหนึ่ง และได้รับบาดเจ็บเพียงคนเดียว (พลทหารลุค ควินน์ อายุ 24 ปี) จอห์น บราวน์และผู้บุกรุกที่รอดชีวิตคนอื่นๆ ถูกจับกุม^{[ 35 ]}ลีได้ส่งรายงานเมื่อวันที่ 19 ตุลาคม^{[ 36 ]}

บราวน์ถูกนำตัวขึ้นศาล อย่างรวดเร็ว ในเมืองชาร์ลส์ทาวน์เมืองหลวงของเทศมณฑลเจฟเฟอร์สันในข้อหาเป็นกบฏต่อเครือรัฐเวอร์จิเนีย ฆาตกรรม และยุยงให้เกิดการก่อจลาจลของทาส เขาถูกตัดสินว่ามีความผิดในทุกข้อหา โดยคำให้การของสตาร์รีเป็นส่วนสำคัญในการตัดสินลงโทษ และถูกแขวนคอในวันที่ 2 ธันวาคม (ดูเวอร์จิเนีย กับ จอห์น บราวน์ )

คำพูดของจอห์น บราวน์ ทั้งจากการสัมภาษณ์โดยผู้ว่าการรัฐเวอร์จิเนียเฮนรี เอ. ไวส์และสุนทรพจน์สุดท้ายอันโด่งดังของเขา "ดึงดูดความสนใจของชาติได้มากเท่ากับนักต่อต้านการเป็นทาสหรือเจ้าของทาสคนอื่นๆ ทั้งก่อนและหลัง" ^{[ 37 ] : 174 [ 38 ]}

สงครามกลางเมืองอเมริกันเป็นหายนะสำหรับฮาร์เปอร์สเฟอร์รี ซึ่งมีการสู้รบเกิดขึ้น 5 ครั้ง ^{[ 39 ]}และเปลี่ยนมือไปถึง 8 ครั้งระหว่างปี 1861 ถึง 1865 ^{[ 14 ]} (บทความอื่นกล่าวว่าเปลี่ยนมือถึง 12 ครั้ง^{[ 39 ]} ) หนึ่งในปฏิบัติการทางทหารครั้งแรกของกลุ่มแบ่งแยกดินแดนในเวอร์จิเนียเกิดขึ้นเมื่อวันที่ 18 เมษายน 1861 เมื่อพวกเขายึดคลังแสงของรัฐบาลกลางที่ฮาร์เปอร์สเฟอร์รีจากกองทัพสหภาพ แม้กระทั่งก่อนการประชุมที่จะพิจารณาว่ารัฐควรแยกตัว หรือไม่ ^{[ 40 ]}

เนื่องจากทำเลที่ตั้งเชิงยุทธศาสตร์ของเมืองบนทางรถไฟบัลติมอร์และโอไฮโอและที่ปลายด้านเหนือของหุบเขาเชนันโดอาห์ กองทัพ ทั้งฝ่ายสหภาพและฝ่ายสัมพันธมิตรจึงเคลื่อนพลผ่านฮาร์เปอร์สเฟอร์รีบ่อยครั้ง มีคำกล่าวว่า "เจฟเฟอร์สันเคาน์ตีคือจุดที่ภาคเหนือและภาคใต้มาบรรจบกัน" ^{[ 41 ]}เป็นเส้นทางธรรมชาติสำหรับการรุกรานทางเหนือของฝ่ายสัมพันธมิตร เช่น ในการรณรงค์แมริแลนด์ของ นายพล โรเบิร์ต อี. ลีในปี 1862 และการรณรงค์เกตตีสเบิร์กในปี 1863 และสำหรับกองทัพสหภาพที่มุ่งหน้าลงใต้เพื่อพยายามขัดขวางกองกำลังกบฏในหุบเขา

เมืองนี้ "ยึดได้ง่าย แต่รักษาไว้ได้ยาก" ^{[ 42 ] : 284}เนื่องจากภูมิประเทศของเมือง: ล้อมรอบด้วยพื้นที่สูงสามด้าน ( โบลิวาร์ไฮท์ทางทิศตะวันตกลูดูนไฮท์ทางทิศใต้ และแมริแลนด์ไฮท์ทางทิศตะวันออก) และแม่น้ำโปโตแมคและเชนันโดอา ใครก็ตามที่ควบคุมพื้นที่สูงได้ก็จะควบคุมเมืองได้

สงครามส่งผลกระทบต่อเมืองอย่างรุนแรง มีการบรรยายถึงเรื่องนี้ไว้ในเดือนมีนาคม ค.ศ. 1862:

ฮาร์เปอร์สเฟอร์รีมีสภาพที่ค่อนข้างหดหู่ อาคารที่ดีที่สุดถูกยิงถล่มจนราบเป็นหน้าดิน และตอนนี้เหลือเพียงฐานรากเท่านั้นที่เป็นเครื่องหมายบอกตำแหน่งที่เคยตั้งอยู่ คลังแสงเก่าถูกเผาจนราบเป็นหน้าดิน ส่วนหนึ่งของอาคารที่จอห์น บราวน์ผู้เฒ่าต่อสู้จนถึงแก่ความตายยังคงตั้งอยู่เป็นอนุสรณ์เพื่อรำลึกถึงเขา ก่อนที่เมืองจะถูกทำลาย มีประชากรเกือบ 3,000 คน แต่ปัจจุบันเหลืออยู่ไม่เกิน 300 หรือ 400 ครอบครัว^{[ 43 ]}

ในบันทึกของโจเซฟ จอร์จ โรเซนการ์เทน ฮาร์เปอร์สเฟอร์รีและโบลิวาร์ ที่อยู่ใกล้เคียง ในปี พ.ศ. 2492 ระบุว่า "สถานที่ที่เต็มไปด้วยสวนอันงดงาม ความประหยัด ความขยันหมั่นเพียร และความสะดวกสบาย" ได้ถูกลดทอนให้เหลือเพียง "ความรกร้างว่างเปล่า" ในปี พ.ศ. 2405 ^{[ 44 ]}

กองทหารรักษาการณ์ของรัฐบาลกลางในเมืองดึงดูดผู้ลี้ภัย 1,500 คน ในช่วงฤดูร้อนปี 1862 ^{[ 45 ]}อย่างไรก็ตาม พวกเขาถูกส่งกลับไปเป็นทาสอีกครั้งเมื่อนายพลสโตนวอลล์ แจ็กสัน แห่งฝ่ายสัมพันธมิตร ยึดฮาร์เปอร์สเฟอร์รีได้ในเดือนกันยายนปี 1862 ลีจำเป็นต้องควบคุมฮาร์เปอร์สเฟอร์รีเพราะมันอยู่บนเส้นทางส่งเสบียงของเขาและสามารถตัดเส้นทางถอยทัพที่เป็นไปได้ของเขาได้หากถูกยึด^{[ 46 ]}ดังนั้น ลีจึงแบ่งกองทัพของเขาที่มีทหารประมาณ 40,000 นายออกเป็นสี่ส่วน โดยส่งสามกองร้อยภายใต้การนำของแจ็กสันไปล้อมและยึดเมือง^{[ 47 ]}

การรบที่ฮาร์เปอร์สเฟอร์รีเริ่มต้นด้วยการสู้รบเบาๆ ในวันที่ 13 กันยายน ขณะที่ฝ่ายสัมพันธมิตรพยายามยึด แมริแลนด์ ไฮท์ทางตะวันออกเฉียงเหนือ ในขณะที่จอห์น วอล์คเกอร์เคลื่อนทัพกลับข้ามแม่น้ำโปโตแมคเพื่อยึดลูดูนไฮท์ทางใต้ของเมือง หลังจากที่ฝ่ายสัมพันธมิตรระดมยิงปืนใหญ่ในวันที่ 14 และ 15 กันยายน กองกำลังของรัฐบาลกลางก็ยอมจำนน การที่แจ็กสันจับกุมทหารของรัฐบาลกลางได้ 12,419 นาย ทำให้การยอมจำนนที่ฮาร์เปอร์สเฟอร์รีเป็นการยอมจำนนครั้งใหญ่ที่สุดของกำลังพลสหรัฐฯ จนกระทั่งถึงยุทธการบาตาอันในปี 1942 ^{[ 46 ]}

เนื่องจากความล่าช้าในการยึดเมืองและการเคลื่อนทัพของกองกำลังฝ่ายรัฐบาลไปทางตะวันตก ลีจึงถูกบังคับให้รวมกำลังใหม่ที่เมืองชาร์ปส์เบิร์ก รัฐแมริแลนด์สองวันต่อมา เขาได้บัญชาการทหารในการรบที่แอนทิเอแทมซึ่งมีจำนวนผู้เสียชีวิตในหมู่ทหารมากที่สุดในวันเดียวในประวัติศาสตร์การทหารของสหรัฐอเมริกา

ภายในเดือนกรกฎาคม พ.ศ. 2407 สหภาพได้ควบคุมฮาร์เปอร์สเฟอร์รีอีกครั้ง ในวันที่ 4 กรกฎาคม พ.ศ. 2407 นายพลฟรานซ์ ซีเกล แห่งสหภาพ ได้ถอนกำลังทหารของเขาไปยังแมริแลนด์ไฮท์ส ซึ่งเขาได้ต่อต้านความ พยายามของ จูบัล เออร์ลีที่จะเข้าเมืองและขับไล่กองกำลังของรัฐบาลกลาง^{[ 48 ]}

จากการได้รับแรงบันดาลใจจากการบุกโจมตีของจอห์น บราวน์ ทั้งทาสที่หลบหนีและทาสที่ได้รับการปลดปล่อยต่างเดินทางมายังฮาร์เปอร์สเฟอร์รีในช่วงและหลังสงครามกลางเมืองอเมริกาทำให้เกิดความตึงเครียดทางสังคมระหว่างชาวผิวขาวและชาวผิวดำในชุมชน และก่อให้เกิดความต้องการบริการที่เพิ่มขึ้นสำหรับประชากรชาวแอฟริกันอเมริกันที่เพิ่มมากขึ้น ด้วยเหตุนี้ โรงเรียนสำหรับผู้ได้รับการปลดปล่อยจึงถูกเปิดขึ้นที่แคมป์ฮิลล์โดย มิชชันนารี แบปติสต์ฟรีวิลล์หลังสงครามกลางเมืองอเมริกา^{[ 49 ] : 4}

เมืองและคลังอาวุธ ยกเว้นป้อมของจอห์น บราวน์ถูกทำลายในช่วงสงคราม “บ้านส่วนใหญ่พังทลายลง และสถานที่ทั้งหมดนี้มีมูลค่าไม่ถึง 10 ดอลลาร์” ทหารจากแมสซาชูเซตส์เขียนถึงแม่ของเขาในปี 1863 ^{[ 42 ] : 285}ผู้มาเยือนในปี 1878 พบว่าเมืองนี้ “เก่าแก่ สกปรก และค่อนข้างทรุดโทรม” ^{[ 50 ]}อีกคนหนึ่งในปี 1879 อธิบายว่ามัน “โทรมและพังทลาย” ^{[ 42 ] : 286}เนื่องจากคลังอาวุธ ซึ่งเป็นนายจ้างรายใหญ่ที่สุดของฮาร์เปอร์สเฟอร์รีก่อนสงคราม ไม่เคยได้รับการสร้างใหม่ ประชากรของเมืองจึงไม่เคยฟื้นตัวกลับไปสู่ระดับก่อนสงคราม

วิทยาลัยสโตเรอร์ซึ่งอุทิศให้กับการฝึกอบรมครูสำหรับคนผิวดำที่ได้รับการปลดปล่อย เปิดทำการในปี 1868 สร้างความไม่พอใจให้กับชาวเมืองฮาร์เปอร์สเฟอร์รีจำนวนมาก ซึ่งได้ยื่นคำร้องต่อสภานิติบัญญัติให้เพิกถอนใบอนุญาต กระทรวงสงครามได้มอบ ทรัพย์สินที่เหลืออยู่ในฮาร์เปอร์สเฟอร์รีให้แก่ สำนักงานช่วยเหลือคนผิวดำ (Freedmen's Bureau)ซึ่งส่วนใหญ่เป็นบ้านพักที่แข็งแรงสี่หลังสำหรับผู้จัดการคลังอาวุธ โครงสร้างแข็งแรงแต่ต้องการการซ่อมแซมเนื่องจากความเสียหายในช่วงสงคราม และสำนักงานฯ ได้มอบบ้านเหล่านั้นให้แก่วิทยาลัยสโตเรอร์ โรงเรียนห้องเรียนเดียวสำหรับคนผิวดำได้เปิดดำเนินการอยู่ในบ้านหลังหนึ่งแล้ว

ตั้งแต่ปี 1878 ทางรถไฟ Baltimore and Ohioได้ให้บริการรถไฟท่องเที่ยวไปยัง Harpers Ferry จาก Baltimore และ Washington ^{[ 51 ] [ 52 ]}ดังที่อธิบายไว้ในหนังสือพิมพ์ในปี 1873 ว่า "เพียงแค่ลงจากรถไฟและมองไปยังโรงเครื่องยนต์เก่าหรือกำแพงที่พังทลายของคลังแสงเก่า ด้วยความอิจฉาเล็กน้อย ก็จะมีคนจำนวนมากเสนอตัวเป็นไกด์หรือชี้แนะสิ่งที่คุณอยากรู้เกี่ยวกับการต่อสู้ครั้งยิ่งใหญ่ที่จบลงด้วย 'การเปิดประตูคุก การทำลายแอกทุกอัน การปลดเปลื้องภาระหนัก และการปล่อยให้ผู้ถูกกดขี่เป็นอิสระ'" ^{[ 53 ]}

วิทยาลัยสโตเรอร์ ซึ่งเป็นวิทยาลัยสำหรับคนผิวดำแห่งเดียวในสถานที่สำคัญทางประวัติศาสตร์สำหรับชาวแอฟริกันอเมริกัน ได้กลายเป็นศูนย์กลางของการเคลื่อนไหวเพื่อสิทธิพลเมืองและสร้างความสำคัญให้กับเมืองในฐานะจุดหมายปลายทางสำหรับนักท่องเที่ยวและผู้มาเยือนชาวผิวดำ ดักลาสได้กล่าวสุนทรพจน์ที่นั่นในปี 1881 ซึ่งเป็นส่วนหนึ่งของแคมเปญที่ไม่ประสบความสำเร็จในการระดมทุนเพื่อจัดตั้ง "ตำแหน่งศาสตราจารย์จอห์น บราวน์" ที่จะมอบให้กับชาวแอฟริกันอเมริกัน ในปี 1906 สโตเรอร์เป็นเจ้าภาพจัดการประชุมครั้งแรกในสหรัฐอเมริกาของขบวนการไนแอการา ซึ่งเป็นองค์กร ก่อนหน้าของNAACPหลังจากที่ได้มีการประชุมจัดตั้งองค์กรขึ้นที่ฟอร์ตอีรี รัฐออนแทรีโอ

ในช่วงปลายทศวรรษ 1890 ทางรถไฟบัลติมอร์และโอไฮโอต้องการที่ดินที่ตั้งของป้อมปราการเพื่อลดความเสี่ยงจากน้ำท่วมต่อเส้นทางรถไฟ ชาวเมืองผิวขาวบางคนกระตือรือร้นที่จะกำจัดป้อมปราการ^{[ 54 ] : 181 [ 55 ] : 19}ป้อมปราการถูกรื้อถอนและย้ายไปชิคาโกเพื่อจัดแสดงในงานนิทรรศการโคลัมเบียนปี 1893หลังจากถูกทิ้งร้างที่นั่น ป้อมปราการก็ได้รับการช่วยเหลือและย้ายกลับไปยังฮาร์เปอร์สเฟอร์รีโดยทางรถไฟบัลติมอร์และโอไฮโอโดยไม่คิดค่าใช้จ่าย เนื่องจากพวกเขาคาดหวังว่าการนำป้อมปราการกลับมาที่ฮาร์เปอร์สเฟอร์รีจะเป็นแหล่งท่องเที่ยวและเป็นวิธีเพิ่มจำนวนผู้โดยสารบนทางรถไฟ^{[ 54 ] : 183}แต่ชาวผิวขาวส่วนใหญ่คัดค้านการรำลึกถึงจอห์น บราวน์^{[ 54 ] : 182}และป้อมปราการจึงถูกนำไปตั้งไว้ในฟาร์มใกล้เคียง

การมาเยือนของนักท่องเที่ยวจำนวนมาก โดยเฉพาะชาวผิวดำ เริ่มค่อยๆ เปลี่ยนเมืองนี้ให้กลายเป็นศูนย์กลางการท่องเที่ยวที่แท้จริงและฟื้นฟูการเติบโต “ฮาร์เปอร์สเฟอร์รีพิสูจน์แล้วว่าเป็นหนึ่งในสถานที่พักผ่อนหย่อนใจที่ได้รับความนิยมมากที่สุดสำหรับชาวแอฟริกันอเมริกันในศตวรรษที่ 19” ^{[ 56 ] : 41–42}มีโรงแรมที่ชาวผิวดำเป็นเจ้าของชื่อฮิลล์ท็อปเฮาส์ซึ่งสร้างและบริหารโดยโทมัส โลเว็ตต์ ผู้สำเร็จการศึกษาจากสโตเรอร์ แต่ให้บริการเฉพาะลูกค้าผิวขาวเท่านั้น^{[ 57 ]}ในช่วงฤดูร้อน สโตเรอร์ให้เช่าห้องพักแก่นักท่องเที่ยวผิวดำจนถึงปี 1896 ^{[ 58 ] : 183}ป้อมแห่งนี้เป็นอนุสรณ์สถานอันยิ่งใหญ่ที่จุดเริ่มต้นของการสิ้นสุดของระบบทาส มีนักท่องเที่ยวจำนวนมากจนสร้างความรำคาญให้กับเกษตรกรเจ้าของที่ดินที่ป้อมตั้งอยู่ ดังนั้นจึงได้ย้ายป้อมไปยังสโตเรอร์ในปี 1909 ป้อมจะอยู่ที่นั่นจนกระทั่งหลายปีหลังจากที่วิทยาลัยปิดตัวลงในปี 1955 โดยทำหน้าที่เป็นพิพิธภัณฑ์ของวิทยาลัย นักศึกษาชายฝึกฝนทักษะการพูดในที่สาธารณะโดยการนำชมป้อม

เพื่อเพิ่มจำนวนผู้โดยสาร ในปี 1879 B&O ได้สร้าง Island Park Resort and Amusement Park บนเกาะ Byrne ในแม่น้ำ Potomac ซึ่งทางรถไฟได้ซื้อและสร้างสะพานคนเดินข้ามไปยังเกาะนั้น ผู้โดยสารต้องจ่าย 5 เซ็นต์ (เทียบเท่า 5 ดอลลาร์ในปี 2021) เพื่อข้ามและเข้าไปข้างใน หลังจากนั้นเครื่องเล่นและกิจกรรมอื่นๆ ก็ฟรี^{[ 59 ]}การเข้าถึงสวนสาธารณะยังเป็นสวัสดิการสำหรับพนักงานของ B&O เช่นเดียวกับที่เคยทำในRelay รัฐแมริแลนด์ในบรรดากิจกรรมมากมายที่จัดขึ้นที่นั่น ได้แก่ การรวมตัวของOdd Fellows 4,000 คน ในปี 1880 ^{[ 60 ]}และ "การประชุมใหญ่ของพรรคเดโมแครตสามรัฐ" ในปี 1892 ^{[ 61 ]}

Thomas Wentworth Higginsonหนึ่งในหกคนลับที่ช่วยเหลือJohn Brownเลือก Harpers Ferry เป็นสถานที่ฮันนีมูน^{[ 62 ]}

สวนสาธารณะมีขนาดใหญ่พอที่จะจัดขบวนพาเหรดได้ มีชิงช้าสวรรค์และม้าหมุน ที่ใช้พลังงานไอน้ำ ลานเกมศาลาสำหรับเต้นรำหรือเล่นโรลเลอร์สเก็ตชิงช้าม้าหมุนและเวทีดนตรี ผู้เข้าชมยังสามารถเล่นโครเกต์ เทนนิส เช่าเรือ ตกปลา หรือลงไปเล่นน้ำในแม่น้ำได้ ต่อมามีการจัดการแข่งขันเบสบอล คนผิวดำและคนผิวขาวมาเที่ยวในวันต่างกัน^{[ 56 ] : 73}ในปี พ.ศ. 2326 มีผู้เข้าชมประมาณ 100,000 คน^{[ 56 ] : 50}มีรถไฟพิเศษ 6 ขบวนไปยังฮาร์เปอร์สเฟอร์รีจากจุดต่างๆ

สวนสนุกยังคงเปิดให้บริการแม้จะมีน้ำท่วมและการซ่อมแซมเป็นระยะจนถึงปี พ.ศ. 2452 ^{[ 63 ]}หลังจากนั้น B&O ก็ยังคงเปิดสถานที่แห่งนี้ไว้สำหรับการปิกนิก^{[ 64 ]}

ศาลาดนตรี ซึ่งเป็นโครงสร้างเดียวที่ยังหลงเหลืออยู่ ได้ถูกย้ายสองครั้ง เมื่อสวนสาธารณะปิดตัวลง ศาลาดนตรีถูกย้ายไปยังจัตุรัสอาร์เซนอล (ที่ตั้งปัจจุบันของป้อมจอห์น บราวน์ ) จากนั้นจึงย้ายไปยังสวนสาธารณะที่ถนนวอชิงตันและกิลมอร์ ศาลาดนตรีนี้ถูกเรียกว่าศาลาดนตรีหรือศาลา เมือง และมีกิจกรรมทางพลเมือง วัฒนธรรม และนันทนาการมากมายเกิดขึ้นที่นั่น^{[ 65 ]}

สะพานถูกทำลายจากน้ำท่วมในปี พ.ศ. 2439 ^{[ 66 ]}เช่นเดียวกับสะพานทดแทนในปี พ.ศ. 2467 โครงสร้างที่เหลือบนเกาะถูกทำลายจากน้ำท่วมในปี พ.ศ. 2485 ^{[ 65 ]}

เมื่อวันที่ 15 สิงหาคม พ.ศ. 2449 นักเขียนและนักวิชาการผิวดำWEB Du Boisได้นำการประชุมครั้งแรกบนแผ่นดินอเมริกาของขบวนการไนแอการา ใหม่ ขบวนการ ^นี้ตั้งชื่อตามสถานที่จัดการประชุมครั้งแรกในฟอร์ตอีรี รัฐออนแทรีโอประเทศแคนาดา ริมแม่น้ำไนแอการา [ ^{67 ]}การประชุมจัดขึ้นที่วิทยาเขตของวิทยาลัยสโตเรอร์ซึ่งเป็นวิทยาลัยสำหรับคนผิวดำเป็นหลัก และดำเนินการจนถึงปี พ.ศ. 2498 (หลังจากปิดตัวลง วิทยาเขตแห่งนี้ได้กลายเป็นส่วนหนึ่งของอุทยานประวัติศาสตร์แห่งชาติฮาร์เปอร์สเฟอร์รี) การชุมนุมสามวันซึ่งจัดขึ้นเพื่อเรียกร้องสิทธิพลเมืองสำหรับชาวแอฟริกันอเมริกันต่อมา DuBois ได้บรรยายว่าเป็น "หนึ่งในการประชุมที่ยิ่งใหญ่ที่สุดที่ชาวอเมริกันผิวดำเคยจัดขึ้น" ^{[ 68 ]}ผู้เข้าร่วมประชุมเดินจากวิทยาลัยสโตเรอร์ไปยังฟาร์มของตระกูลเมอร์ฟี ซึ่งในขณะนั้นเป็นที่ตั้งของ"ป้อม" ทางประวัติศาสตร์ของจอห์น บราวน์ซึ่งก็คือสถานีดับเพลิงของคลังอาวุธ ต่อมาป้อมดังกล่าวถูกย้ายไปยังวิทยาเขตสโตเรอร์ และกลายเป็นสัญลักษณ์สำคัญของวิทยาลัย หลังจากวิทยาลัยปิดตัวลงในปี พ.ศ. 2498 กรมอุทยานแห่งชาติได้ย้ายกลับไปให้ใกล้กับตำแหน่งเดิมมากที่สุดเท่าที่จะเป็นไปได้^{[ 69 ]}

น้ำท่วมในปี พ.ศ. 2479 ทำให้เมืองด้านล่าง "ทรุดโทรมและแทบไม่มีคนอาศัยอยู่" เนื่องจากไม่มีสะพานข้ามแม่น้ำเชนันโดอาไปยังรัฐเวอร์จิเนีย และไม่มีสะพานทางหลวงไปยังรัฐแมริแลนด์ โครงสร้างที่เหลือทั้งหมดบนเกาะเวอร์จิเนียถูกทำลาย^{[ 71 ]}

บุคคลสำคัญในการอนุรักษ์และรำลึกถึงฮาร์เปอร์สเฟอร์รีคือ เฮนรี ที. แมคโดนัลด์ ประธานบริษัทสโตเรอร์ นักประวัติศาสตร์สมัครเล่นที่ได้รับการแต่งตั้งจากผู้ว่าการรัฐเวสต์เวอร์จิเนียโอคีย์ แพทเทอร์สันให้เป็นหัวหน้าคณะกรรมการอนุสรณ์สถานแห่งชาติฮาร์เปอร์สเฟอร์รี^{[ 55 ] : 45}เขาได้รับความช่วยเหลือจากผู้แทนจากเขตที่สองของรัฐเวสต์เวอร์จิเนียเจนนิงส์ แรนดอล์ ฟ ซึ่งในปี 1935 ได้เสนอร่างกฎหมายเพื่อจัดตั้งอุทยานทหารแห่งชาติฮาร์เปอร์สเฟอร์รีใน "พื้นที่ที่เหตุการณ์สำคัญที่สุดของ [การโจมตีของจอห์น บราวน์] เกิดขึ้น^{[ 55 ] : 35–36}แม้ว่าร่างกฎหมายนี้จะไม่ผ่าน แต่อุทกภัยในปี 1936 ทำให้โครงการนี้เป็นไปได้มากขึ้นโดยการทำลายอาคารที่ไม่สำคัญทางประวัติศาสตร์และทำให้ที่ดินว่างลง หลังจากความพยายามอื่นๆ อีกหลายครั้ง ร่างกฎหมายจัดตั้งอนุสรณ์สถานแห่งชาติฮาร์เปอร์สเฟอร์รีก็ผ่านและลงนามโดยประธานาธิบดีรูสเวลต์ในปี 1944 โดยมีเงื่อนไขว่าจะไม่มีการดำเนินการใดๆ จนกว่าสงครามจะสิ้นสุด^{[ 55 ] : 39}

สิ่งสำคัญเร่งด่วนคือทางหลวงสายใหม่ ซึ่งปัจจุบันคือทางหลวงหมายเลข 340 ของสหรัฐอเมริกาสะพานใหม่ที่เชื่อมแซนดี้ฮุค รัฐแมริแลนด์กับเคาน์ตีลูดูน รัฐเวอร์จิเนียเปิดใช้งานในเดือนตุลาคม พ.ศ. 2490 ซึ่งเริ่มก่อสร้างในปี พ.ศ. 2484 แต่ถูกขัดจังหวะด้วยสงคราม^{[ 72 ]}สะพานใหม่ข้ามแม่น้ำเชนันโดอาห์ที่เชื่อมรัฐเวอร์จิเนียกับโบลิวาร์ไฮท์ส รัฐเวสต์เวอร์จิเนียเปิดใช้งานในอีกสองปีต่อมา การจราจรบนทางหลวงของรัฐบาลกลางจึงเลี่ยงฮาร์เปอร์สเฟอร์รีไปโดยสิ้นเชิง^{[ 73 ]} การจัดซื้อที่ดินเริ่มต้นขึ้นในฮาร์เปอร์สเฟอร์รีตอนล่าง โครงการนี้ได้รับการสนับสนุนจากทั้งนายกเทศมนตรีฮาร์เปอร์สเฟอร์รี กิลเบิร์ต เพอร์รี และผู้ว่าการรัฐแพทเทอร์สัน มีการออกประกาศขับไล่ 22 ฉบับในเมืองตอนล่าง และร้านเหล้า 2 แห่งปิดตัวลง^{[ 55 ] : 57}การได้มาซึ่งทรัพย์สิน ซึ่งบางส่วนก็มีปัญหาอยู่บ้าง ได้เสร็จสิ้นในปี พ.ศ. 2495 และมอบให้แก่สหรัฐอเมริกาในเดือนมกราคม พ.ศ. 2496 ^{[ 55 ] : 46}จอห์น ที. วิลเลตต์ พนักงานประจำสถานที่คนแรกของอนุสรณ์สถานแห่งชาติ เริ่มทำงานในปี พ.ศ. 2497

ในปี พ.ศ. 2490 หนังสือพิมพ์ Baltimore Sunรายงานว่าเมืองส่วนล่างเป็น "เมืองร้างที่ทรุดโทรมและผุพัง" แนวคิดที่จะทำให้ Harpers Ferry เป็นอนุสรณ์สถานแห่งชาติก็เพื่อป้องกันการเสื่อมโทรมต่อไปและเพื่อฟื้นฟูอุตสาหกรรมการท่องเที่ยว^{[ 74 ] [ 75 ]}งานแรกของกรมอุทยานแห่งชาติคือการทำให้ตัวอาคารบนถนน Shenandoah ซึ่งเป็นถนนการค้าหลักของ Harpers Ferry ตอนล่างมีความมั่นคง หลังคาถูกคลุม หน้าต่างที่หายไปถูกเปลี่ยน ผนังที่ใกล้จะพังได้รับการเสริมความแข็งแรง และเศษซากถูกกำจัดออกไป อาคารที่สร้างหลังปี พ.ศ. 2492 ไม่ได้รับการบูรณะ และส่วนใหญ่ถูกรื้อถอน^{[ 76 ]}กรมอุทยานแห่งชาติได้สร้างศูนย์บริการนักท่องเที่ยวและพิพิธภัณฑ์ John Brown ^{[ 77 ]}อนุสรณ์สถานแห่งชาติ Harpers Ferry กลายเป็นอุทยานประวัติศาสตร์แห่งชาติ Harpers Ferryเมื่อวันที่ 29 พฤษภาคม พ.ศ. 2506 ^{[ 78 ]}

“นักท่องเที่ยว” ที่ต้องการสวนสาธารณะและไม่สนใจประวัติศาสตร์นั้นเป็นปัญหา ชาวบ้านไม่ต้องการสูญเสียโอกาสในการพักผ่อนหย่อนใจ แต่การว่ายน้ำและการตกปลาบนชายฝั่งเชนันโดอา ซึ่งเคยเป็นเรื่องปกติ กลับถูกห้าม เพื่อป้องกันไม่ให้นักท่องเที่ยวเข้ามาในพื้นที่ประวัติศาสตร์ โดยเฉพาะอย่างยิ่งเกาะเวอร์จิเนียส ป้อมของจอห์น บราวน์จึงถูกย้ายไปยังจัตุรัสอาร์เซนอลจากตำแหน่งที่ไม่สะดวกในอดีต วิทยาเขต วิทยาลัยสโตเรอร์การจอดรถในเมืองส่วนล่างถูกห้าม และเริ่มบริการรถรับส่ง^{[ 55 ] : 62}ความตึงเครียดระหว่าง NPS กับชาวเมืองยังคงดำเนินต่อไป อย่างไรก็ตาม NPS ช่วยให้เมืองได้รับสถานะถนนสายหลักจากNational Trust for Historic Preservationในปี 2544 ^{[ 55 ] : 64}

จำนวนประชากรของฮาร์เปอร์สเฟอร์รีลดลงอย่างต่อเนื่องในศตวรรษที่ 20 บ้านเรือนส่วนใหญ่ที่ยังคงเหลืออยู่ในฮาร์เปอร์สเฟอร์รีเป็นบ้านเก่าแก่ ซึ่งบางส่วนได้รับการขึ้นทะเบียนในทะเบียนรายชื่อสถานที่ทางประวัติศาสตร์แห่งชาติ

โรงแรมฮิลล์ท็อปเฮาส์ ซึ่งเปิดให้บริการในปี 1888 เพื่อรองรับชาวแอฟริกันอเมริกันในฐานะโรงแรมแห่งเดียวในฮาร์เปอร์สเฟอร์รีที่ยอมรับพวกเขาเป็นแขก ได้ถูกไฟไหม้ในปี 1911 จากนั้นจึงถูกสร้างขึ้นใหม่ในขนาดที่ใหญ่ขึ้น แต่ตัวอาคารก็ถูกไฟไหม้อีกครั้งในปี 1919 จึงถูกสร้างขึ้นใหม่เป็นครั้งที่สองในขนาดที่เล็กลงเล็กน้อย แต่ก็ปิดตัวลงในปี 2008 ณ ปี 2021 นักพัฒนาวางแผนที่จะรื้อถอนและสร้างโรงแรมใหม่ขนาด 120 ห้องบนพื้นที่ ดังกล่าว ^{[ 83 ]}ข้อโต้แย้งเกี่ยวกับผลกระทบที่สถานที่ดังกล่าวจะมีต่อเมืองได้ทำให้การพัฒนาล่าช้าออกไป