หลังจากการเลือกตั้งลินคอล์นเป็นประธานาธิบดีของสหรัฐอเมริกาในเดือนพฤศจิกายน พ.ศ. 2403 รัฐที่มีการค้าทาสได้ขู่ว่าจะแยกตัวออกไป เกอร์ฮาร์ดคาดการณ์ถึงการปะทุของสงคราม จึงช่วยจัดตั้งกองร้อยทหารราบอาสาสมัครจำนวน 65 นาย ซึ่งรู้จักกันในชื่อ "Turner Rifles" เมื่อวันที่ 11 มกราคม พ.ศ. 2404 เขาได้รับเลือกเป็นกัปตันของกองร้อย^{[ 2 ] [ 9 ]}

เขาได้รับการเลื่อนยศเป็นพันตรีและได้รับมอบหมายให้บัญชาการกองทหารราบอาสาสมัครนิวยอร์กที่ 46เมื่อวันที่ 16 กันยายน พ.ศ. 2404 ^{[ 10 ]}เขาเดินทางไปกับกองทหารไปยังที่ตั้งชั่วคราวที่แอนนาโพลิส รัฐแมริแลนด์และในเดือนพฤศจิกายนไปยังพื้นที่เตรียมการที่ฮิลตันเฮด รัฐเซาท์แคโรไลนาตั้งแต่เดือนธันวาคม พ.ศ. 2404 ถึงเดือนพฤษภาคม พ.ศ. 2405 เขาได้นำหน่วยเข้าล้อมป้อมพูลาสกีที่เกาะไทบี รัฐจอร์เจียเมื่อวันที่ 8 มิถุนายน หน่วยถูกส่งไปยังเกาะเจมส์ใกล้เมืองชาร์ลสตัน รัฐเซาท์แคโรไลนาซึ่งเกอร์ฮาร์ดนำกองทหารเข้าต่อสู้เมื่อวันที่ 16 มิถุนายน พ.ศ. 2405 ระหว่างยุทธการเซสชันวิลล์^{[ 11 ]}

หน่วยนี้กลับไปยังฐานทัพสหภาพที่นิวพอร์ต นิวส์ รัฐเวอร์จิเนียในเดือนกรกฎาคม พ.ศ. 2405 ซึ่งได้รับมอบหมายให้ไปอยู่ในกองทัพที่ IXที่ เพิ่งก่อตั้งขึ้นใหม่ ^{[ 11 ]}เขาได้รับการเลื่อนยศเป็นพันโทเมื่อวันที่ 1 กรกฎาคม พ.ศ. 2404 ^{[ 10 ]}เขาเข้าร่วมการรบที่การรบครั้งแรกที่สถานีแรปปาแฮนโนคระหว่างวันที่ 22 ถึง 25 สิงหาคม พ.ศ. 2405 ในเคาน์ตีคัลเปเปอร์และเคาน์ตีฟอกีเออร์ รัฐเวอร์จิเนียและการรบครั้งที่สองที่บูลล์รันระหว่างวันที่ 28 ถึง 30 สิงหาคม พ.ศ. 2405 ในเคาน์ตีพรินซ์วิลเลียม รัฐเวอร์จิเนีย [ ^{11 ] หน่วย}ของเขามีบทบาทในการช่วยรักษาแนวรบของสหภาพที่ฟ็อกซ์แกประหว่างการรบที่เซาท์เมาน์เทนเมื่อวันที่ 14 กันยายน พ.ศ. 2405 ใกล้เมืองบูนส์โบโร รัฐแมริแลนด์^{[ 12 ] [ 13 ]}หน่วยของเขาถูกยิง โดยพวกเดียวกันเอง จากกองทหารราบอาสาสมัครนิวแฮมป์เชอร์ที่ 9ก่อนที่จะถึงแนวรบ และทหารของเขารอดชีวิตมาได้ด้วยการทิ้งตัวลงนอนกับพื้น^{[ 14 ]}แม้ว่ากองทัพที่ IX จะเข้าร่วมในยุทธการเฟรเดอริกส์เบิร์กในวันที่ 11 ถึง 15 ธันวาคม พ.ศ. 2305 ในและรอบๆเฟรเดอริกส์เบิร์ก รัฐเวอร์จิเนียแต่หน่วยของเกอร์ฮาร์ดต์ถูกเก็บไว้เป็นกองกำลังสำรองและเขาไม่ได้เข้าร่วมการรบ^{[ 11 ]}หน่วยของเขาให้การยิงคุ้มกันสำหรับการข้ามแม่น้ำแรปปาแฮนโนคในช่วงต้นของการรบ^{[ 15 ]}เขาได้รับการเลื่อนยศเป็นพันเอกในวันที่ 17 ธันวาคม^{[ 10 ]}เขาอยู่กับหน่วยเมื่อเข้าประจำการในฤดูหนาวที่ ฟัลเมาท์ รัฐเวอร์จิเนีย^{[ 11 ]}

ในช่วงกลางเดือนมิถุนายน พ.ศ. 2406 กองทัพที่ IX ได้รับมอบหมายให้ไปประจำการในกองทัพแห่งเทนเนสซีเกอร์ฮาร์ดต์บัญชาการกองทหารอาสาสมัครนิวยอร์กที่ 46 ในการล้อมเมืองวิกส์เบิร์ก (ซึ่งใกล้จะสิ้นสุดลงแล้ว) และในการรบที่แจ็กสันหน่วยนี้มีส่วนร่วมในการยึดเมืองแจ็กสัน รัฐมิสซิสซิปปีเมื่อวันที่ 17 กรกฎาคม กองทัพที่ IX ถูกโอนไปยังกองทัพแห่งโอไฮโอในช่วงปลายเดือนกรกฎาคม และเกอร์ฮาร์ดต์ได้ย้ายกองทหารของเขาไปยังกองบัญชาการกองทัพที่น็อกซ์วิลล์ รัฐเทนเนสซี กองทัพ นี้มีส่วนร่วมในยุทธการบลูสปริงส์เมื่อวันที่ 10 ตุลาคม พ.ศ. 2406 ในเคาน์ตีกรีน รัฐเทนเนสซี [ ^{11 ] เขา}ได้รับการปลดประจำการอย่างมีเกียรติจากกองทหารอาสาสมัครเนื่องจากความพิการที่ไม่ระบุสาเหตุเมื่อวันที่ 8 พฤศจิกายน พ.ศ. 2406 ^{[ 10 ] [ 16 ]}

เกอร์ฮาร์ดต์ซึ่งเป็นเพื่อนของประธานาธิบดีลินคอล์น ได้เข้าร่วมการประชุมใหญ่พรรครีพับลิกันอีกครั้งในปี พ.ศ. 2407 ในฐานะผู้แทนของลินคอล์น^{[ 8 ]}เมื่อวันที่ 23 กรกฎาคม พ.ศ. 2409 เกอร์ฮาร์ดต์ได้รับการเลื่อนยศเป็นพลตรี มีผลตั้งแต่วันที่ 13 มีนาคม พ.ศ. 2408 ^{[ 10 ] [ 17 ]}

หลังสงคราม เกอร์ฮาร์ดกลับไปอาศัยอยู่ในเขตโคลัมเบีย ที่นั่นเขาได้เปิดร้านอาหาร^{[ 8 ] [ 18 ]}และยังคงมีบทบาทในทางการเมืองของพรรครีพับลิกันในท้องถิ่น^{[ 19 ]}รวมถึงกลุ่มชุมชนชาวเยอรมัน (เช่น Washington Schuetzen Verein) ^{[ 20 ]}ในปี พ.ศ. 2410 เขาได้นั่งเป็นคณะลูกขุนในการพิจารณาคดีของจอห์น ซูแรตต์ซึ่งถูกกล่าวหาว่าสมคบคิดกับจอห์น วิลค์ส บูธเพื่อลอบสังหารประธานาธิบดีลินคอล์น^{[ 21 ]}

ในปี พ.ศ. 2420 เกอร์ฮาร์ดได้รับตำแหน่งเสมียนใน กระทรวง มหาดไทยของสหรัฐอเมริกา^{[ 1 ] [ 3 ]}เขาใช้เวลาส่วนใหญ่หลังสงครามด้วยสุขภาพที่ไม่ดีเนื่องจากการรับราชการในช่วงสงคราม^{[ 8 ]}ในปี พ.ศ. 2423 สุขภาพของเขาแย่ลงมากจนเขาต้องลาออกจากงานที่กระทรวงมหาดไทยและขายกิจการร้านอาหารของเขา^{[ 22 ]}

โจเซฟ เกอร์ฮาร์ดต์ เสียชีวิตด้วยสาเหตุที่ไม่ระบุแน่ชัดที่บ้านของเขาในวอชิงตัน ดี.ซี. เมื่อวันที่ 19 สิงหาคม พ.ศ. 2324 เขามีภรรยาและลูกเจ็ดคน^{[ 3 ]}วงWashington Saengerbundได้ร้องเพลงในงานศพของเขา^{[ 23 ] [ 24 ]}เขาถูกฝังที่สุสาน Prospect Hillในวอชิงตัน ดี.ซี. ^{[ 24 ]}และหน่วยปืนใหญ่ของกองกำลังรักษาดินแดนแห่งเขตโคลัมเบียได้ยิงสลุต 11 นัดเหนือหลุมศพของเขา^{[ 23 ]}

ลูกชายของพลตรีเกอร์ฮาร์ดต์คือโจ เกอร์ฮาร์ดต์ซึ่งเป็นหนึ่งในผู้เล่นเบสสองที่ดีที่สุดในยุคของเขาในเมเจอร์ลีกเบสบอล^{[ 25 ]}