กองทัพที่ 5 ของญี่ปุ่น ซึ่งในขณะนั้นรู้จักกันในชื่อกองทัพแม่น้ำยาลู ก่อตั้งขึ้นครั้งแรกเมื่อวันที่ 15 มกราคม พ.ศ. 2448 ในช่วงสุดท้ายของสงครามรัสเซีย-ญี่ปุ่นภายใต้การบัญชาการของพลเอกคาวามูระ คาเงอากิ โดยประกอบด้วย กองพลทหารราบที่ 11เพียง กองพลน้อย และกองพลน้อยสำรองอีก 3 กองพล^{[ 2 ]} กองทัพที่ 5 ประสบความสำเร็จในการรบที่มุกเดนเมื่อกองทัพที่ 5 โอบล้อมปีกซ้ายของรัสเซีย กองทัพที่ 5 ถูกยุบที่มุกเดนในเดือนมกราคม พ.ศ. 2449 หลังจากการลงนามในสนธิสัญญาพอร์ตสมัธเมื่อสิ้นสุดสงคราม

กองทัพที่ 5 ของญี่ปุ่นถูกจัดตั้งขึ้นใหม่อีกครั้งในวันที่ 7 ธันวาคม 1937 ในแมนจูเรีย เพื่อเป็นกอง กำลังรักษาการณ์ ป้องกันชายแดนด้านตะวันออกจากการรุกรานของกองทัพแดงโซเวียต เนื่องจากตั้งอยู่ตามแนวชายแดนด้านตะวันออก จึงไม่ได้มีส่วนร่วมในเหตุการณ์โนมอนฮันแต่ถูกยุบชั่วคราวในวันที่ 26 กุมภาพันธ์ 1938 ต่อมาได้จัดตั้งขึ้นใหม่ในวันที่ 19 พฤษภาคม 1939 ภายใต้การควบคุมโดยตรงของกองบัญชาการทหารสูงสุดแห่งจักรวรรดิญี่ปุ่นหลังจากนั้น กองทัพที่ 5 อยู่ภายใต้การบังคับบัญชาของกองทัพภาคที่ 1 ของญี่ปุ่นภายใต้การบังคับบัญชาโดยรวมของกองทัพควันตงและถูกใช้เป็นหลักในการฝึกและรักษาการณ์ อุปกรณ์และกำลังพลที่มีประสบการณ์ถูกโอนไปยังหน่วยบัญชาการอื่น ๆ ใน เขตปฏิบัติการ เอเชียตะวันออกเฉียงใต้เนื่องจากสถานการณ์สงครามของญี่ปุ่นค่อย ๆ เลวร้ายลง เมื่อถึงเวลาที่สหภาพโซเวียตบุกแมนจูเรียกองกำลังที่ขาดแคลนอุปกรณ์และการฝึกฝนนั้นไม่สามารถต่อสู้กับกองพลยาน เกราะโซเวียตที่มีประสบการณ์และผ่านการรบมาอย่างโชกโชนได้อีกต่อ ไป และถูกผลักดันถอยกลับไปยังตำแหน่งป้องกันในจังหวัดอันดงตามแนวชายแดนเกาหลีเมื่อถึงเวลาที่ญี่ปุ่นยอมจำนน กอง กำลังนี้ถูกยุบอย่างเป็นทางการที่จีซี