กองพลยานเกราะเอสเอสที่ 2 ก่อตั้งขึ้นเพื่อรับคำสั่งกองพลเอสเอส "Leibstandarte SS Adolf Hitler" , กองพลเอสเอส "Das Reich"และกองพลเอสเอส "Totenkopf" ในเดือนกรกฎาคม พ.ศ. 2485 ในชื่อกองพลยานเกราะเอสเอส ในเดือนสิงหาคม กองพลนี้ถูกส่งไปยังทางเหนือของฝรั่งเศสก่อนที่จะเข้าร่วมในปฏิบัติการแอนตันการยึดครองฝรั่งเศสวิชีในเดือนพฤศจิกายน ซึ่งกองพลนี้ได้ยึดเมืองตูลงในต้นเดือนกุมภาพันธ์ พ.ศ. 2486 กองพลนี้ภายใต้การบัญชาการของเอสเอส- โอเบอร์กรุปเพนฟือเรอร์ พอล เฮาเซอร์ถูกส่งไปประจำการในกลุ่มกองทัพภาคใต้ในยูเครนและเข้าร่วมใน ยุทธการคาร์คอ ฟครั้งที่ 3 ^{[ 1 ]}

กองทัพได้รับการเปลี่ยนชื่อเป็นกองทัพยานเกราะเอสเอสที่ 2 ในเดือนมิถุนายน พ.ศ. 2486 ^{[ 1 ]}หลังจากที่กองทัพยานเกราะเอสเอสที่ 1ถูกสร้างขึ้นในเดือนเดียวกันนั้น ในเดือนกรกฎาคม พ.ศ. 2486 กองทัพได้เข้าร่วมในปฏิบัติการ Citadel ที่ล้มเหลว โดยเป็นหัวหอกในการโจมตีของกองทัพยานเกราะที่ 4 ในภาคใต้ กองพลเอสเอสทั้งสามของกองทัพมีส่วนร่วมใน ยุทธการที่ Prokhorovkaบริเวณขอบของการรุกของเยอรมันเข้าสู่แนวรบ หลังจากที่ปฏิบัติการถูกยกเลิกเนื่องจากความล้มเหลว กองทัพได้รับคำสั่งให้ไปยังแนวรบอิตาลีในเดือนสิงหาคม^{[ 1 ]}มีเพียงกองพลเดียวคือLeibstandarte เท่านั้น ที่ถูกย้ายไปพร้อมกับบุคลากรของกองทัพ โดยเข้าร่วมในปฏิบัติการปลดอาวุธทหารอิตาลี กองพลรบที่เหลือยังคงอยู่ที่แนวรบด้านตะวันออกเพื่อรับมือกับภัยคุกคามที่กำลังพัฒนาจากปฏิบัติการรุก Belgorod–Kharkovของ โซเวียต

ระหว่างวันที่ 20 กันยายนถึง 20 พฤศจิกายน พ.ศ. 2486 กองทัพได้ดำเนินการต่อต้านกองกำลังพลพรรคยูโกสลาเวียเพื่อสร้างการเชื่อมต่อกับกองทัพกลุ่ม Fในคาบสมุทรบอลข่านและเพื่อรักษาการสื่อสารไปทางตะวันออกและเหนือจากเมืองตรีเอสเตและริเยกาในการปฏิบัติการเหล่านี้ ตามรายงานของแผนกแพทย์ของกองบัญชาการกองทัพ กองทัพสูญเสียกำลังพลไปทั้งหมด 936 นาย^{[ 2 ]}ตามที่ผู้เขียนชาวโครเอเชียระบุ ในช่วงแรกของการปฏิบัติการต่อต้านกองกำลังพลพรรคบนคาบสมุทรอิสเตรีย ( Unternehmen Istrien ) กองกำลังเยอรมันได้สังหารกองกำลังพลพรรคและพลเรือนประมาณ 2,000 คน และจับกุมอีก 1,200 คน โดยประมาณ 400 คนถูกส่งไปยังค่ายกักกัน^{[ 3 ]}ในเดือนพฤศจิกายน พ.ศ. 2486 กองทัพไลบ์สแตนดาร์เตได้เดินทางกลับสหภาพโซเวียต โดยกองทัพยังคงอยู่ในสโลวีเนียอิสเตรีย และอิตาลีตอนเหนือ

ในเดือนมกราคม พ.ศ. 2487 กองทัพได้รับคำสั่งให้ไปที่ พื้นที่ อาเลนซงของฝรั่งเศส^{[ 1 ]}เพื่อซ่อมแซม

ในเดือนมีนาคม พ.ศ. 2487 ระหว่างการรุกของโซเวียตในแม่น้ำดนีเปอร์-คาร์พาเทียนในยูเครนกองทัพยานเกราะที่ 1 ทั้งหมด ซึ่งมีกำลังพลกว่า 200,000 นาย ถูกกองทัพแดงล้อมไว้ในวงล้อมคาเมเนตส์-โปโดลสกีการล้อมครั้งนี้ถือเป็นหายนะครั้งใหญ่ที่สุดที่กองทัพเวร์มัคท์ เผชิญนับ ตั้งแต่ยุทธการสตาลินกราดซึ่งจะนำไปสู่การล่มสลายของภาคใต้ทั้งหมดของแนวรบด้านตะวันออก^{[ 4 ]}เมื่อเผชิญกับสถานการณ์ที่อาจเกิดสตาลินกราดครั้งใหม่ก่อนที่การบุกฝรั่งเศสของฝ่ายสัมพันธมิตรจะเริ่มต้นขึ้น อด อล์ ฟ ฮิตเลอร์จึงจำต้องยอมทำตาม ข้อเรียกร้องของ จอมพลเอริช ฟอน มันสไตน์ที่ต้องการกำลังเสริมจำนวนมากเพื่อปลดการปิดล้อมกองทัพยานเกราะที่ 1 ในฐานะกำลังเสริม เขาได้ส่งกองพลยานเกราะเอสเอสที่ 2 ทั้งหมด (พร้อมด้วย กองพลยานเกราะเอสเอส ที่ 9และ10 ) จากฝรั่งเศสในเดือนเมษายน พ.ศ. 2487 รวมถึงกองพลจากสมรภูมิบอลข่านด้วย^{[ 5 ]}เรียกกลุ่มนี้ว่า "กลุ่มโจมตีของเฮาเซอร์" โดยมีเฮาเซอร์เป็นผู้บัญชาการ^{[ 6 ]}

นี่เป็นการเคลื่อนย้ายกำลังพลครั้งใหญ่ครั้งแรกจากฝรั่งเศสไปยังตะวันออกนับตั้งแต่มีการออกคำสั่งฟือเรอร์ที่ 51ซึ่งไม่อนุญาตให้มีการเคลื่อนย้ายกำลังพลจากตะวันตกไปยังตะวันออกอีกต่อไป^{[ 7 ]}กองพลนี้มีบทบาทสำคัญในการปลดปิดล้อมกองทัพยานเกราะที่ 1 ที่ถูกล้อมอยู่ในวงล้อมคาเมเนตส์-โปโดลสกี หลังจากช่วยเหลือส่วนใหญ่ของกองทัพยานเกราะที่ 1 แล้ว กองพลนี้ได้เข้าร่วมในความพยายามที่จะปลดปิดล้อมกองกำลังเยอรมันที่ถูกล้อมของกองทัพยานเกราะที่ 4 ในเมืองทาร์โนโพล ซึ่ง ฮิตเลอร์ประกาศให้เป็นป้อมปราการ ( Festung ) ^{[ 8 ]}อย่างไรก็ตามกองทัพแดงได้เตรียมการป้องกันไว้ที่นั่น และปฏิบัติการช่วยเหลือก็ล้มเหลวในที่สุด หลังจากนั้น กองพลนี้ถูกย้ายไปอยู่ในกองกำลังสำรองของกลุ่มกองทัพยูเครนเหนือ ที่จัดตั้งขึ้น ใหม่

ในช่วงกลางเดือนมิถุนายน พ.ศ. 2487 กองทัพได้รับคำสั่งให้กลับไปทางตะวันตกเพื่อเข้าร่วมในการรบที่นอร์มังดีโดยเดินทางมาถึงแนวรบในปลายเดือนมิถุนายน พ.ศ. 2487 ^{[ 9 ]}

กองทัพน้อยนี้ได้เข้าร่วมการสู้รบอย่างหนักกับกองทัพที่ 21 ของอังกฤษ ในยุทธการที่เมืองแคนในช่วงเวลานั้น เอสเอส- โอเบอร์กรุปเพนฟือเรอร์วิลเฮล์ม บิตทริชได้รับแต่งตั้งให้เป็นผู้บัญชาการกองทัพน้อย ในเดือนสิงหาคม พ.ศ. 2487 กองทัพน้อยนี้ได้เข้าร่วมการสู้รบในและรอบๆ บริเวณฟาเลส์พ็อก เก็ ต จากนั้นกองทัพน้อยนี้ก็ถอยทัพข้ามฝรั่งเศส ในวันที่ 17 กันยายน พ.ศ. 2487 ฝ่ายสัมพันธมิตรได้เปิดปฏิบัติการมาร์เก็ตการ์เดนซึ่งเป็นการโจมตีทางอากาศเพื่อยึดสะพานไรน์ที่เมืองอาร์นเฮมกองทัพน้อยนี้ได้เข้าร่วมการต่อสู้กับกองพลทหารอากาศที่ 1 ของอังกฤษ ในยุทธการที่อาร์นเฮม และยังต่อสู้กับ กองพลทหารอากาศที่ 82ของสหรัฐฯและกองทัพน้อยที่ 30 ของอังกฤษ ใน เมือง ไนจ์เมเกนกองทัพน้อยนี้ประสบความสูญเสียอย่างหนักในการโจมตีตอบโต้ในช่วงต้นเดือนตุลาคมต่อแนวรุกของฝ่ายสัมพันธมิตรบนเกาะ

เพื่อเตรียมพร้อมสำหรับการรุกในอาร์เดนส์กองทัพน้อยนี้ถูกจัดให้อยู่ในกองกำลังสำรองของกองทัพยานเกราะที่ 6และส่งเข้าปฏิบัติการเมื่อวันที่ 21 ธันวาคม 1944 ใกล้กับเมืองแซงต์-วิธหลังจากปฏิบัติการโจมตีทางเหนือหยุดชะงัก กองทัพน้อยนี้จึงถูกย้ายไปทางใต้เพื่อเข้าร่วมในการโจมตีเมืองบาสโตญกองพลต่างๆ ของกองทัพน้อยนี้ประสบความสูญเสียอย่างหนักในการสู้รบกับกองพลทหารอากาศที่ 82 และ 101 ของสหรัฐฯ หลังจากปฏิบัติการล้มเหลว กองทัพน้อยนี้จึงกลับไปตั้งรับ และได้เข้าร่วมการสู้รบกับกองกำลังสหรัฐฯ ในภูมิภาคไอเฟล

ในเดือนกุมภาพันธ์ ค.ศ. 1945 กองทัพได้รับคำสั่งให้ไปฮังการีเพื่อเข้าร่วมในการโจมตีเพื่อยึดบูดาเปสต์และแหล่งน้ำมันของฮังการีคืน กองทัพได้เข้าร่วมในปฏิบัติการ Spring Awakeningซึ่งเริ่มขึ้นใกล้ทะเลสาบบาลาตอนในวันที่ 6 มีนาคม ค.ศ. 1945 หลังจากการโจมตีล้มเหลว กองทัพได้ถอยทัพพร้อมกับกองพลยานเกราะ SS ที่ 1 และที่ 4 มุ่ง หน้าไปยังเวียนนาหลังจากกองกำลังโซเวียตยึดเมืองได้ หน่วยย่อยบางหน่วยพยายามฝ่าวงล้อมออกไปทางทิศตะวันตก กองทัพบางส่วนยอมจำนนต่อกองทัพสหรัฐฯในวันที่ 8 พฤษภาคม ค.ศ. 1945