ในเดือนพฤษภาคม ค.ศ. 1781 นายพลคอร์นวอลลิสตั้งใจแน่วแน่ที่จะทำลายกองทัพเวอร์จิเนีย จึงส่งพันโทซิมโคและกองกำลังเรนเจอร์ไปยึดพอยต์ออฟฟอร์ก ควบคู่ไปกับความพยายามนี้ คือกองกำลังทหารม้าภายใต้ การนำของ พันเอกทาร์เลตันที่พยายามปล้นสะดมสภานิติบัญญัติแห่งเวอร์จิเนีย จับกุมผู้ว่าการโทมัส เจฟเฟอร์สันและเผาทำลายคลังสินค้าหรือแหล่งเก็บเสบียงใดๆ ที่มาร์กีส์ เดอ ลาฟาแยตและกองทัพของเขาอาจใช้ในการไล่ล่าคอร์นวอลลิส

เมื่อซิมโคมาถึงคลังอาวุธ เขาคาดว่าจะโจมตีทหารอเมริกันอย่างไม่ทันตั้งตัวและยึดคลังอาวุธได้ ฟอน สเตอเบน เชื่อว่ากองกำลังของซิมโคเป็นสัญญาณว่ากองทัพอังกฤษทั้งหมดภายใต้การนำของคอร์นวอลลิสอยู่ใกล้ๆ จึงละทิ้งคลังอาวุธพอยต์ออฟฟอร์ก ปล่อยให้กองกำลังอังกฤษจัดการต่อขณะที่พวกเขามุ่งหน้าไปยังชาร์ลอตต์สวิลล์และผู้ว่าการเจฟเฟอร์สัน

หลังจากล้มเหลวในภารกิจจับกุมเจฟเฟอร์สันและสภานิติบัญญัติเวอร์จิเนีย ทาร์เลตันได้ "ทำลายปืนคาบศิลาใหม่ 1,000 กระบอก ดินปืน 400 ถัง ยาสูบหลายถัง และเสื้อผ้าทหารจำนวนหนึ่ง" ^{[ 5 ]}กลับไปยังพอยต์ออฟฟอร์กที่เอลก์สฮิลล์ซึ่งเป็นไร่ของเจฟเฟอร์สัน และทำลายเสบียงและสินค้าทั้งหมด แม้กระทั่งเชือดคอม้าในไร่ด้วย

ฟอน สเตอเบน ถูกตำหนิอย่างหนักในเรื่องการละทิ้งคลังอาวุธที่พอยต์ออฟฟอร์ก จนถึงขั้นที่สภานิติบัญญัติแห่งเวอร์จิเนียสั่งให้มีการสอบสวนพฤติกรรมของฟอน สเตอเบน ฟอน สเตอเบน ยืนกรานว่าเสบียงและกำลังพลไม่เป็นไปตามที่สภานิติบัญญัติกำหนด และด้วยสภาพการเตรียมการอย่างเร่งรีบ การมาถึงอย่างกะทันหันของคอร์นวอลลิส และความเชื่อของเขาที่ว่ากองทัพอังกฤษทั้งหมดอยู่ใกล้ๆ ฟอน สเตอเบนจึงระบายความคับข้องใจออกมาว่า "ชาวนาทุกคนเป็นนายพลได้...แต่ไม่มีใครอยากเป็นทหาร"

การกระทำที่โดดเด่นของกรมทหารเวอร์จิเนียที่ 5 ในระหว่างการรบเวอร์จิเนียในปี 1781 ถือเป็นการสนับสนุน von Steuben แม้จะขาดแคลนเสื้อผ้า ปืนคาบศิลา ดาบปลายปืน/ส้อม และอุปกรณ์อื่นๆ ก็ตาม ถึงกระนั้น กรมทหารเวอร์จิเนียที่ 5 ก็ยังรุกคืบเข้ามาใกล้แนวรบของอังกฤษที่ยอร์กทาวน์ได้ในระยะ 350 หลา ก่อนที่คอร์นวอลลิสจะยอมจำนนในวันที่ 19 ตุลาคม 1781 ^{[ 6 ]}