โดยปกติแล้ว คอมพิวเตอร์จะทำงานโดยผ่านการควบคุมของคน บุคคลนั้นจะสร้างคำสั่งต่างๆ ให้กับคอมพิวเตอร์โดยใช้เมาส์หรือแป้นพิมพ์อย่างไรก็ตาม เทคโนโลยีและนวัตกรรมคอมพิวเตอร์ล่าสุดอาจทำให้คอมพิวเตอร์ไม่เพียงแต่ตรวจจับภาษากาย ได้เท่านั้น แต่ยังสามารถตอบสนองต่อภาษากายได้ด้วย มีการทดลองอุปกรณ์สมัยใหม่ที่อาจทำให้คอมพิวเตอร์สามารถ ตอบสนองและเข้าใจท่าทางมือ การเคลื่อนไหวเฉพาะ หรือการแสดงออกทางสีหน้าของแต่ละบุคคลได้

ในส่วนที่เกี่ยวข้องกับคอมพิวเตอร์และภาษากาย มีการวิจัยที่ใช้คณิตศาสตร์ในการสอนคอมพิวเตอร์ให้ตีความการเคลื่อนไหว ท่าทางมือ และแม้กระทั่งการแสดงออกทางสีหน้าของมนุษย์ ซึ่งแตกต่างจากวิธีการสื่อสารกับคอมพิวเตอร์โดยทั่วไปของมนุษย์ เช่น การคลิกเมาส์ แป้นพิมพ์ หรือการสัมผัสทางกายภาพ ใดๆ ระหว่างผู้ใช้กับคอมพิวเตอร์

งานวิจัยประเภทนี้กำลังดำเนินการโดยกลุ่มนักวิจัยชาวยุโรปและนักวิทยาศาสตร์อื่นๆ อีกด้วย นอกจากนี้ยังมีโครงการที่ชื่อว่าMIAUCE (Multimodal interactions analysis and exploration of users within a Controlled Environment) ซึ่งมีนักวิทยาศาสตร์ทำงานเพื่อทำให้ความก้าวหน้าทางเทคโนโลยีคอมพิวเตอร์ รูปแบบใหม่นี้ เป็นจริงขึ้นมาชาบาเน เจราบาผู้ประสานงานโครงการกล่าวว่า "แรงจูงใจของโครงการนี้คือการนำมนุษย์เข้ามามีส่วนร่วมในการปฏิสัมพันธ์ระหว่างคอมพิวเตอร์กับสภาพแวดล้อม"

นักวิจัยและนักวิทยาศาสตร์กำลังพยายามใช้ความคิดสร้างสรรค์และแนวคิดของพวกเขาในรูปแบบที่จะช่วยให้พวกเขาสามารถประยุกต์ใช้อุปกรณ์เทคโนโลยีสมัยใหม่เหล่านี้กับความต้องการในชีวิตประจำวันของธุรกิจและสถานที่ต่างๆ ที่ผู้คนไปเยือน เช่น ห้างสรรพสินค้าหรือสนามบิน ผู้ประสานงานโครงการ MIAUCE กล่าวว่า "เราต้องการมีรูปแบบของปัญญาประดิษฐ์แบบรอบด้านที่คอมพิวเตอร์ถูกซ่อนไว้อย่างสมบูรณ์...นั่นหมายถึงอินเทอร์เฟซแบบหลายรูปแบบเพื่อให้ผู้คนสามารถโต้ตอบกับสภาพแวดล้อมของพวกเขาได้ คอมพิวเตอร์จะสังเกตพฤติกรรมของพวกเขาแล้วดึงข้อมูลที่เป็นประโยชน์สำหรับผู้ใช้" กลุ่มวิจัยเฉพาะกลุ่มนี้ได้พัฒนารูปแบบจำลองเทคโนโลยีคอมพิวเตอร์ในชีวิตจริงหลายแบบที่จะใช้ภาษากายเป็นวิธีการสื่อสารและวิธีการทำงาน

• การรับรู้ทางอารมณ์
• ระบบจดจำใบหน้า
• ระบบการเข้ารหัสการแสดงออกทางสีหน้า
• การแปลภาษามือด้วยเครื่องจักร
• การประมาณท่าทาง 3 มิติ

• คอมพิวเตอร์ตรวจจับภาษากาย
• ปัญญาประดิษฐ์
• จอห์น แมคคาร์ธี
• สาขาย่อยของวิทยาการคอมพิวเตอร์
• แหล่งข้อมูลปัญญาประดิษฐ์ออนไลน์
• คอมพิวเตอร์และท่าทาง
• คณิตศาสตร์และวิทยาการคอมพิวเตอร์
• https://web.archive.org/web/20110717201127/http://www.faculty.iu-bremen.de/llinsen/publications/theses/Alen_Stojanov_Guided_Research_Report.pdf
• http://www.physorg.com/news/2010-11-human-computer-music-links-musical-gestures.html
• Tecce, J (1998). "การควบคุมการทำงานของคอมพิวเตอร์ด้วยการเคลื่อนไหวของดวงตา"วารสารจิตสรีรวิทยาระหว่างประเทศ 29 ( 3): 319– 325. doi : 10.1016/S0167-8760(98)00020-8 . PMID  9666385 .