โปรโตคอลการเข้ารหัสลับ เป็น โปรโตคอลนามธรรมหรือรูปธรรมที่ทำ หน้าที่เกี่ยวกับ ความปลอดภัยและใช้วิธีการเข้ารหัสลับ ซึ่งมักจะเป็นลำดับของ ฟังก์ชันการเข้ารหัสลับโปรโตคอลจะอธิบายวิธีการใช้อัลกอริธึมและรวมถึงรายละเอียดเกี่ยวกับโครงสร้างข้อมูลและการแสดงผล ซึ่งในจุดนี้สามารถนำไปใช้ในการสร้างโปรแกรมหลายเวอร์ชันที่ทำงานร่วมกันได้^{[ 1 ]}

โปรโตคอลการเข้ารหัสถูกนำมาใช้กันอย่างแพร่หลายเพื่อการส่งข้อมูลระดับแอปพลิเคชันอย่างปลอดภัย โดยปกติแล้วโปรโตคอลการเข้ารหัสจะประกอบด้วยอย่างน้อยบางส่วนขององค์ประกอบเหล่านี้:

• ข้อตกลงสำคัญหรือการจัดตั้ง
• การตรวจสอบความถูกต้องของเอนทิตีอาจใช้โปรโตคอลการตรวจสอบความถูกต้อง
• การสร้างวัสดุคีย์สำหรับการเข้ารหัสแบบสมมาตรและการตรวจสอบความถูกต้องของข้อความ
• การขนส่งข้อมูลระดับแอปพลิเคชันที่ปลอดภัย
• วิธีการไม่ปฏิเสธความรับผิดชอบ
• วิธีการแบ่งปันความลับ
• การคำนวณแบบหลายฝ่ายที่ปลอดภัย

ตัวอย่างเช่นTransport Layer Security (TLS) เป็นโปรโตคอลการเข้ารหัสลับที่ใช้ในการรักษาความปลอดภัยการเชื่อมต่อ เว็บ ( HTTPS ) ^{[ 2 ]}ประกอบด้วยกลไกการตรวจสอบความถูกต้องของเอนทิตีโดยอิงตาม ระบบ X.509ขั้นตอนการตั้งค่าคีย์ซึ่ง คีย์ การเข้ารหัสแบบสมมาตรจะถูกสร้างขึ้นโดยใช้การเข้ารหัสลับแบบกุญแจสาธารณะ และฟังก์ชันการขนส่งข้อมูลระดับแอปพลิเคชัน ทั้งสามด้านนี้มีความเชื่อมโยงกันที่สำคัญ TLS มาตรฐานไม่มีการสนับสนุนการไม่ปฏิเสธความรับผิดชอบ

นอกจากนี้ยังมีโปรโตคอลการเข้ารหัสประเภทอื่นๆ อีก และแม้แต่คำว่า "โปรโตคอลการเข้ารหัส" เองก็มีความหมายที่หลากหลาย โปรโตคอล แอปพลิ เคชันการเข้ารหัส มักใช้ วิธีการตกลงคีย์พื้นฐานอย่างน้อยหนึ่งวิธีซึ่งบางครั้งก็ถูกเรียกว่า "โปรโตคอลการเข้ารหัส" เช่นกัน ตัวอย่างเช่น TLS ใช้สิ่งที่เรียกว่าการแลกเปลี่ยนคีย์ Diffie–Hellmanซึ่งแม้ว่าจะเป็นเพียงส่วนหนึ่งของ TLS เท่านั้น แต่ Diffie–Hellman อาจถูกมองว่าเป็นโปรโตคอลการเข้ารหัสที่สมบูรณ์ในตัวเองสำหรับแอปพลิเคชันอื่นๆ

โปรโตคอลการเข้ารหัสลับที่หลากหลายนั้นก้าวข้ามเป้าหมายดั้งเดิมของการรักษาความลับของข้อมูล ความสมบูรณ์ และการตรวจสอบสิทธิ์ ไปสู่การรักษาความปลอดภัยคุณลักษณะอื่นๆ ที่ต้องการของการทำงานร่วมกันผ่านคอมพิวเตอร์^{[ 3 ]}ลายเซ็นแบบปิดบังสามารถใช้สำหรับเงินดิจิทัลและข้อมูลประจำตัวดิจิทัลเพื่อพิสูจน์ว่าบุคคลนั้นถือครองคุณลักษณะหรือสิทธิ์โดยไม่ต้องเปิดเผยตัวตนของบุคคลนั้นหรือตัวตนของฝ่ายที่บุคคลนั้นทำธุรกรรมด้วย การประทับเวลาดิจิทัลที่ปลอดภัยสามารถใช้เพื่อพิสูจน์ว่าข้อมูล (แม้จะเป็นความลับ) มีอยู่จริงในเวลาใดเวลาหนึ่ง การคำนวณแบบหลายฝ่ายที่ปลอดภัยสามารถใช้ในการคำนวณคำตอบ (เช่น การกำหนดราคาประมูลสูงสุดในการประมูล) โดยอิงจากข้อมูลที่เป็นความลับ (เช่น ราคาประมูลส่วนตัว) เพื่อให้เมื่อโปรโตคอลเสร็จสมบูรณ์ ผู้เข้าร่วมจะรู้เพียงข้อมูลป้อนเข้าของตนเองและคำตอบเท่านั้นระบบการลงคะแนนเสียงที่ตรวจสอบได้แบบครบวงจรให้ชุดคุณสมบัติความเป็นส่วนตัวและการตรวจสอบที่พึงประสงค์สำหรับการดำเนินการลงคะแนนเสียงทาง อิเล็กทรอนิกส์ ลายเซ็น ที่ไม่สามารถปฏิเสธได้รวมถึงโปรโตคอลแบบโต้ตอบที่อนุญาตให้ผู้ลงนามพิสูจน์การปลอมแปลงและจำกัดผู้ที่สามารถตรวจสอบลายเซ็น ได้ การเข้ารหัสแบบปฏิเสธได้ (Deniable encryption)เสริมการเข้ารหัสแบบมาตรฐานโดยทำให้ผู้โจมตีไม่สามารถพิสูจน์การมีอยู่ของข้อความธรรมดาได้ด้วยวิธีการทางคณิตศาสตร์การผสมผสานข้อมูลดิจิทัล (Digital mixes)สร้างการสื่อสารที่ยากต่อการติดตาม

บางครั้งโปรโตคอลการเข้ารหัสสามารถตรวจสอบได้อย่างเป็นทางการในระดับนามธรรม เมื่อทำเช่นนั้นแล้ว จำเป็นต้องกำหนดสภาพแวดล้อมที่โปรโตคอลทำงานอยู่ให้เป็นทางการเพื่อระบุภัยคุกคาม ซึ่งมักทำผ่านแบบจำลอง Dolev-Yao

ตรรกะ แนวคิด และวิธีการคำนวณที่ใช้สำหรับการให้เหตุผลเชิงรูปแบบของโปรโตคอลด้านความปลอดภัย:

• ตรรกะของเบอร์โรว์ส-อาบาดี-นีแดม (ตรรกะ BAN)
• แบบจำลองโดเลฟ-เหยา
• แคลคูลัส π
• ตรรกะการประกอบโปรโตคอล (PCL)
• พื้นที่เส้นใย^{[ 4 ​​]}

โครงการวิจัยและเครื่องมือที่ใช้ในการตรวจสอบความถูกต้องอย่างเป็นทางการของโปรโตคอลความปลอดภัย:

• การตรวจสอบความถูกต้องอัตโนมัติของโปรโตคอลและแอปพลิเคชันความปลอดภัยทางอินเทอร์เน็ต (AVISPA) และโครงการติดตาม AVANTSSAR ^{[ 5 ] [ 6 ]}
  • ตัวค้นหาการโจมตีตามตรรกะข้อจำกัด (CL-AtSe) ^{[ 7 ]}
  • ตัวตรวจสอบแบบจำลองจุดคงที่แบบโอเพนซอร์ส (OFMC) ^{[ 8 ]}
  • ตัวตรวจสอบแบบจำลองตาม SAT (SATMC) ^{[ 9 ]}
• แคสเปอร์^{[ 10 ]}
• คริปโตเวริฟ
• เครื่องวิเคราะห์รูปร่างโปรโตคอลการเข้ารหัส (CPSA) ^{[ 11 ]}
• ความรู้ในโปรโตคอลความปลอดภัย (KISS) ^{[ 12 ]}
• เครื่องวิเคราะห์โปรโตคอล Maude-NRL (Maude-NPA) ^{[ 13 ]}
• โปรเวริฟ
• สคิเธอร์^{[ 14 ]}
• มะขามพิสูจน์^{[ 15 ]}
• กระรอก^{[ 16 ]}
• StrandsRocq ^{[ 17 ]}

ในการตรวจสอบความถูกต้องของโปรโตคอลอย่างเป็นทางการ มักจะมีการสร้างแบบจำลองและสรุปโดยใช้สัญลักษณ์ของอลิซและบ็อบตัวอย่างง่ายๆ มีดังนี้:

${\displaystyle A\rightarrow B:\{X\}_{K_{A,B}}}$

ข้อความนี้ระบุว่าอลิซ ตั้งใจจะส่งข้อความให้บ็อบโดยข้อความนั้นจะถูกเข้ารหัสด้วยกุญแจร่วมกัน ${\displaystyle A}$${\displaystyle B}$${\displaystyle X}$${\displaystyle K_{A,B}}$

• การแลกเปลี่ยนคีย์อินเทอร์เน็ต
• ไอพีเซค
• เคอร์เบรอส
• การส่งข้อความแบบไม่เป็นทางการ
• โปรโตคอลจุดต่อจุด
• เซฟตี้เชลล์ (SSH)
• โปรโตคอลสัญญาณ
• การรักษาความปลอดภัยระดับการขนส่ง
• ZRTP

• รายชื่อระบบเข้ารหัสลับ
• ช่องทางที่ปลอดภัย
• คลังเก็บโปรโตคอลความปลอดภัยแบบเปิด
• การเปรียบเทียบไลบรารีการเข้ารหัส
• โปรโตคอลการเข้ารหัสควอนตัม

• เออร์โมชินา, เคเซเนีย; มูเซียนี, ฟรานเชสกา; ฮาลปิน, แฮร์รี (กันยายน 2016). "โปรโตคอลการส่งข้อความเข้ารหัสแบบ End-to-End: ภาพรวม" (PDF) . ใน บาญโญลี, ฟรังโก และคณะ (บรรณาธิการ). วิทยาศาสตร์อินเทอร์เน็ต . INSCI 2016. ฟลอเรนซ์, อิตาลี: สปริงเกอร์. หน้า  244–254 . doi : 10.1007/978-3-319-45982-0_22 . ISBN 978-3-319-45982-0.