ฟังก์ชันเอนโทรปีไบนารี

ในทฤษฎีสารสนเทศฟังก์ชันเอนโทรปีไบนารีซึ่งแทนด้วยหรือถูกกำหนดให้เป็นเอนโทรปีของกระบวนการเบอร์นูลลี ( ตัวแปรไบนารีอิสระ และมีการกระจายเหมือนกัน ) ที่มีความน่าจะเป็นของค่าใดค่าหนึ่งจากสองค่า และกำหนดโดยสูตร: ${\displaystyle \operatorname {H} (p)}$${\displaystyle \operatorname {H} _{\text{b}}(p)}$${\displaystyle X}$${\displaystyle p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p).}$

ฐานของลอการิทึมสอดคล้องกับการเลือกหน่วยของข้อมูลฐานe ( ลอการิทึมธรรมชาติ ) สอดคล้องกับหน่วย natsและสะดวกในทางคณิตศาสตร์ ในขณะที่ฐาน 2 ( ลอการิทึมไบนารี ) สอดคล้องกับหน่วย shannonsและเป็นไปตามธรรมเนียม (ดังแสดงในกราฟ) กล่าวคือ:

${\displaystyle \operatorname {H} (X)=-p\log _{2}p-(1-p)\log _{2}(1-p).}$

โปรดทราบว่าค่าที่ 0 และ 1 ได้มาจากค่าลิมิต(ตามกฎของ L'Hôpital ) และคำว่า "ไบนารี" หมายถึงค่าที่เป็นไปได้สองค่าสำหรับตัวแปร ไม่ใช่หน่วยของข้อมูล ${\displaystyle \textstyle 0\log 0:=\lim _{x\to 0^{+}}x\log x=0}$

เมื่อฟังก์ชันเอนโทรปีไบนารีจะมีค่าสูงสุดที่ 1 แชนนอน (1 หน่วยข้อมูลไบนารี) ซึ่งเป็นกรณีของการโยนเหรียญที่ไม่เอนเอียงเมื่อหรือเอนโทรปีไบนารีจะมีค่าเป็น 0 (โดยไม่คำนึงถึงหน่วย) ซึ่งสอดคล้องกับไม่มีข้อมูล เนื่องจากไม่มีความไม่แน่นอนในตัวแปร ${\displaystyle p=1/2}$${\displaystyle p=0}$${\displaystyle p=1}$

เอนโทรปีไบนารีเป็นกรณีพิเศษของฟังก์ชันเอนโทรปีซึ่งแตกต่างจากฟังก์ชันเอนโทรปี ทั่วไป ตรงที่เอนโทรปีไบนารีใช้จำนวนจริงตัวเดียวเป็นพารามิเตอร์ในขณะที่ฟังก์ชันเอนโทรปีทั่วไปใช้การแจกแจงหรือตัวแปรสุ่มเป็นพารามิเตอร์ ดังนั้น เอนโทรปีไบนารี (ของp ) จึงเป็นเอนโทรปีของการแจกแจงเฉพาะนั้น ดังนั้น${\displaystyle \operatorname {H} _{\mathrm {b} }(p)}$${\displaystyle \คณิตศาสตร์ {H} (X)}$${\displaystyle \operatorname {H} _{\mathrm {b} }(p)}$${\displaystyle \คณิตศาสตร์ {H} (X)}$${\displaystyle X\sim \operatorname {Ber} (p)}$${\displaystyle \operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}}$

เมื่อเขียนความน่าจะเป็นของค่าทั้งสองค่าเป็นpและqดังนั้นและซึ่งจะสอดคล้องกับ ${\displaystyle p+q=1}$${\displaystyle q=1-p}$

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log pq\log q=-\sum _{x\in X}\operatorname {Pr} (X=x)\cdot \log \operatorname {Pr} (X=x)=\mathrm {H} {\bigl (}\operatorname {Ber} (p){\bigr )}.}$

บางครั้งฟังก์ชันเอนโทรปีไบนารีก็เขียนเป็น เช่นกันอย่างไรก็ตาม มันแตกต่างจาก และไม่ควรสับสนกับเอนโทรปีเรนยีซึ่งเขียนแทนด้วย เช่นกัน ${\displaystyle \operatorname {H} _{2}(p)}$${\displaystyle \mathrm {H} _{2}(X)}$

ในแง่ของทฤษฎีสารสนเทศเอนโทรปีถือเป็นมาตรวัดความไม่แน่นอนในข้อความ อธิบายให้เข้าใจง่ายๆ สมมติว่าความน่าจะเป็น = 0 เหตุการณ์นั้นจะไม่เกิดขึ้นอย่างแน่นอน ดังนั้นจึงไม่มีความไม่แน่นอนเลย ส่งผลให้เอนโทรปีเป็น 0 ถ้า = 0 ผลลัพธ์ก็แน่นอนเช่นกัน ดังนั้นเอนโทรปีจึงเป็น 0 เมื่อ = 0 ความไม่แน่นอนจะสูงสุด หากเราวางเดิมพันอย่างยุติธรรมกับผลลัพธ์ในกรณีนี้ จะไม่มีข้อได้เปรียบใดๆ ที่ได้รับจากการรู้ความน่าจะเป็นล่วงหน้า ในกรณีนี้ เอนโทรปีจะมีค่าสูงสุดที่ 1 บิต ค่ากลางจะอยู่ระหว่างกรณีเหล่านี้ ตัวอย่างเช่น ถ้า = 0 ยังคงมีความไม่แน่นอนเกี่ยวกับผลลัพธ์อยู่ แต่เรายังสามารถทำนายผลลัพธ์ได้อย่างถูกต้องบ่อยกว่าผิด ดังนั้นมาตรวัดความไม่แน่นอนหรือเอนโทรปีจึงน้อยกว่า 1 บิตเต็ม ${\displaystyle p=0}$${\displaystyle p=1}$${\displaystyle p=1/2}$${\displaystyle p=1/4}$

อนุพันธ์ของฟังก์ชันเอนโทรปีไบนารีสามารถแสดงได้ในรูปของค่าลบของ ฟังก์ชัน โลจิต :

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{a}(p)=-\log _{a}\left({\frac {p}{1-p}}\right)}$.

${\displaystyle {d^{2} \over dp^{2}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln a}}\,,}$

โดยที่aแทนฐานของลอการิทึมที่กำหนดให้

คอนจูเกตแบบนูน (โดยเฉพาะการแปลงเลอจองเดอร์ ) ของเอนโทรปีไบนารี (ฐานe ) คือ ฟังก์ชัน ซอฟต์พลัส เชิงลบ ทั้งนี้เพราะ (ตามนิยามของการแปลงเลอจองเดอร์: อนุพันธ์เป็นฟังก์ชันผกผัน) อนุพันธ์ของเอนโทรปีไบนารีเชิงลบคือโลจิต ซึ่งฟังก์ชันผกผันของมันคือฟังก์ชันโลจิสติกซึ่งเป็นอนุพันธ์ของซอฟต์พลัส

Softplus สามารถตีความได้ว่าเป็นการสูญเสียแบบโลจิสติกดังนั้นโดยหลักการทวิภาวะการลดการสูญเสียแบบโลจิสติกให้เหลือน้อยที่สุดจึงสอดคล้องกับการเพิ่มเอนโทรปีให้สูงสุด ซึ่งเป็นการยืนยันหลักการของการเพิ่มเอนโทรปีให้สูงสุดในฐานะการลดการสูญเสียให้เหลือน้อย ที่สุด

อนุกรมเทย์เลอร์ของฟังก์ชันเอนโทรปีไบนารีที่ 1/2 คือ

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$

ซึ่งลู่เข้าสู่ฟังก์ชันเอนโทรปีไบนารีสำหรับทุกค่า ${\displaystyle 0\leq p\leq 1}$

ขอบเขตต่อไปนี้เป็นจริงสำหรับ: ^{[ 1 ]}${\displaystyle 0<p<1}$

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq H_{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$

และ

${\displaystyle 4p(1-p)\leq H_{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$

โดยที่หมายถึงลอการิทึมธรรมชาติ ${\displaystyle \ln }$

• เอนโทรปีเมตริก
• ทฤษฎีสารสนเทศ
• เอนโทรปีของข้อมูล
• ปริมาณข้อมูล

• แม็กเคย์, เดวิด เจซีทฤษฎีสารสนเทศ การอนุมาน และอัลกอริธึมการเรียนรู้เคมบริดจ์: สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์, 2003. ISBN 0-521-64298-1