ในทฤษฎีสารสนเทศและสถิติเอนโทรปีเชิงลบถูกใช้เป็นมาตรวัดระยะห่างจากภาวะปกติเรียกอีกอย่างว่าเนเกนโทรปีหรือซินโทรปีมันเป็นแนวคิดตรงข้ามกับเอนโทรปี

แนวคิดและวลี " เอนโทรปีเชิงลบ " ถูกนำเสนอโดยเออร์วิน ชโรดิงเกอร์ในหนังสือWhat is Life?ใน ปี 1944 ^{[ 1 ]}ต่อมานักฟิสิกส์ชาวฝรั่งเศสเลออน บริลลูแอง ได้ย่อวลีนี้ให้เหลือเพียงnéguentropie ( แปลว่า เอนโทรปีเชิงลบ ) ^{[ 2 ] [ 3 ]}ในปี 1974 อัลเบิร์ต เซนต์-จอร์จีเสนอให้เปลี่ยนคำว่าnegentropyเป็นsyntropy (ภาษากรีก แปลว่า 'ร่วมกับการเปลี่ยนแปลง') คำนี้อาจมีต้นกำเนิดในช่วงทศวรรษ 1940 โดยนักคณิตศาสตร์ชาวอิตาลีลุยจิ ฟานทัปปิเอผู้พยายามสร้างทฤษฎีรวมของชีววิทยาและฟิสิกส์บัคมินสเตอร์ ฟุลเลอร์พยายามทำให้การใช้คำนี้เป็นที่นิยม แต่negentropyยังคงใช้กันทั่วไป

ในหมายเหตุประกอบหนังสือ " ชีวิตคืออะไร?"ชโรดิงเกอร์ได้อธิบายถึงการใช้คำพูดนี้ไว้ว่า:

...ถ้าหากผมต้องเตรียมอาหารสำหรับพวกเขา [นักฟิสิกส์] เพียงอย่างเดียว ผมคงจะให้การสนทนาเปลี่ยนไปเป็นเรื่องพลังงานอิสระแทน เพราะเป็นแนวคิดที่คุ้นเคยมากกว่าในบริบทนี้ แต่คำศัพท์ทางเทคนิคขั้นสูงนี้ดูเหมือนจะใกล้เคียงกับคำว่าพลังงาน มากเกินไป ทำให้ผู้อ่านทั่วไปไม่สามารถเข้าใจความแตกต่างระหว่างสองสิ่งนี้ได้

ในทฤษฎีสารสนเทศและสถิติเอนโทรปีเชิงลบถูกใช้เป็นมาตรวัดระยะห่างจากภาวะปกติ^{[ 4 ] [ 5 ] [ 6 ]}จากการแจกแจงความน่าจะเป็น ทั้งหมด ที่มีค่าเฉลี่ยและความแปรปรวน ที่กำหนด การแจกแจง แบบเกาส์เซียนหรือการแจกแจงปกติ เป็นการแจกแจงที่มี เอนโทรปีสูงสุดเอนโทรปีเชิงลบวัดความแตกต่างของเอนโทรปีระหว่างการแจกแจงที่กำหนดกับการแจกแจงแบบเกาส์เซียนที่มีค่าเฉลี่ยและความแปรปรวนเดียวกัน ดังนั้น เอนโทรปีเชิงลบจึงมีค่าไม่เป็นลบเสมอ ไม่เปลี่ยนแปลงเมื่อมีการเปลี่ยนพิกัดแบบผกผันเชิงเส้น และมีค่าเป็นศูนย์ก็ต่อเมื่อสัญญาณเป็นแบบเกาส์เซียน เท่านั้น

เนเกนโทรปี (Negentropy) ถูกนิยามว่าอย่างไร

${\displaystyle J(Y)=h(Y_{G})-h(Y),}$

โดยที่คือเอนโทรปีเชิงอนุพันธ์ของการแจกแจงปกติที่มีค่าเฉลี่ยและความแปรปรวน เดียวกัน กับและคือเอนโทรปีเชิงอนุพันธ์ของโดย ที่ คือ ฟังก์ชันความหนาแน่นความน่าจะเป็นของมัน: ${\displaystyle h(Y_{G})={\tfrac {1}{2}}\log \left(2\pi \mathrm {e} \cdot \sigma ^{2}\right)}$${\displaystyle Y_{G}\sim N(\mu ,\sigma ^{2})}$${\displaystyle \mu }$${\displaystyle \sigma ^{2}}$${\displaystyle Y}$${\displaystyle h(Y)}$${\displaystyle Y}$${\displaystyle p_{Y}}$

${\displaystyle h(Y)=-\int p_{Y}(u)\log p_{Y}(u)\,\mathrm {d} u}$

เอนโทรปีเชิงลบใช้ในสถิติและการประมวลผลสัญญาณเกี่ยวข้องกับเอนโทรปีของเครือข่ายซึ่งใช้ในการวิเคราะห์ส่วนประกอบอิสระ^{[ 7 ] [ 8 ]}

เอนโทรปีเชิงลบของการแจกแจงเท่ากับความแตกต่างของคัลแบ็ก-ไลเบลอร์ระหว่างการแจกแจงปกติกับการแจกแจงแบบเกาส์เซียนที่มีค่าเฉลี่ยและความแปรปรวนเดียวกันกับ การแจกแจงปกติ (ดูเอนโทรปีเชิงอนุพันธ์ § การหาค่าสูงสุดในการแจกแจงปกติสำหรับหลักฐาน): โดยเฉพาะอย่างยิ่ง ค่านี้จะไม่เป็นลบเสมอ (ต่างจากเอนโทรปีเชิงอนุพันธ์ซึ่งอาจเป็นลบได้) ${\displaystyle Y}$${\displaystyle Y}$$${\displaystyle J(Y)=D_{KL}(Y\ \Vert \ Y_{G})}$$

มีปริมาณทางกายภาพที่เชื่อมโยงอย่างใกล้ชิดกับพลังงานอิสระ ( เอนทาลปีอิสระ ) โดยมีหน่วยเป็นเอนโทรปีและมีลักษณะเหมือนกับเนเกนโทรปีซึ่งเป็นที่รู้จักในสถิติและทฤษฎีสารสนเทศ ในปี 1873 วิลลาร์ด กิบบ์สได้สร้างแผนภาพที่แสดงแนวคิดของพลังงานอิสระที่สอดคล้องกับเอนทาลปีอิสระในแผนภาพนั้นเราสามารถเห็นปริมาณที่เรียกว่าความจุของเอนโทรปีปริมาณนี้คือปริมาณของเอนโทรปีที่อาจเพิ่มขึ้นได้โดยไม่ต้องเปลี่ยนแปลงพลังงานภายในหรือเพิ่มปริมาตร^{[ 9 ]}กล่าวอีกนัยหนึ่งคือ เป็นผลต่างระหว่างเอนโทรปีสูงสุดที่เป็นไปได้ภายใต้เงื่อนไขที่สมมติขึ้นกับเอนโทรปีจริง มันสอดคล้องกับคำจำกัดความของเนเกนโทรปีที่ใช้ในสถิติและทฤษฎีสารสนเทศ ปริมาณทางกายภาพที่คล้ายกันนี้ได้รับการแนะนำในปี 1869 โดยมาสซิเยอสำหรับกระบวนการไอโซเทอร์มอล^{[ 10 ] [ 11 ] [ 12 ]} (ปริมาณทั้งสองแตกต่างกันเพียงแค่เครื่องหมายตัวเลข) และต่อมาโดยพลังค์สำหรับกระบวนการไอโซเทอร์มอล - ไอโซบาริก^{[ 13 ]} เมื่อไม่นานมานี้ ศักยภาพทางเทอร์โมไดนามิก^ของ Massieu–Planck ซึ่งรู้จักกันในชื่อเอนโทรปีอิสระได้รับการพิสูจน์แล้วว่ามีบทบาทสำคัญในการกำหนดสูตรเอนโทรปีของกลศาสตร์สถิติ [ ^{14 ]}ซึ่งนำไปใช้ในด้านอื่นๆ เช่น ชีววิทยาโมเลกุล^{[ 15 ]}และกระบวนการที่ไม่สมดุลทางเทอร์โมไดนามิก^{[ 16 ]}

${\displaystyle J=S_{\สูงสุด }-S=-\พี =-k\ln Z\,}$

ที่ไหน:

${\displaystyle S}$เอนโทรปีคือ อะไร

${\displaystyle J}$คือค่าเนกาโตรปี (หรือ "ความจุของเอนโทรปี" ตามทฤษฎีของกิบบส์)

${\displaystyle \Phi }$ศักยภาพของมาสซิเยอเป็นอย่างไร

${\displaystyle Z}$คือฟังก์ชันพาร์ติชัน

${\displaystyle k}$ค่าคงที่ของ โบลต์ซมันน์

โดยเฉพาะอย่างยิ่ง ในทางคณิตศาสตร์ เนเกนโทรปี (ฟังก์ชันเอนโทรปีเชิงลบ ซึ่งในทางฟิสิกส์ตีความว่าเป็นเอนโทรปีอิสระ) คือคอนจูเกตแบบนูนของLogSumExp (ซึ่งในทางฟิสิกส์ตีความว่าเป็นพลังงานอิสระ)

ในปี พ.ศ. 2496 Léon Brillouinได้สรุปสมการทั่วไป^{[ 17 ]}ว่าการเปลี่ยนแปลงค่าบิตข้อมูลต้องใช้พลังงานอย่างน้อย ซึ่งเป็นพลังงานเท่ากับงานที่เครื่องของLeó Szilárd สร้างขึ้นในกรณีอุดมคติ ในหนังสือของเขา ^{[ 18 ]}เขาได้สำรวจปัญหานี้เพิ่มเติมและสรุปว่าสาเหตุใดๆ ของการเปลี่ยนแปลงค่าบิตนี้ (การวัด การตัดสินใจเกี่ยวกับคำถามใช่/ไม่ใช่ การลบ การแสดงผล ฯลฯ) จะต้องใช้พลังงานในปริมาณเท่ากัน ${\displaystyle kT\ln 2}$

• เอ็กเซอร์จี
• เอนโทรปีอิสระ
• เอนโทรปีในอุณหพลศาสตร์และทฤษฎีสารสนเทศ