เนื่องจากนิพจน์ทางคณิตศาสตร์สำหรับทฤษฎีสารสนเทศที่พัฒนาโดยโคลด แชนนอนและราล์ฟ ฮาร์ทลีย์ในทศวรรษ 1940 มีความคล้ายคลึงกับคณิตศาสตร์ของอุณหพลศาสตร์เชิงสถิติ ที่ลุ ดวิก โบลต์ซมันน์และเจ. วิลลาร์ด กิบบ์สได้พัฒนาขึ้นในทศวรรษ 1870 ซึ่งแนวคิดเรื่องเอนโทรปีเป็นหัวใจสำคัญ แชนนอนจึงถูกชักชวนให้ใช้คำว่า 'เอนโทรปี' เช่นเดียวกันสำหรับการวัดความไม่แน่นอนของเขา โดยทั่วไปแล้วเอนโทรปีของสารสนเทศมักถูกสันนิษฐานว่าเทียบเท่ากับเอนโทรปีทางกายภาพ (อุณหพลศาสตร์ )

สูตรนิยามของเอนโทรปีในทฤษฎีกลศาสตร์เชิงสถิติ ที่ ลุดวิก โบลต์ซมันน์และเจ. วิลลาร์ด กิบบ์สได้วางไว้ในช่วงทศวรรษ 1870 มีรูปแบบดังนี้:

${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i},}$

โดยที่คือความน่าจะเป็นของสถานะจุลภาคiที่ได้มาจากกลุ่มสมดุลและคือค่าคงที่ของโบลต์ซมันน์ ${\displaystyle p_{i}}$${\displaystyle k_{B}}$

สูตรนิยามของเอนโทรปีในทฤษฎีสารสนเทศที่Claude E. Shannon ได้วางไว้ ในปี 1948 มีรูปแบบดังนี้:

${\displaystyle H=-\sum _{i}p_{i}\log _{b}p_{i},}$

โดยที่คือความน่าจะเป็นของข้อความที่ถูกเลือกจากพื้นที่ข้อความMและbคือฐานของลอการิทึมที่ใช้ ค่าทั่วไปของbคือ 2, เลขออยเลอร์eและ 10 และหน่วยของเอนโทรปีคือshannon (หรือbit ) สำหรับb  = 2, natสำหรับb  =  eและhartleyสำหรับb  = 10 ^{[ 1 ]}${\displaystyle p_{i}}$${\displaystyle m_{i}}$

ในทางคณิตศาสตร์Hอาจถูกมองว่าเป็นข้อมูลเฉลี่ยที่คำนวณจากพื้นที่ข้อความทั้งหมด เพราะเมื่อข้อความใดข้อความหนึ่งเกิดขึ้นด้วยความน่าจะเป็นp ปริมาณข้อมูล −log( p ) (เรียกว่าเนื้อหาข้อมูลหรือข้อมูลตนเอง) จะถูกคำนวณได้

ถ้าสถานะจุลภาคทั้งหมดมีความน่าจะเป็นเท่ากัน ( กลุ่มจุลภาคแบบแคนอนิก ) เอนโทรปีทางเทอร์โมไดนามิกเชิงสถิติจะลดลงเหลือรูปแบบตามที่โบลต์ซมันน์ได้กล่าวไว้

${\displaystyle S=k_{\text{B}}\ln W,}$

โดยที่Wคือจำนวนไมโครสเตตที่สอดคล้องกับ สถานะทางเทอร์โมไดนามิก ในระดับมหภาคดังนั้น S จึงขึ้นอยู่กับอุณหภูมิ

ถ้าข้อความทั้งหมดมีโอกาสเกิดขึ้นเท่ากัน เอนโทรปีของข้อมูลจะลดลงเหลือเอนโทรปีของฮาร์ทลีย์

${\displaystyle H=\log _{b}|M|\ ,}$

จำนวนสมาชิกของปริภูมิข้อความMอยู่ที่ ใด${\displaystyle |M|}$

ลอการิทึมในนิยามทางเทอร์โมไดนามิกส์คือลอการิทึมธรรมชาติสามารถแสดงได้ว่า สูตร เอนโทรปีของกิบส์พร้อมด้วยลอการิทึมธรรมชาติ สามารถจำลองคุณสมบัติทั้งหมดของเทอร์โมไดนามิกส์คลาสสิกแบบ มหภาค ของรูดอล์ฟ คลอเซียสได้ (ดูบทความ: เอนโทรปี (มุมมองทางสถิติ) )

ในกรณีของเอนโทรปีของข้อมูล เราสามารถหาค่าลอการิทึมโดยใช้ฐานธรรมชาติได้เช่นกัน ซึ่งเทียบเท่ากับการเลือกวัดข้อมูลในหน่วยแนทแทนที่จะเป็นบิต( หรือในเชิงวิชาการคือแชนนอน) ในทางปฏิบัติ เอนโทรปีของข้อมูลมักคำนวณโดยใช้ลอการิทึมฐาน 2 เสมอ แต่ความแตกต่างนี้ไม่ได้มีผลอะไรมากไปกว่าการเปลี่ยนหน่วยเท่านั้น หนึ่งแนทมีค่าประมาณ 1.44 แชนนอน

สำหรับระบบที่อัดได้ง่ายและสามารถทำงานได้เฉพาะปริมาตรเท่านั้นกฎข้อแรกของเทอร์โมไดนามิกส์จะกลายเป็น

${\displaystyle dE=-pdV+TdS.}$

แต่เราสามารถเขียนสมการนี้ในรูปของสิ่งที่นักฟิสิกส์และนักเคมีบางครั้งเรียกว่า เอนโทรปีแบบ 'ลดทอน' หรือไร้มิติσ = S / kได้เช่นกัน ดังนั้น

${\displaystyle dE=-pdV+k_{\text{B}}Td\sigma .}$

เช่นเดียวกับที่Sเป็นคู่ควบกับTดังนั้นσจึงเป็นคู่ควบกับk T (พลังงานที่เป็นลักษณะเฉพาะของTในระดับโมเลกุล)

ดังนั้น นิยามของเอนโทรปีในกลศาสตร์สถิติ ( สูตรเอนโทรปีของกิบส์ ) และในอุณหพลศาสตร์แบบคลาสสิก ( และความสัมพันธ์ทางอุณหพลศาสตร์พื้นฐาน ) จึงเทียบเท่ากันสำหรับกลุ่มไมโครแคนอนิกและกลุ่มสถิติที่อธิบายระบบอุณหพลศาสตร์ที่อยู่ในสมดุลกับอ่างเก็บความร้อน เช่นกลุ่มแคนอนิกกลุ่มแกรนด์แคนอนิก กลุ่มไอโซเทอร์มอล - ไอโซบาริกความเทียบเท่านี้มักแสดงให้เห็นในตำราเรียน อย่างไรก็ตาม ความเทียบเท่าระหว่างนิยามทางอุณหพลศาสตร์ของเอนโทรปีและเอนโทรปีของกิบส์นั้นไม่ใช่เรื่องทั่วไป แต่เป็นคุณสมบัติเฉพาะของ การกระจายแบบโบลต์ซมัน น์ทั่วไป^{[ 2 ]}${\displaystyle S=-k_{\mathrm {B} }\sum _{i}p_{i}\log p_{i}}$${\displaystyle dS={\frac {\delta Q_{\text{rev}}}{T}}}$

นอกจากนี้ ยังแสดงให้เห็นว่าคำจำกัดความของเอนโทรปีในกลศาสตร์สถิติเป็นเอนโทรปีเดียวที่เทียบเท่ากับเอนโทรปีของอุณหพลศาสตร์แบบคลาสสิกภายใต้สมมติฐานต่อไปนี้: ^{[ 3 ]}

ถึงกระนั้นก็ตาม มีความแตกต่างระหว่างปริมาณทั้งสอง เอนโทรปีสารสนเทศΗสามารถคำนวณได้สำหรับความน่าจะเป็นใดๆ ก็ได้ (หากถือว่า "ข้อความ" คือเหตุการณ์iซึ่งมีความน่าจะ เป็น p เกิดขึ้น จากพื้นที่ของเหตุการณ์ที่เป็นไปได้ทั้งหมด) ในขณะที่เอนโทรปีทางเทอร์โมไดนามิกSหมายถึงความน่าจะเป็นทางเทอร์โมไดนามิกp โดยเฉพาะ อย่างไรก็ตาม ความแตกต่างนี้เป็นเพียงทฤษฎีมากกว่าความเป็นจริง เพราะความน่าจะเป็นใดๆ ก็สามารถประมาณได้อย่างใกล้เคียงด้วยระบบทางเทอร์โมไดนามิกบางระบบ

ยิ่งไปกว่านั้น ยังสามารถเชื่อมโยงโดยตรงระหว่างทั้งสองได้ หากความน่าจะเป็นที่กล่าวถึงคือความน่าจะเป็นทางเทอร์โมไดนามิกp : เอน โทรปีของกิบส์ (ที่ลดลง) σสามารถมองได้ว่าเป็นเพียงปริมาณข้อมูลของแชนนอนที่จำเป็นในการกำหนดสถานะจุลภาคโดยละเอียดของระบบ โดยพิจารณาจากคำอธิบายระดับมหภาค หรือในคำพูดของGN Lewisที่เขียนเกี่ยวกับเอนโทรปีทางเคมีในปี 1930 ว่า "การเพิ่มขึ้นของเอนโทรปีหมายถึงการสูญเสียข้อมูลเสมอ และไม่มีอะไรมากไปกว่านั้น" เพื่อให้ชัดเจนยิ่งขึ้น ในกรณีแบบไม่ต่อเนื่องโดยใช้ลอการิทึมฐานสอง เอนโทรปีของกิบส์ที่ลดลงจะเท่ากับค่าเฉลี่ยของจำนวนคำถามใช่-ไม่ใช่ขั้นต่ำที่จำเป็นต้องตอบเพื่อระบุสถานะจุลภาค ให้สมบูรณ์ โดยที่เรารู้สถานะมหภาคแล้ว

นอกจากนี้ สูตรในการค้นหาการกระจายสมดุลของกลศาสตร์เชิงสถิติ เช่น การกระจายแบบโบลต์ซมันน์ โดยการเพิ่มเอนโทรปีของกิบส์ให้สูงสุดภายใต้ข้อจำกัดที่เหมาะสม ( อัลกอริทึมของกิบส์ ) สามารถมองได้ว่าไม่ใช่สิ่งที่มีเฉพาะในอุณหพลศาสตร์เท่านั้น แต่เป็นหลักการที่มีความเกี่ยวข้องทั่วไปในการอนุมานเชิงสถิติ หากต้องการค้นหาการกระจายความน่าจะเป็นที่ไม่ให้ข้อมูลมากที่สุดภายใต้ข้อจำกัดบางประการเกี่ยวกับค่าเฉลี่ย (มุมมองเหล่านี้ได้รับการสำรวจเพิ่มเติมในบทความอุณหพลศาสตร์เอนโทรปีสูงสุด )

เอนโทรปีของแชนนอนในทฤษฎีสารสนเทศบางครั้งแสดงในหน่วยบิตต่อสัญลักษณ์ เอนโทรปีทางกายภาพอาจอยู่ในหน่วย "ต่อปริมาณ" ( h ) ซึ่งเรียกว่าเอนโทรปี " เข้มข้น " แทนที่จะเป็นเอนโทรปีรวมตามปกติซึ่งเรียกว่าเอนโทรปี "กว้างขวาง" ค่า "แชนนอน" ของข้อความ ( Η ) คือเอนโทรปีสารสนเทศ "กว้างขวาง" รวมของข้อความนั้น และมีค่า เป็น hเท่าของจำนวนบิตในข้อความนั้น

ความสัมพันธ์โดยตรงและเป็นรูปธรรมทางกายภาพระหว่างhและSสามารถพบได้โดยการกำหนดสัญลักษณ์ให้กับสถานะจุลภาคแต่ละสถานะที่เกิดขึ้นต่อโมล กิโลกรัม ปริมาตร หรืออนุภาคของสารเนื้อเดียวกัน จากนั้นคำนวณค่า 'h' ของสัญลักษณ์เหล่านี้ ตามทฤษฎีหรือจากการสังเกต สัญลักษณ์ (สถานะจุลภาค) จะเกิดขึ้นด้วยความน่าจะเป็นที่แตกต่างกัน และสิ่งนี้จะกำหนดค่าhหากมี N โมล กิโลกรัม ปริมาตร หรืออนุภาคของสารหน่วย ความสัมพันธ์ระหว่างh (ในหน่วยบิตต่อหน่วยสาร) และเอนโทรปีแบบขยายทางกายภาพในหน่วยนาโนจะเป็นดังนี้:

${\displaystyle S=k_{\mathrm {B} }\ln(2)Nh}$

โดยที่ ln(2) คือตัวประกอบการแปลงจากฐาน 2 ของเอนโทรปีของแชนนอนไปยังฐานธรรมชาติ e ของเอนโทรปีทางกายภาพ N hคือปริมาณข้อมูลในบิตที่จำเป็นในการอธิบายสถานะของระบบทางกายภาพที่ มีเอนโทรปีS หลักการของแลนเดาเออร์แสดงให้เห็นถึงความเป็นจริงนี้โดยระบุว่าพลังงานขั้นต่ำEที่ต้องการ (และดังนั้นความร้อนQที่เกิดขึ้น) โดยการเปลี่ยนแปลงหน่วยความจำหรือการดำเนินการตรรกะที่มีประสิทธิภาพในอุดมคติโดยการลบหรือรวมข้อมูลN h บิตอย่างถาวรจะเป็น Sเท่าของอุณหภูมิซึ่งคือ

${\displaystyle E=Q=Tk_{\mathrm {B} }\ln(2)Nh,}$

โดยที่hอยู่ในหน่วยบิตข้อมูล และEและQอยู่ในหน่วยจูลทางกายภาพ ซึ่งได้รับการยืนยันจากการทดลองแล้ว^{[ 4 ]}

อุณหภูมิคือการวัดพลังงานจลน์ เฉลี่ย ต่ออนุภาคในก๊าซอุดมคติ (เคลวิน = ⁠)2/3⁠ จู / kB ดังนั้นหน่วย J/K ของkBจึงไม่มีมิติ (จูล/จูล) kBคือตัวประกอบการแปลงจากพลังงาน⁠3/2เค  ลวินเป็นจูลสำหรับก๊าซอุดมคติ หากการวัดพลังงานจลน์ต่ออนุภาคของก๊าซอุดมคติแสดงในหน่วยจูลแทนที่จะเป็นเคลวินk ในสมการข้างต้นจะถูกแทนที่ด้วย 3/2 สิ่งนี้แสดงให้เห็นว่าSเป็นการวัดทางสถิติที่แท้จริงของสถานะจุลภาคซึ่งไม่มีหน่วยทางกายภาพพื้นฐานอื่นใดนอกจากหน่วยของข้อมูล ในกรณีนี้คือ nats ซึ่งเป็นเพียงการระบุฐานลอการิทึมที่เลือกใช้ตามธรรมเนียม

การทดลองทางความคิดเชิงฟิสิกส์ที่แสดงให้เห็นว่าการครอบครองข้อมูลเพียงอย่างเดียวอาจส่งผลทางเทอร์โมไดนามิกได้นั้น เกิดขึ้นในปี พ.ศ. 2462 โดยLeó Szilárdซึ่งเป็นการปรับปรุงสถานการณ์ปีศาจของแม็กซ์เวลล์ ที่มีชื่อเสียง ^{[ 5 ]} (และเป็นการกลับกันของ การทดลองทางความคิดเรื่อง การขยายตัวของจูล )

ลองพิจารณาการจัดวางของแม็กซ์เวลล์ แต่มีเพียงอนุภาคก๊าซเดียวอยู่ในกล่อง หากปีศาจรู้ว่าอนุภาคอยู่ในครึ่งใดของกล่อง (เทียบเท่ากับข้อมูลหนึ่งบิต) มันสามารถปิดบานประตูระหว่างสองครึ่งของกล่อง ปิดลูกสูบเข้าไปในครึ่งที่ว่างเปล่าโดยไม่มีสิ่งกีดขวาง และจากนั้นก็ดึงพลังงานจูลออกมาได้หากบานประตูถูกเปิดอีกครั้ง จากนั้นอนุภาคก็สามารถขยายตัวแบบไอโซเทอร์มอลกลับไปยังปริมาตรที่สมดุลเดิมได้ ดังนั้น ภายใต้เงื่อนไขที่เหมาะสม การครอบครองข้อมูลของแชนนอนเพียงหนึ่งบิต ( เนเกนโทร ปีหนึ่งบิต ในแง่ของบริลลูอิน) จึงสอดคล้องกับการลดลงของเอนโทรปีของระบบทางกายภาพ เอนโทรปีโดยรวมไม่ได้ลดลง แต่การแปลงข้อมูลเป็นพลังงานอิสระนั้นเป็นไปได้ ${\displaystyle k_{\text{B}}T\ln 2}$

การทดลองเชิงความคิดนี้ได้รับการสาธิตทางกายภาพแล้ว โดยใช้กล้องจุลทรรศน์คอนทราสต์เฟสที่ติดตั้งกล้องความเร็วสูงที่เชื่อมต่อกับคอมพิวเตอร์ ซึ่งทำหน้าที่เป็นปีศาจ[ ^{6 ] ใน}การทดลองนี้ การแปลงข้อมูลเป็นพลังงานจะดำเนินการกับ อนุภาค บราวน์โดยใช้การควบคุมแบบป้อนกลับกล่าวคือ การซิงโครไนซ์งานที่ให้กับอนุภาคกับข้อมูลที่ได้รับเกี่ยวกับตำแหน่งของมัน การคำนวณสมดุลพลังงานสำหรับโปรโตคอลป้อนกลับที่แตกต่างกัน ได้ยืนยันว่าความเท่าเทียมกันของ Jarzynskiต้องการการวางนัยทั่วไปที่คำนึงถึงปริมาณข้อมูลที่เกี่ยวข้องกับป้อนกลับ

อันที่จริงแล้ว เราสามารถสรุปได้ว่า ข้อมูลใดๆ ที่มีการแสดงผลในรูปแบบทางกายภาพ จะต้องถูกฝังอยู่ในระดับความเป็นอิสระเชิงสถิติเชิงกลของระบบทางกายภาพนั้นๆ อย่างใดอย่างหนึ่ง

ดังนั้นRolf Landauerจึงโต้แย้งในปี 1961 ว่า หากเราลองจินตนาการถึงการเริ่มต้นด้วยระดับความเป็นอิสระเหล่านั้นในสถานะที่สมดุลทางความร้อน จะมีการลดลงอย่างแท้จริงของเอนโทรปีทางเทอร์โมไดนามิก หากพวกมันถูกตั้งค่าใหม่ให้กลับสู่สถานะที่ทราบ สิ่งนี้สามารถบรรลุได้ภายใต้พลวัตเชิงกำหนดระดับจุลภาคที่รักษาข้อมูลไว้ได้ก็ต่อเมื่อความไม่แน่นอนถูกกำจัดไปที่อื่น – กล่าวคือ หากเอนโทรปีของสิ่งแวดล้อม (หรือระดับความเป็นอิสระที่ไม่มีข้อมูล) เพิ่มขึ้นอย่างน้อยในปริมาณที่เทียบเท่ากันตามที่กฎข้อที่สองกำหนด โดยการได้รับความร้อนในปริมาณที่เหมาะสม: โดยเฉพาะอย่างยิ่งkT  ln(2) ของความร้อนสำหรับทุกๆ 1 บิตของความสุ่มที่ถูกลบออก

ในทางกลับกัน Landauer โต้แย้งว่าไม่มีข้อโต้แย้งทางเทอร์โมไดนามิกต่อการดำเนินการที่ย้อนกลับได้ในเชิงตรรกะซึ่งอาจบรรลุผลได้ในลักษณะที่ย้อนกลับได้ในเชิงกายภาพในระบบ มีเพียงการดำเนินการที่ไม่สามารถย้อนกลับได้ในเชิงตรรกะเท่านั้น เช่น การลบบิตไปยังสถานะที่ทราบ หรือการรวมเส้นทางการคำนวณสองเส้นทาง ซึ่งจะต้องมีการเพิ่มขึ้นของเอนโทรปีที่สอดคล้องกัน เมื่อข้อมูลเป็นกายภาพ การประมวลผลทั้งหมดของการแสดงแทน เช่น การสร้าง การเข้ารหัส การส่ง การถอดรหัส และการตีความ ล้วนเป็นกระบวนการตามธรรมชาติที่เอนโทรปีเพิ่มขึ้นจากการใช้พลังงานอิสระ^{[ 7 ]}

เมื่อนำมาประยุกต์ใช้กับสถานการณ์ของปีศาจของแม็กซ์เวลล์/เครื่องยนต์ซิลาร์ด สิ่งนี้ชี้ให้เห็นว่าอาจเป็นไปได้ที่จะ "อ่าน" สถานะของอนุภาคเข้าไปในอุปกรณ์คำนวณโดยไม่มีค่าใช้จ่ายด้านเอนโทรปี แต่เฉพาะในกรณีที่อุปกรณ์นั้นถูกตั้งค่าให้อยู่ในสถานะที่ทราบแล้ว แทนที่จะอยู่ในสถานะที่ไม่แน่นอนที่เกิดจากการปรับสมดุลทางความร้อน การตั้งค่า (หรือรีเซ็ต ) อุปกรณ์ให้อยู่ในสถานะนี้จะเสียค่าใช้จ่ายเท่ากับเอนโทรปีทั้งหมดที่สามารถประหยัดได้จากการทราบสถานะของอนุภาคของซิลาร์ด

ในปี พ.ศ. 2551 และ พ.ศ. 2552 นักวิจัยแสดงให้เห็นว่าหลักการของ Landauer สามารถอนุมานได้จากกฎข้อที่สองของเทอร์โมไดนามิกส์และการเปลี่ยนแปลงเอนโทรปีที่เกี่ยวข้องกับการได้รับข้อมูล โดยพัฒนาเทอร์โมไดนามิกส์ของระบบควบคุมป้อนกลับควอนตัมและคลาสสิก^{[ 8 ] [ 9 ]}

เอนโทรปีของแชนนอนมีความเกี่ยวข้องกันโดยนักฟิสิกส์Léon Brillouinกับแนวคิดที่บางครั้งเรียกว่าเนเกนโทรปี ในปี 1953 Brillouin ได้สรุปสมการทั่วไป^{[ 10 ]}โดยระบุว่าการเปลี่ยนแปลงค่าบิตข้อมูลต้องใช้พลังงานอย่างน้อยkT  ln(2) ซึ่งเป็นพลังงานเดียวกับงานที่เครื่องของLeo Szilard ผลิตในกรณีอุดมคติ ซึ่งเท่ากับปริมาณเดียวกันกับที่ Landauer พบ ในหนังสือของเขา^{[ 11 ]}เขาได้สำรวจปัญหานี้เพิ่มเติมโดยสรุปว่าสาเหตุใดๆ ของการเปลี่ยนแปลงค่าบิต (การวัด การตัดสินใจเกี่ยวกับคำถามใช่/ไม่ใช่ การลบ การแสดงผล ฯลฯ) จะต้องใช้พลังงานในปริมาณเท่ากันคือkT  ln(2) ดังนั้น การได้รับข้อมูลเกี่ยวกับสถานะจุลภาคของระบบจึงเกี่ยวข้องกับการผลิตเอนโทรปีในขณะที่การลบจะทำให้เกิดการผลิตเอนโทรปีก็ต่อเมื่อค่าบิตมีการเปลี่ยนแปลงเท่านั้น การตั้งค่าข้อมูลบางส่วนในระบบย่อยที่เดิมอยู่ในสมดุลทางความร้อนส่งผลให้เอนโทรปีในบริเวณนั้นลดลง อย่างไรก็ตาม ตามที่บริลลูอินกล่าวไว้ ไม่มีการละเมิดกฎข้อที่สองของอุณหพลศาสตร์ เนื่องจากการลดลงของเอนโทรปีทางอุณหพลศาสตร์ในระบบใด ๆ ในบริเวณนั้นจะส่งผลให้เอนโทรปีทางอุณหพลศาสตร์ในที่อื่นเพิ่มขึ้น ด้วยวิธีนี้ บริลลูอินได้ชี้แจงความหมายของเนเกนโทรปี ซึ่งถือว่ามีความขัดแย้งกัน เนื่องจากความเข้าใจก่อนหน้านี้อาจทำให้ประสิทธิภาพของคาร์โนต์สูงกว่าหนึ่ง นอกจากนี้ ความสัมพันธ์ระหว่างพลังงานและข้อมูลที่บริลลูอินกำหนดขึ้นนั้นได้รับการเสนอให้เป็นความเชื่อมโยงระหว่างปริมาณบิตที่สมองประมวลผลและพลังงานที่ใช้ไป คอลเลลล์และฟอเกต์^{[ 12 ]}โต้แย้งว่าเดอ คาสโตร^{[ 13 ]}พบขีดจำกัดแลนเดาเออร์ในเชิงวิเคราะห์ว่าเป็นขอบเขตล่างทางอุณหพลศาสตร์สำหรับการคำนวณของสมอง อย่างไรก็ตาม แม้ว่าวิวัฒนาการจะถูกสันนิษฐานว่าได้ "เลือก" กระบวนการที่มีประสิทธิภาพทางพลังงานมากที่สุด แต่ขอบเขตล่างทางกายภาพนั้นไม่ใช่ปริมาณที่สมจริงในสมอง ประการแรก เนื่องจากหน่วยประมวลผลขั้นต่ำที่พิจารณาในฟิสิกส์คืออะตอม/โมเลกุล ซึ่งห่างไกลจากวิธีการทำงานของสมองจริง และประการที่สอง เนื่องจากเครือข่ายประสาทประกอบด้วยปัจจัยความซ้ำซ้อนและสัญญาณรบกวนที่สำคัญซึ่งลดประสิทธิภาพลงอย่างมาก^{[ 14 ]} Laughlin et al. ^{[ 15 ]}เป็นกลุ่มแรกที่ให้ปริมาณที่ชัดเจนสำหรับต้นทุนพลังงานของการประมวลผลข้อมูลทางประสาทสัมผัส ผลการค้นพบของพวกเขาในแมลงวันหัวเขียวเผยให้เห็นว่าสำหรับข้อมูลทางประสาทสัมผัสทางสายตา ต้นทุนของการส่งข้อมูลหนึ่งบิตอยู่ที่ประมาณ 5 × 10 ⁻¹⁴จูล หรือเทียบเท่ากับ 10 ⁴โมเลกุล ATP ดังนั้น ประสิทธิภาพการประมวลผลของระบบประสาทจึงยังห่างไกลจากขีดจำกัดของ Landauer ที่kT  ln(2) J แต่ข้อเท็จจริงที่น่าสนใจคือ มันยังคงมีประสิทธิภาพมากกว่าคอมพิวเตอร์สมัยใหม่มาก

ในปี 2552 Mahulikar และ Herwig ได้กำหนดนิยามใหม่ของเอนโทรปีเชิงลบทางเทอร์โมไดนามิกส์ว่าเป็นการขาดดุลเอนโทรปีจำเพาะของระบบย่อยที่มีระเบียบแบบไดนามิกเมื่อเทียบกับสิ่งแวดล้อม^{[ 16 ]} นิยามนี้ทำให้สามารถกำหนดหลักการเอนโทรปีเชิงลบได้ซึ่งแสดงให้เห็นทางคณิตศาสตร์ว่าเป็นไปตามกฎข้อที่ 2 ของเทอร์โมไดนามิกส์ในระหว่างการดำรงอยู่ของระเบียบ

Hirschman แสดงให้ เห็น ^{[ 17 ]}ดูความไม่แน่นอนของ Hirschmanว่าหลักการความไม่แน่นอนของ Heisenbergสามารถแสดงได้เป็นขอบเขตล่างเฉพาะของผลรวมของเอนโทรปีการกระจายแบบคลาสสิกของการกระจาย ความน่า จะเป็นที่สังเกตได้ควอนตัมของสถานะกลศาสตร์ควอนตัม กำลังสองของฟังก์ชันคลื่น ในพิกัด และในปริภูมิโมเมนตัม เมื่อแสดงในหน่วยพลังค์อสมการที่ได้จะให้ขอบเขตที่แน่นขึ้นสำหรับความสัมพันธ์ความไม่แน่นอนของ Heisenberg

การกำหนด " เอนโทรปีร่วม " มีความหมายเนื่องจากตำแหน่งและโมเมนตัมเป็นตัวแปรคู่ควบควอนตัมและไม่สามารถสังเกตร่วมกันได้ ในทางคณิตศาสตร์ จะต้องถือว่าเป็นการกระจายร่วม กัน โปรดทราบว่าเอนโทรปีร่วมนี้ไม่เทียบเท่ากับเอนโทรปีของฟอน นอยมันน์ −Tr ρ ln ρ = −⟨ln ρ ⟩ เอนโทรปีของเฮิร์ชแมนกล่าวกันว่าสามารถอธิบายเนื้อหาข้อมูลทั้งหมดของส่วนผสมของสถานะควอนตัมได้^{[ 18 ]}

(ความไม่พอใจกับเอนโทรปีของ Von Neumann จากมุมมองของข้อมูลควอนตัมได้รับการแสดงออกโดย Stotland, Pomeransky, Bachmat และ Cohen ซึ่งได้นำเสนอนิยามของเอนโทรปีที่แตกต่างออกไปซึ่งสะท้อนถึงความไม่แน่นอนโดยธรรมชาติของสถานะกลศาสตร์ควอนตัม นิยามนี้ช่วยให้สามารถแยกแยะระหว่างเอนโทรปีความไม่แน่นอนขั้นต่ำของสถานะบริสุทธิ์และเอนโทรปีทางสถิติส่วนเกินของส่วนผสมได้^{[ 19 ]} )

• Bennett, CH (1973). "ความสามารถในการย้อนกลับเชิงตรรกะของการคำนวณ" . IBM J. Res. Dev . 17 (6): 525– 532. doi : 10.1147/rd.176.0525 .
• บริลลูแอง, เลอง (2004), วิทยาศาสตร์และทฤษฎีสารสนเทศ (ฉบับพิมพ์ครั้งที่สอง), โดเวอร์, ISBN 978-0-486-43918-1[ตีพิมพ์ซ้ำจากฉบับดั้งเดิมปี 1962]
• แฟรงค์, ไมเคิล พี. (พฤษภาคม–มิถุนายน 2545). "ขีดจำกัดทางกายภาพของการคำนวณ"การคำนวณในวิทยาศาสตร์และวิศวกรรม 4 ( 3): 16– 25. Bibcode : 2002CSE.....4c..16F . CiteSeerX  10.1.1.429.1618 . doi : 10.1109/5992.998637 . OSTI  1373456 . S2CID  499628 .
• เกรเวน, แอนเดรียส; เคลเลอร์, เกอร์ฮาร์ด; วาร์เน็ค, เจอรัลด์, เอ็ด. (2546) เอนโทรปี . สำนักพิมพ์มหาวิทยาลัยพรินซ์ตัน. ไอเอสบีเอ็น 978-0-691-11338-8.(ชุดบทความทางเทคนิคขั้นสูงที่ให้ภาพรวมของแนวคิดเรื่องเอนโทรปีในสาขาวิชาต่างๆ)
• Kalinin, MI; Kononogov, SA (2005), "ค่าคงที่ของโบลต์ซมันน์ ความหมายทางพลังงานของอุณหภูมิ และความไม่สามารถย้อนกลับได้ทางเทอร์โมไดนามิก" เทคนิค การวัด48 (7): 632– 636, Bibcode : 2005MeasT..48..632K , doi : 10.1007/s11018-005-0195-9 , S2CID  118726162.
• Koutsoyiannis, D. (2011), "พลวัตของ Hurst–Kolmogorov อันเป็นผลมาจากการผลิตเอนโทรปีสุดขั้ว", Physica A , 390 (8): 1424– 1432, Bibcode : 2011PhyA..390.1424K , doi : 10.1016/j.physa.2010.12.035.
• Landauer, R. (1993). "ข้อมูลเป็นสิ่งทางกายภาพ" . Proc. Workshop on Physics and Computation PhysComp'92 . Los Alamitos: IEEE Comp. Sci.Press. หน้า  1– 4. doi : 10.1109/PHYCMP.1992.615478 . ISBN 978-0-8186-3420-8. S2CID  60640035 .
• Landauer, R. (1961). "ความไม่สามารถย้อนกลับได้และการสร้างความร้อนในกระบวนการคำนวณ" . IBM J. Res. Dev . 5 (3): 183– 191. doi : 10.1147/rd.53.0183 . เก็บถาวรจากต้นฉบับเมื่อ 2008-12-06 . สืบค้นเมื่อ2006-03-11 .
• Leff, HS; Rex, AF, บรรณาธิการ (1990). ปีศาจของแม็กซ์เวลล์: เอนโทรปี ข้อมูล และการคำนวณ . พรินซ์ตัน รัฐนิวเจอร์ซีย์: สำนักพิมพ์มหาวิทยาลัยพรินซ์ตัน. ISBN 978-0-691-08727-6.
• มิดเดิลตัน, ดี. (1960). บทนำสู่ทฤษฎีการสื่อสารเชิงสถิติ . แมคกรอว์-ฮิลล์.
• Shannon, Claude E. (กรกฎาคม–ตุลาคม 1948). "ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร" . Bell System Technical Journal . 27 (3): 379– 423. doi : 10.1002/j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz/101429 .( ในรูปแบบ PDF )

• การประมวลผลข้อมูลและเอนโทรปีทางเทอร์โมไดนามิกส์ สารานุกรมปรัชญาแห่งมหาวิทยาลัยสแตนฟอร์ด
• คู่มือเชิงลึกเกี่ยวกับแนวคิดเรื่องเอนโทรปีที่ปรากฏในสาขาวิทยาศาสตร์ต่างๆ — วิกิบุ๊กเกี่ยวกับการตีความแนวคิดเรื่องเอนโทรปี