ทฤษฎีสารสนเทศมีประโยชน์ในการคำนวณปริมาณสารสนเทศที่น้อยที่สุดที่จำเป็นในการส่งข้อความ เช่น ในการบีบอัดข้อมูลตัวอย่างเช่น พิจารณาการส่งลำดับของอักขระ 4 ตัว คือ 'A', 'B', 'C' และ 'D' ผ่านช่องสัญญาณไบนารี หากอักขระทั้ง 4 ตัวมีโอกาสปรากฏเท่ากัน (25%) วิธีที่ดีที่สุดคือการใช้สองบิตในการเข้ารหัสแต่ละอักขระ 'A' อาจเข้ารหัสเป็น '00', 'B' เป็น '01', 'C' เป็น '10' และ 'D' เป็น '11' อย่างไรก็ตาม หากความน่าจะเป็นของแต่ละอักขระไม่เท่ากัน เช่น 'A' ปรากฏด้วยความน่าจะเป็น 70%, 'B' 26% และ 'C' และ 'D' 2% เท่ากัน เราสามารถกำหนดรหัสความยาวแปรผันได้ ในกรณีนี้ 'A' จะถูกเข้ารหัสเป็น '0', 'B' เป็น '10', 'C' เป็น '110' และ 'D' เป็น '111' ด้วยการแสดงผลแบบนี้ 70% ของเวลาจะต้องส่งข้อมูลเพียงหนึ่งบิต 26% ของเวลาจะต้องส่งสองบิต และเพียง 4% ของเวลาเท่านั้นที่ต้องส่งสามบิต โดยเฉลี่ยแล้ว จะใช้ข้อมูลน้อยกว่า 2 บิต เนื่องจากเอนโทรปีต่ำกว่า (เนื่องจากความแพร่หลายของ 'A' ตามด้วย 'B' – รวมกันคิดเป็น 96% ของตัวอักษรทั้งหมด) การคำนวณผลรวมของลอการิทึมความน่าจะเป็นถ่วงน้ำหนักจะวัดและจับผลกระทบนี้ได้

ข้อความภาษาอังกฤษ เมื่อพิจารณาเป็นสตริงของตัวอักษร จะมีเอนโทรปีค่อนข้างต่ำ กล่าวคือ สามารถคาดเดาได้ค่อนข้างง่าย เราสามารถมั่นใจได้ว่า ตัวอย่างเช่น 'e' จะพบได้บ่อยกว่า 'z' มาก การรวมกันของ 'qu' จะพบได้บ่อยกว่าการรวมกันของตัวอักษรอื่นๆ ที่มี 'q' อยู่ และการรวมกันของ 'th' จะพบได้บ่อยกว่า 'z', 'q' หรือ 'qu' หลังจากตัวอักษรไม่กี่ตัวแรก เรามักจะสามารถเดาส่วนที่เหลือของคำได้ ข้อความภาษาอังกฤษมีเอนโทรปีระหว่าง 0.6 ถึง 1.3 บิตต่อตัวอักษรของข้อความ^{[ 7 ] : 234}

เอนโทรปีสามารถกำหนดอย่างเป็นทางการในภาษาของทฤษฎีการวัดได้ดังนี้: ^{[ 11 ]}ให้${\displaystyle (X,\Sigma ,\mu )}$เป็นปริภูมิความน่าจะเป็นให้${\displaystyle A\in \Sigma }$เป็นเหตุการณ์ หนึ่ง ความประหลาดใจของ${\displaystyle A}$เป็น $${\displaystyle \sigma _{\mu }(A)=-\ln \mu (A)}$$

ความ ประหลาดใจ ที่คาดไว้ของ${\displaystyle A}$เป็น $${\displaystyle h_{\mu }(A)=\mu (A)\sigma _{\mu }(A)}$$

เอ${\displaystyle \mu }$- พาร์ทิชันเกือบทั้งหมดเป็นเซตตระกูล${\displaystyle P\subseteq {\mathcal {P}}(X)}$โดยที่${\displaystyle \mu (\ถ้วยใหญ่ P)=1}$และ${\displaystyle \mu (A\cap B)=0}$สำหรับทุกความแตกต่าง${\displaystyle A,B\in P}$(นี่เป็นการผ่อนปรนเงื่อนไขปกติสำหรับการแบ่งส่วน) เอนโทรปีของ${\displaystyle P}$เป็น $${\displaystyle \mathrm {H} _{\mu }(P)=\sum _{A\in P}h_{\mu }(A)}$$

อนุญาต${\displaystyle M}$เป็นซิกมาแอลเจบราบน${\displaystyle X}$เอนโทรปีของ${\displaystyle M}$เป็น $${\displaystyle \mathrm {H} _{\mu }(M)=\sup _{P\subseteq M}\mathrm {H} _{\mu }(P)}$$ สุดท้ายนี้ เอนโทรปีของปริภูมิความน่าจะเป็นคือ${\displaystyle \mathrm {H} _{\mu }(\Sigma )}$นั่นคือ เอนโทรปีเมื่อเทียบกับ${\displaystyle \mu }$ของซิกมาแอลเจบราของ เซตย่อยที่วัดได้ ทั้งหมดของ${\displaystyle X}$.

การ กำหนดลักษณะเอนโทรปีอีกแบบหนึ่งใช้คุณสมบัติต่อไปนี้ เรากำหนดให้p = Pr( X = x )และΗ ( p , ..., p ) = Η( X )

1. ความต่อเนื่อง: ค่า Hควรมีความต่อเนื่องกล่าวคือ การเปลี่ยนแปลงค่าความน่าจะเป็นเพียงเล็กน้อย ควรทำให้ค่าเอนโทรปีเปลี่ยนแปลงไปเพียงเล็กน้อยเท่านั้น
2. สมมาตร: ค่า H จะต้องไม่เปลี่ยนแปลงหาก เรียงลำดับผลลัพธ์x ${\displaystyle \mathrm {H} _{n}\left(p_{1},p_{2},\ldots ,p_{n}\right)=\mathrm {H} _{n}\left(p_{i_{1}},p_{i_{2}},\ldots ,p_{i_{n}}\right)}$สำหรับการเรียงสับเปลี่ยน ใดๆ${\displaystyle \{i_{1},...,i_{n}\}}$ของ${\displaystyle \{1,...,n\}}$.
3. สูงสุด:${\displaystyle \mathrm {H} _{n}}$ควรมีค่าสูงสุดหากผลลัพธ์ทั้งหมดมีโอกาสเกิดขึ้นเท่ากัน เช่น${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})\leq \mathrm {H} _{n}\left({\frac {1}{n}},\ldots ,{\frac {1}{n}}\right)}$.
4. จำนวนผลลัพธ์ที่เพิ่มขึ้น: สำหรับเหตุการณ์ที่มีโอกาสเกิดขึ้นเท่ากัน เอนโทรปีควรเพิ่มขึ้นตามจำนวนผลลัพธ์ เช่น${\displaystyle \mathrm {H} _{n}{\bigg (}\underbrace {{\frac {1}{n}},\ldots ,{\frac {1}{n}}} _{n}{\bigg )}<\mathrm {H} _{n+1}{\bigg (}\underbrace {{\frac {1}{n+1}},\ldots ,{\frac {1}{n+1}}} _{n+1}{\bigg )}.}$
5. คุณสมบัติการบวก: กำหนดให้กลุ่มของ องค์ประกอบ nที่กระจายอย่างสม่ำเสมอซึ่งถูกแบ่งออกเป็นkกล่อง (ระบบย่อย) โดย แต่ละกล่องมีองค์ประกอบ b₁ ..., bₖ เอนโทรปีของกลุ่มทั้งหมดควรเท่ากับผลรวมของเอนโทรปีของระบบกล่องและเอนโทรปีของแต่ละกล่อง โดยแต่ละเอนโทร จะถูกถ่วงน้ำหนักด้วยความน่าจะเป็นที่จะอยู่ในกล่องนั้นๆ

Aczél , Forte และ Ng ^{[ 15 ]}ได้ให้ลักษณะเชิงสัจพจน์ที่กระชับอีกประการหนึ่งของเอนโทรปีของแชนนอนผ่านคุณสมบัติดังต่อไปนี้:

1. คุณสมบัติการบวกย่อย: ${\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}$ สำหรับตัวแปรสุ่มที่มีการแจกแจงร่วมกัน${\displaystyle X,Y}$.
2. คุณสมบัติการบวก: ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (X)+\mathrm {H} (Y)}$เมื่อตัวแปรสุ่ม${\displaystyle X,Y}$เป็นอิสระต่อกัน
3. ความสามารถในการขยาย: ${\displaystyle \mathrm {H} _{n+1}(p_{1},\ldots ,p_{n},0)=\mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$กล่าวคือ การเพิ่มผลลัพธ์ที่มีความน่าจะเป็นเป็นศูนย์จะไม่ทำให้เอนโทรปีเปลี่ยนแปลงไป
4. สมมาตร:${\displaystyle \mathrm {H} _{n}(p_{1},\ldots ,p_{n})}$ไม่เปลี่ยนแปลงภายใต้การเรียงสับเปลี่ยนของ${\displaystyle p_{1},\ldots ,p_{n}}$.
5. ขนาดเล็กสำหรับความน่าจะเป็นขนาดเล็ก: ${\displaystyle \lim _{q\to 0^{+}}\mathrm {H} _{2}(1-q,q)=0}$.

แรงบันดาลใจในการนำคำว่าเอนโทรปีมา ใช้ ในทฤษฎีสารสนเทศ มาจากความคล้ายคลึงกันอย่างมากระหว่างสูตรของแชนนอนกับสูตรที่รู้จักกันดีในกลศาสตร์เชิงสถิติ

ในอุณหพลศาสตร์เชิงสถิติสูตรทั่วไปที่สุดสำหรับเอนโทร ปีทางอุณหพลศาสตร์ Sของระบบทางอุณหพลศาสตร์คือเอนโทรปีของกิบส์$${\displaystyle S=-k_{\text{B}}\sum _{i}p_{i}\ln p_{i}\,,}$$ โดยที่k คือค่าคงที่ของ Boltzmannและp คือความน่าจะเป็นของ สถานะ จุลภาค เอนโทรปีของ Gibbsได้รับการนิยามโดยJ. Willard Gibbsในปี 1878 หลังจากงานก่อนหน้านี้ของLudwig Boltzmann (1872) ^{[ 16 ]}

เอนโทรปีของกิบบส์สามารถแปลงไปสู่โลกของฟิสิกส์ควอนตัม ได้โดยแทบไม่เปลี่ยนแปลง เพื่อให้ได้เอนโทรปีของฟอน นอยมัน น์ ซึ่ง จอห์น ฟอน นอยมันน์ได้นำเสนอไว้ในปี 1927: $${\displaystyle S=-k_{\text{B}}\,{\rm {Tr}}(\rho \ln \rho )\,,}$$ โดยที่ ρ คือเมทริกซ์ความหนาแน่นของระบบกลศาสตร์ควอนตัม และ Tr คือร่องรอย^{[ 17 ]}

ในระดับการใช้งานจริงในชีวิตประจำวัน ความเชื่อมโยงระหว่างเอนโทรปีของข้อมูลและเอนโทรปีทางเทอร์โมไดนามิกนั้นไม่ชัดเจน นักฟิสิกส์และนักเคมีมักจะสนใจการเปลี่ยนแปลงของเอนโทรปีในขณะที่ระบบค่อยๆ เปลี่ยนแปลงไปจากสภาวะเริ่มต้น ตามกฎข้อที่สองของเทอร์โมไดนามิกมากกว่าการกระจายความน่าจะเป็นที่ไม่เปลี่ยนแปลง ดังที่ค่าคงที่ของโบลต์ซมันน์kBแสดงให้เห็น การเปลี่ยนแปลงของS / แม้แต่ในปริมาณสารเพียงเล็กน้อยในกระบวนการทางเคมีและฟิสิกส์ ก็แสดงถึงปริมาณเอนโทรปีที่ใหญ่มากเมื่อเทียบกับสิ่งใดๆ ในการบีบอัดข้อมูลหรือการประมวลผลสัญญาณ ในเทอร์โมไดนามิกแบบคลาสสิก เอนปีถูกนิยามในแง่ของการวัดระดับมหภาคและไม่ได้อ้างอิงถึงการกระจายความน่าจะเป็นใดๆ ซึ่งเป็นหัวใจสำคัญของการนิยามเอนโทรปีของข้อมูล

ความเชื่อมโยงระหว่างอุณหพลศาสตร์และสิ่งที่ปัจจุบันรู้จักกันในชื่อทฤษฎีสารสนเทศนั้น เกิดขึ้นครั้งแรกโดยโบลต์ซมันน์ และแสดงออกมาด้วยสมการ ของเขา :

$${\displaystyle S=k_{\text{B}}\ln W,}$$

ที่ไหน${\displaystyle S}$เอนโทรปีทางเทอร์โมไดนามิกของสถานะมหภาคเฉพาะ (กำหนดโดยพารามิเตอร์ทางเทอร์โมไดนามิก เช่น อุณหภูมิ ปริมาตร พลังงาน ฯลฯ) คือWคือจำนวนสถานะจุลภาค (การรวมกันของอนุภาคในสถานะพลังงานต่างๆ) ที่สามารถให้สถานะมหภาคที่กำหนดได้ และk คือค่าคงที่ของโบลต์ซมันน์^{[ 18 ]}ถือว่าแต่ละสถานะจุลภาคมีโอกาสเกิดขึ้นเท่ากัน ดังนั้นความน่าจะเป็นของสถานะจุลภาคที่กำหนดคือp = 1/ Wเมื่อแทนค่าความน่าจะเป็นเหล่านี้ลงในนิพจน์ข้างต้นสำหรับเอนโทรปีของกิบส์ (หรือเทียบเท่ากับk คูณเอนโทรปีของแชนนอน) จะได้สมการของโบลต์ซมันน์ ในแง่ของทฤษฎีสารสนเทศ เอนโทรปีสารสนเทศของระบบคือปริมาณข้อมูลที่ "หายไป" ที่จำเป็นในการกำหนดสถานะจุลภาค เมื่อกำหนดสถานะมหภาคแล้ว

ในมุมมองของJaynes (1957) ^{[ 19 ]}เอนโทรปีทางเทอร์โมไดนามิก ตามที่อธิบายโดยกลศาสตร์เชิงสถิติควรถูกมองว่าเป็นการประยุกต์ใช้ทฤษฎีสารสนเทศของ Shannon: เอนโทรปีทางเทอร์โมไดนามิกถูกตีความว่าเป็นสัดส่วนกับปริมาณของข้อมูล Shannon เพิ่มเติมที่จำเป็นในการกำหนดสถานะจุลภาคโดยละเอียดของระบบ ซึ่งยังคงไม่ได้รับการสื่อสารโดยคำอธิบายเฉพาะในแง่ของตัวแปรมหภาคของเทอร์โมไดนามิกแบบคลาสสิก โดยที่ค่าคงที่ของสัดส่วนคือค่าคงที่ของ Boltzmann การเพิ่มความร้อนให้กับระบบจะเพิ่มเอนโทรปีทางเทอร์โมไดนามิกเนื่องจากเป็นการเพิ่มจำนวนสถานะจุลภาคที่เป็นไปได้ของระบบที่สอดคล้องกับค่าที่วัดได้ของตัวแปรมหภาค ทำให้คำอธิบายสถานะที่สมบูรณ์ยาวขึ้น (ดูบทความ: เทอร์โมไดนามิกเอนโทรปีสูงสุด ) ปีศาจของ Maxwellสามารถ (ในทางทฤษฎี) ลดเอนโทรปีทางเทอร์โมไดนามิกของระบบได้โดยใช้ข้อมูลเกี่ยวกับสถานะของโมเลกุลแต่ละตัว แต่ดังที่Landauer (ตั้งแต่ปี 1961) และเพื่อนร่วมงาน^{[ 20 ]}ได้แสดงให้เห็น ในการทำงาน ปีศาจเองจะต้องเพิ่มเอนโทรปีทางเทอร์โมไดนามิกในกระบวนการ อย่างน้อยที่สุดเท่ากับปริมาณข้อมูลของ Shannon ที่เขาเสนอให้รับและจัดเก็บไว้ก่อน ดังนั้นเอนโทรปีทางเทอร์โมไดนามิกโดยรวมจึงไม่ลดลง (ซึ่งแก้ความขัดแย้งได้) หลักการของ Landauerกำหนดขีดจำกัดล่างของปริมาณความร้อนที่คอมพิวเตอร์ต้องสร้างขึ้นเพื่อประมวลผลข้อมูลจำนวนหนึ่ง แม้ว่าคอมพิวเตอร์สมัยใหม่จะมีประสิทธิภาพน้อยกว่ามากก็ตาม

นิยามของเอนโทรปีของแชนนอน เมื่อนำไปใช้กับแหล่งข้อมูล สามารถกำหนดความจุช่องสัญญาณขั้นต่ำที่จำเป็นในการส่งแหล่งข้อมูลนั้นในรูปแบบตัวเลขไบนารีที่เข้ารหัสได้อย่างน่าเชื่อถือ เอนโทรปีของแชนนอนวัดข้อมูลที่มีอยู่ในข้อความ ไม่ใช่ส่วนของข้อความที่ถูกกำหนด (หรือคาดการณ์ได้) ตัวอย่างของส่วนหลัง ได้แก่ ความซ้ำซ้อนในโครงสร้างภาษา หรือคุณสมบัติทางสถิติที่เกี่ยวข้องกับความถี่ของการเกิดขึ้นของคู่ตัวอักษรหรือคำ กลุ่มสามตัว ฯลฯ ความจุช่องสัญญาณขั้นต่ำสามารถเกิดขึ้นได้ในทางทฤษฎีโดยใช้เซตทั่วไปหรือในทางปฏิบัติโดยใช้ การเข้ารหัส Huffman , Lempel–Zivหรือการเข้ารหัสเลขคณิต (ดูเพิ่มเติมที่ความซับซ้อนของ Kolmogorov ) ในทางปฏิบัติ อัลกอริทึมการ บีบอัดจะรวมความซ้ำซ้อนอย่างรอบคอบในรูปแบบของchecksumsเพื่อป้องกันข้อผิดพลาดอัตราเอนโทรปีของแหล่งข้อมูลคือจำนวนบิตเฉลี่ยต่อสัญลักษณ์ที่จำเป็นในการเข้ารหัส การทดลองของแชนนอนกับผู้ทำนายที่เป็นมนุษย์แสดงให้เห็นอัตราข้อมูลระหว่าง 0.6 ถึง 1.3 บิตต่ออักขระในภาษาอังกฤษ^{[ 21 ]}อัลกอริทึมการบีบอัด PPMสามารถบรรลุอัตราส่วนการบีบอัด 1.5 บิตต่ออักขระในข้อความภาษาอังกฤษ

หาก วิธี การบีบอัดข้อมูลเป็นแบบไม่สูญเสียข้อมูล – คือวิธีที่คุณสามารถกู้คืนข้อความต้นฉบับทั้งหมดได้เสมอโดยการคลายการบีบอัด – ข้อความที่ถูกบีบอัดจะมีปริมาณข้อมูลเท่ากับข้อความต้นฉบับ แต่สื่อสารด้วยจำนวนตัวอักษรที่น้อยลง มีข้อมูลมากขึ้น (เอนโทรปีสูงขึ้น) ต่อตัวอักษร ข้อความที่ถูกบีบอัดมีความซ้ำซ้อน น้อย ลงทฤษฎีการเข้ารหัสแหล่งที่มาของแชนนอนกล่าวว่า วิธีการบีบอัดแบบไม่สูญเสียข้อมูลไม่สามารถบีบอัดข้อความโดยเฉลี่ยให้มี ข้อมูล มากกว่าหนึ่งบิตต่อบิตของข้อความได้ แต่ค่าใดๆ ที่น้อยกว่าหนึ่งบิตต่อบิตของข้อความสามารถทำได้โดยการใช้รูปแบบการเข้ารหัสที่เหมาะสม เอนโทรปีของข้อความต่อบิตคูณด้วยความยาวของข้อความนั้นเป็นตัววัดว่าข้อความนั้นมีข้อมูลทั้งหมดเท่าใด ทฤษฎีของแชนนอนยังบ่งชี้ว่าไม่มีวิธีการบีบอัดแบบไม่สูญเสียข้อมูลใดที่สามารถทำให้ ข้อความ ทั้งหมด สั้นลงได้ หากข้อความบางส่วนสั้นลง อย่างน้อยหนึ่งข้อความจะต้องยาวขึ้นเนื่องจากหลักการรังนกพิราบ ในทางปฏิบัติแล้ว โดยทั่วไปนี่ไม่ใช่ปัญหา เพราะโดยปกติแล้วเรามักสนใจเฉพาะการบีบอัดข้อความบางประเภท เช่น เอกสารภาษาอังกฤษ แทนที่จะเป็นข้อความที่อ่านไม่ออก หรือภาพถ่ายดิจิทัล แทนที่จะเป็นสัญญาณรบกวน และไม่สำคัญว่าอัลกอริทึมการบีบอัดจะทำให้ลำดับข้อมูลที่ไม่น่าจะเป็นไปได้หรือไม่น่าสนใจบางส่วนมีขนาดใหญ่ขึ้นหรือไม่

การศึกษาในปี 2011 ในวารสาร Scienceประเมินศักยภาพทางเทคโนโลยีของโลกในการจัดเก็บและสื่อสารข้อมูลที่บีบอัดอย่างเหมาะสมที่สุด โดยอ้างอิงจากอัลกอริทึมการบีบอัดที่มีประสิทธิภาพสูงสุดที่มีอยู่ในปี 2007 ดังนั้นจึงเป็นการประมาณค่าเอนโทรปีของแหล่งข้อมูลทางเทคโนโลยีที่มีอยู่^{[ 22 ] : 60–65}

ผู้เขียนประเมินความสามารถทางเทคโนโลยีของมนุษยชาติในการจัดเก็บข้อมูล (บีบอัดเอนโทรปีอย่างสมบูรณ์) ในปี 1986 และอีกครั้งในปี 2007 พวกเขาแบ่งข้อมูลออกเป็นสามประเภท ได้แก่ การจัดเก็บข้อมูลบนสื่อ การรับข้อมูลผ่านเครือข่ายกระจายเสียงทางเดียว^หรือการ แลกเปลี่ยนข้อมูลผ่าน เครือข่ายโทรคมนาคมสองทาง^{[ 22} ]

เอนโทรปีเป็นหนึ่งในหลายวิธีในการวัดความหลากหลายทางชีวภาพและนำมาใช้ในรูปแบบของดัชนีแชนนอน [ ^{23 ] ดัชนี}ความหลากหลายเป็นการวัดทางสถิติเชิงปริมาณของจำนวนชนิดที่แตกต่างกันที่มีอยู่ในชุดข้อมูล เช่น ชนิดพันธุ์ในชุมชน โดยคำนึงถึงความอุดมสมบูรณ์ ทางนิเวศวิทยา ความสม่ำเสมอและความเด่นโดยเฉพาะอย่างยิ่ง เอนโทรปีของแชนนอนคือลอการิทึมของ¹ Dซึ่ง เป็นดัชนี ความหลากหลายที่แท้จริงที่มีพารามิเตอร์เท่ากับ 1 ดัชนีแชนนอนเกี่ยวข้องกับความอุดมสมบูรณ์ตามสัดส่วนของชนิดต่างๆ

มีแนวคิดที่เกี่ยวข้องกับเอนโทรปีอยู่หลายประการ ซึ่งใช้ในการวัดปริมาณข้อมูลของลำดับหรือข้อความในเชิงคณิตศาสตร์:

• ข้อมูล เกี่ยวกับ ตัวข้อความหรือสัญลักษณ์แต่ละตัวที่ได้มาจากชุดความน่าจะเป็นที่กำหนด (ข้อความหรือลำดับนั้นถูกมองว่าเป็นเหตุการณ์แต่ละเหตุการณ์)
• เอนโทรปีร่วมของสัญลักษณ์ที่ประกอบกันเป็นข้อความหรือลำดับ (ซึ่งมองได้ว่าเป็นชุดของเหตุการณ์)
• อัตราเอนโทรปีของกระบวนการสุ่ม (ข้อความหรือลำดับถูกมองว่าเป็นลำดับเหตุการณ์)

(อัตราการรับรู้ข้อมูลตนเองสามารถกำหนดได้สำหรับลำดับข้อความหรือสัญลักษณ์เฉพาะที่สร้างขึ้นโดยกระบวนการสุ่มที่กำหนดไว้ ซึ่งจะเท่ากับอัตราเอนโทรปีในกรณีของกระบวนการคงที่เสมอ ) นอกจากนี้ ยังมีการใช้ ปริมาณข้อมูล อื่นๆ เพื่อเปรียบเทียบหรือเชื่อมโยงแหล่งข้อมูลต่างๆ เข้าด้วยกัน

สิ่งสำคัญคืออย่าสับสนระหว่างแนวคิดข้างต้น บ่อยครั้งที่ต้องพิจารณาจากบริบทจึงจะเข้าใจว่าหมายถึงอะไร ตัวอย่างเช่น เมื่อมีคนกล่าวว่า "เอนโทรปี" ของภาษาอังกฤษอยู่ที่ประมาณ 1 บิตต่อตัวอักษร พวกเขากำลังจำลองภาษาอังกฤษเป็นกระบวนการสุ่มและพูดถึงอัตรา เอนโทรปีของมัน แชนนอนเองก็ใช้คำนี้ในลักษณะนี้เช่นกัน

หากใช้บล็อกขนาดใหญ่มาก การประมาณอัตราเอนโทรปีต่ออักขระอาจต่ำกว่าความเป็นจริง เนื่องจากไม่ทราบการกระจายความน่าจะเป็นของลำดับอย่างแน่ชัด เป็นเพียงการประมาณเท่านั้น หากพิจารณาข้อความของหนังสือทุกเล่มที่เคยตีพิมพ์เป็นลำดับ โดยแต่ละสัญลักษณ์แทนข้อความของหนังสือทั้งเล่ม และหากมี หนังสือที่ตีพิมพ์แล้ว Nเล่ม และแต่ละเล่มตีพิมพ์เพียงครั้งเดียว การประมาณความน่าจะเป็นของแต่ละเล่มคือ1/ Nและเอนโทรปี (ในบิต) คือ−log (1/ N ) = log ( N )ในทางปฏิบัติ การเขียนโค้ดแบบนี้จะสอดคล้องกับการกำหนดตัวระบุที่ไม่ซ้ำกัน ให้กับหนังสือแต่ละ เล่ม และใช้ตัวระบุนี้แทนข้อความของหนังสือเมื่อใดก็ตามที่ต้องการอ้างอิงถึงหนังสือ วิธีนี้มีประโยชน์อย่างมากสำหรับการพูดคุยเกี่ยวกับหนังสือ แต่ไม่ค่อยมีประโยชน์สำหรับการระบุลักษณะเนื้อหาข้อมูลของหนังสือแต่ละเล่ม หรือของภาษาโดยทั่วไป เพราะไม่สามารถสร้างหนังสือขึ้นใหม่จากตัวระบุได้หากไม่ทราบการกระจายความน่าจะเป็น นั่นคือข้อความทั้งหมดของหนังสือทุกเล่ม แนวคิดหลักคือต้องพิจารณาความซับซ้อนของแบบจำลองความน่าจะเป็น ความซับซ้อน ของ Kolmogorovเป็นการขยายแนวคิดนี้ในเชิงทฤษฎี ซึ่งช่วยให้สามารถพิจารณาเนื้อหาข้อมูลของลำดับโดยไม่ขึ้นอยู่กับแบบจำลองความน่าจะเป็นใดๆ โดยจะพิจารณาโปรแกรม ที่สั้นที่สุด สำหรับคอมพิวเตอร์สากลที่ส่งออกลำดับนั้น รหัสที่ทำให้ได้อัตราเอนโทรปีของลำดับสำหรับแบบจำลองที่กำหนด บวกกับสมุดรหัส (เช่น แบบจำลองความน่าจะเป็น) เป็นโปรแกรมหนึ่งในลักษณะนี้ แต่รหัสนั้นอาจไม่ใช่รหัสที่สั้นที่สุด

ลำดับฟิโบนาชชีคือ 1, 1, 2, 3, 5, 8, 13, ... หากมองลำดับนี้เป็นข้อความและแต่ละตัวเลขเป็นสัญลักษณ์ จะมีสัญลักษณ์เกือบเท่ากับจำนวนตัวอักษรในข้อความ ทำให้ได้เอนโทรปีประมาณlog ( n )สัญลักษณ์ 128 ตัวแรกของลำดับฟิโบนาชชีมีเอนโทรปีประมาณ 7 บิต/สัญลักษณ์ แต่ลำดับนี้สามารถแสดงได้โดยใช้สูตร [ F( n ) = F( n − 1) + F( n − 2)สำหรับn = 3, 4, 5, ... , F(1) = 1 , F(2) = 1 ] และสูตรนี้มีเอนโทรปีต่ำกว่ามากและใช้ได้กับลำดับฟิโบนาชชีทุกความยาว

ในด้านการวิเคราะห์รหัสลับ เอนโทรปีมักถูกใช้เป็นมาตรวัดความไม่แน่นอนของรหัสลับโดยประมาณ แม้ว่าความไม่แน่นอนที่ แท้จริงนั้น วัดไม่ได้ก็ตาม ตัวอย่างเช่น รหัส 128 บิตที่สร้างขึ้นแบบสุ่มอย่างสม่ำเสมอจะมีเอนโทรปี 128 บิต และใช้เวลา (โดยเฉลี่ย)${\displaystyle 2^{127}}$การเดาเพื่อทำลายด้วยกำลังแบบบรูทฟอร์ซ เอนโทรปีไม่สามารถจับจำนวนการเดาที่จำเป็นได้หากคีย์ที่เป็นไปได้ไม่ได้ถูกเลือกอย่างสม่ำเสมอ^{[ 24 ] [ 25 ]}ในทางกลับกัน สามารถใช้การวัดที่เรียกว่าการเดาเพื่อวัดความพยายามที่จำเป็นสำหรับการโจมตีแบบบรูทฟอร์ซได้^{[ 26 ]}

ปัญหาอื่นๆ อาจเกิดขึ้นจากการกระจายที่ไม่สม่ำเสมอที่ใช้ในการเข้ารหัสลับ ตัวอย่างเช่น รหัสลับแบบใช้ครั้งเดียว (One-Time Pad)ไบนารี 1,000,000 หลักที่ใช้การดำเนินการแบบ Exclusive OR หากรหัสลับมีเอนโทรปี 1,000,000 บิต ก็จะปลอดภัยอย่างสมบูรณ์ หากรหัสลับมีเอนโทรปี 999,999 บิต กระจายอย่างสม่ำเสมอ (แต่ละบิตของรหัสลับมีเอนโทรปี 0.999999 บิต) ก็อาจให้ความปลอดภัยที่ดีได้ แต่หากรหัสลับมีเอนโทรปี 999,999 บิต โดยที่บิตแรกคงที่และ 999,999 บิตที่เหลือเป็นแบบสุ่มอย่างสมบูรณ์ บิตแรกของข้อความที่เข้ารหัสจะไม่สามารถเข้ารหัสได้เลย

วิธีทั่วไปในการกำหนดเอนโทรปีสำหรับข้อความนั้นอิงตามแบบจำลองมาร์คอฟของข้อความ สำหรับแหล่งข้อมูลลำดับที่ 0 (แต่ละอักขระถูกเลือกโดยอิสระจากอักขระก่อนหน้า) เอนโทรปีไบนารีคือ:

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\log p_{i},}$$

โดยที่p คือความน่าจะเป็นของi สำหรับ แหล่งกำเนิด Markovลำดับที่หนึ่ง(ซึ่งความน่าจะเป็นของการเลือกตัวอักษรขึ้นอยู่กับตัวอักษรที่อยู่ก่อนหน้าทันทีเท่านั้น) อัตราเอนโทรปีคือ: ^{[ 27 ]}

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}\ p_{i}(j)\log p_{i}(j),}$$

โดยที่iคือสถานะ (มีอักขระนำหน้าบางตัว) และ${\displaystyle p_{i}(j)}$คือความน่าจะเป็นของjเมื่อกำหนดให้iเป็นตัวอักษรก่อนหน้า

สำหรับแหล่งกำเนิดมาร์คอฟลำดับที่สอง อัตราเอนโทรปีคือ

$${\displaystyle \mathrm {H} ({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\sum _{k}p_{i,j}(k)\ \log p_{i,j}(k).}$$

เอนโทรปีของแชนนอนนั้นจำกัดอยู่เฉพาะตัวแปรสุ่มที่รับค่าแบบไม่ต่อเนื่องเท่านั้น สูตรที่สอดคล้องกันสำหรับตัวแปรสุ่มต่อเนื่องที่มีฟังก์ชันความหนาแน่นความน่าจะเป็นf ( x )ที่มีขอบเขตจำกัดหรืออนันต์นั้นแตกต่างออกไป${\displaystyle \mathbb {X} }$บนเส้นจริงถูกกำหนดโดยการเปรียบเทียบ โดยใช้รูปแบบของเอนโทรปีข้างต้นเป็นความคาดหวัง: ^{[ 10 ] : 224}

$${\displaystyle \mathrm {H} (X)=\mathbb {E} [-\log f(X)]=-\int _{\mathbb {X} }f(x)\log f(x)\,\mathrm {d} x.}$$

นี่คือเอนโทรปีเชิงอนุพันธ์ (หรือเอนโทรปีต่อเนื่อง) ตัวบ่งชี้เบื้องต้นของเอนโทรปีต่อเนื่องh [ f ]คือนิพจน์สำหรับฟังก์ชันHในทฤษฎีบท Hของโบลต์ซมันน์

แม้ว่าความคล้ายคลึงกันระหว่างฟังก์ชันทั้งสองจะน่าสนใจ แต่คำถามต่อไปนี้ต้องถูกตั้งขึ้น: เอนโทรปีเชิงอนุพันธ์เป็นส่วนขยายที่ถูกต้องของเอนโทรปีแบบไม่ต่อเนื่องของแชนนอนหรือไม่? เอนโทรปีเชิงอนุพันธ์ขาดคุณสมบัติหลายประการที่เอนโทรปีแบบไม่ต่อเนื่องของแชนนอนมี – มันอาจมีค่าเป็นลบได้–  และมีการเสนอการแก้ไขหลายประการ โดยเฉพาะอย่างยิ่งการจำกัดความหนาแน่นของจุดแบบไม่ต่อเนื่อง

เพื่อตอบคำถามนี้ จำเป็นต้องสร้างความเชื่อมโยงระหว่างฟังก์ชันทั้งสอง:

เพื่อให้ได้มาซึ่งค่าที่จำกัดโดยทั่วไปเมื่อขนาดของช่วงข้อมูลเข้าใกล้ศูนย์ ในกรณีแบบไม่ต่อเนื่อง ขนาดของช่วงข้อมูลคือความกว้าง (โดยนัย) ของแต่ละ ช่วงข้อมูล nช่วง (จำกัดหรืออนันต์) ซึ่งความน่าจะเป็นของแต่ละช่วงข้อมูลจะถูกแทนด้วยp เมื่อโดเมนแบบต่อเนื่องถูกขยายให้ทั่วไป ความกว้างจะต้องถูกระบุอย่างชัดเจน

ในการทำเช่นนี้ ให้เริ่มต้นด้วยฟังก์ชันต่อเนื่องfที่ถูกแบ่งออกเป็นช่วงย่อยขนาดต่างๆ${\displaystyle \Delta }$ตาม ทฤษฎีค่าเฉลี่ย จะมีค่าx ในแต่ละช่วงค่าอยู่ค่าหนึ่ง ซึ่งทำให้ $${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)\,dx}$$ อินทิกรัลของฟังก์ชันfสามารถประมาณได้ (ในความหมายของรีมันน์) โดย $${\displaystyle \int _{-\infty }^{\infty }f(x)\,dx=\lim _{\Delta \to 0}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta ,}$$ โดยที่ขีดจำกัดนี้และ "ขนาดช่องข้อมูลเข้าใกล้ศูนย์" มีความหมายเทียบเท่ากัน

เราจะระบุ $${\displaystyle \mathrm {H} ^{\Delta }:=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log \left(f(x_{i})\Delta \right)}$$ และเมื่อขยายลอการิทึม เราจะได้ $${\displaystyle \mathrm {H} ^{\Delta }=-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))-\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(\Delta ).}$$

เมื่อΔ → 0เราจะได้

$${\displaystyle {\begin{aligned}\sum _{i=-\infty }^{\infty }f(x_{i})\Delta &\to \int _{-\infty }^{\infty }f(x)\,dx=1\\\sum _{i=-\infty }^{\infty }f(x_{i})\Delta \log(f(x_{i}))&\to \int _{-\infty }^{\infty }f(x)\log f(x)\,dx.\end{aligned}}}$$

หมายเหตุ: log(Δ) → −∞เมื่อΔ → 0จำเป็นต้องมีการกำหนดนิยามพิเศษของเอนโทรปีเชิงอนุพันธ์หรือต่อเนื่อง:

$${\displaystyle h[f]=\lim _{\Delta \to 0}\left(\mathrm {H} ^{\Delta }+\log \Delta \right)=-\int _{-\infty }^{\infty }f(x)\log f(x)\,dx,}$$

ซึ่งดังที่กล่าวไว้ก่อนหน้านี้ เรียกว่า เอนโทรปีเชิงอนุพันธ์ หมายความว่า เอนโทรปีเชิงอนุพันธ์ไม่ใช่ลิมิตของเอนโทรปีของแชนนอนสำหรับn → ∞แต่แตกต่างจากลิมิตของเอนโทรปีของแชนนอนด้วยค่าชดเชยอนันต์ (ดูบทความเกี่ยวกับมิติสารสนเทศ เพิ่มเติม )

ผลที่ได้คือ ปรากฏว่า ต่างจากเอนโทรปีของแชนนอน เอนโทรปีเชิงอนุพันธ์ โดยทั่วไป ไม่ใช่มาตรวัดความไม่แน่นอนหรือข้อมูลที่ดี ตัวอย่างเช่น เอนโทรปีเชิงอนุพันธ์อาจมีค่าเป็นลบได้ และยังไม่คงที่ภายใต้การแปลงพิกัดแบบต่อเนื่อง ปัญหานี้สามารถแสดงให้เห็นได้โดยการเปลี่ยนหน่วยเมื่อxเป็นตัวแปรที่มีมิติf ( x )จะมีหน่วยเป็น1/ xอาร์กิวเมนต์ของลอการิทึมต้องไม่มีมิติ มิฉะนั้นจะไม่เหมาะสม ดังนั้นเอนโทรปีเชิงอนุพันธ์ที่กล่าวมาข้างต้นจึงไม่เหมาะสม หากΔเป็นค่า "มาตรฐาน" ของx (เช่น "ขนาดช่วง") และมีหน่วยเดียวกัน เอนโทรปีเชิงอนุพันธ์ที่ปรับปรุงแล้วอาจเขียนในรูปแบบที่เหมาะสมได้ดังนี้: $${\displaystyle \mathrm {H} =\int _{-\infty }^{\infty }f(x)\log(f(x)\,\Delta )\,dx,}$$ และผลลัพธ์จะเหมือนกันไม่ว่าเราจะเลือกหน่วยใดสำหรับxก็ตาม ในความเป็นจริง ขีดจำกัดของเอนโทรปีแบบไม่ต่อเนื่องเมื่อ${\displaystyle N\rightarrow \infty }$ซึ่งจะรวมถึงระยะเวลาหนึ่งด้วย${\displaystyle \log(N)}$ซึ่งโดยทั่วไปจะมีค่าเป็นอนันต์ นี่เป็นสิ่งที่คาดการณ์ได้: ตัวแปรต่อเนื่องมักจะมีเอนโทรปีเป็นอนันต์เมื่อถูกทำให้เป็นแบบไม่ต่อเนื่อง ความหนาแน่นจำกัดของจุดแบบไม่ต่อเนื่องนั้นเป็นตัววัดว่าการอธิบายการกระจายตัวนั้นง่ายกว่าการกระจายตัวที่เป็นเอกรูปตลอดแผนการควอนไทเซชันมากน้อยเพียงใด

อีกหนึ่งมาตรวัดเอนโทรปีที่มีประโยชน์และใช้ได้ดีทั้งในกรณีแบบไม่ต่อเนื่องและแบบต่อเนื่อง คือเอนโทรปีสัมพัทธ์ของการแจกแจง โดยนิยามคือ ค่า ความแตกต่างแบบ Kullback–Leiblerจากการแจกแจงไปยังมาตรวัดอ้างอิงmดังนี้ สมมติว่าการแจกแจงความน่าจะเป็นpมีความต่อเนื่องอย่างสมบูรณ์เมื่อเทียบกับมาตรวัดmกล่าวคือ อยู่ในรูปแบบp ( dx ) = f ( x ) m ( dx )สำหรับ ฟังก์ชัน f ที่ไม่เป็นลบและ สามารถหาปริพันธ์ได้m โดยที่ m -integral เท่ากับ1 แล้ว เอนโทรปีสัมพัทธ์สามารถนิยามได้ดังนี้ $${\displaystyle D_{\mathrm {KL} }(p\|m)=\int \log(f(x))p(dx)=\int f(x)\log(f(x))m(dx).}$$

ในรูปแบบนี้ เอนโทรปีสัมพัทธ์เป็นการขยายความ (โดยมีการเปลี่ยนแปลงเครื่องหมาย) ทั้งเอนโทรปีแบบไม่ต่อเนื่อง ซึ่งมาตรวัดmคือมาตรวัดการนับและเอนโทรปีเชิงอนุพันธ์ ซึ่งมาตรวัดmคือมาตรวัดเลเบสหากมาตรวัดmเป็นการแจกแจงความน่าจะเป็น เอนโทรปีสัมพัทธ์จะมีค่าไม่เป็นลบ และเป็นศูนย์หากp = mเป็นมาตรวัด เอนโทรปีสัมพัทธ์ถูกกำหนดขึ้นสำหรับปริภูมิมาตรวัดใดๆ ดังนั้นจึงไม่ขึ้นกับพิกัดและไม่เปลี่ยนแปลงภายใต้การกำหนดพารามิเตอร์พิกัดใหม่ หากพิจารณาการแปลงของมาตรวัด m อย่างถูกต้องเอนโทรปีสัมพัทธ์ และ (โดยปริยาย) เอนโทรปีและเอนโทรปีเชิงอนุพันธ์ ขึ้นอยู่กับมาตรวัด "อ้างอิง" m

ตัวอย่างง่ายๆ ของเรื่องนี้คือ การพิสูจน์อีกวิธีหนึ่งของอสมการลูมิส-วิทนีย์ : สำหรับทุกเซตย่อยA ⊆ Z ^dเราจะได้ว่า $${\displaystyle |A|^{d-1}\leq \prod _{i=1}^{d}|P_{i}(A)|}$$ โดยที่P คือการฉายภาพเชิงตั้งฉากใน พิกัดที่ i : $${\displaystyle P_{i}(A)=\{(x_{1},\ldots ,x_{i-1},x_{i+1},\ldots ,x_{d}):(x_{1},\ldots ,x_{d})\in A\}.}$$

การพิสูจน์เป็นไปตามบทสรุปง่ายๆ ของอสมการของเชียร์เรอร์ : ถ้าX , ..., X เป็นตัวแปรสุ่ม และS , ..., S เป็นเซตย่อยของ{1, ..., d } โดยที่จำนวนเต็มทุกจำนวนระหว่าง 1 และdอยู่ในเซตย่อยเหล่านี้ เพียง r เซตเท่านั้น แล้ว$${\displaystyle \mathrm {H} [(X_{1},\ldots ,X_{d})]\leq {\frac {1}{r}}\sum _{i=1}^{n}\mathrm {H} [(X_{j})_{j\in S_{i}}]}$$ ที่ไหน${\displaystyle (X_{j})_{j\in S_{i}}}$คือผลคูณคาร์ทีเซียนของตัวแปรสุ่มX ที่มีดัชนีjในS (ดังนั้นมิติของเวกเตอร์นี้จึงเท่ากับขนาดของS )

เราจะอธิบายคร่าวๆ ว่าทฤษฎีบท Loomis–Whitney สืบเนื่องมาจากสิ่งนี้ได้อย่างไร: ให้Xเป็นตัวแปรสุ่มที่มีการแจกแจงแบบเอกรูป โดยมีค่าอยู่ในAและแต่ละจุดในAเกิดขึ้นด้วยความน่าจะเป็นเท่ากัน แล้ว (จากคุณสมบัติเพิ่มเติมของเอนโทรปีที่กล่าวถึงข้างต้น) Η( X ) = log | A |โดยที่| A |หมายถึงจำนวนสมาชิกของAให้S = {1, 2, ..., i −1, i +1, ..., d } ช่วงของ${\displaystyle (X_{j})_{j\in S_{i}}}$อยู่ในPi ( A ) ดังนั้น${\displaystyle \mathrm {H} [(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|}$จากนั้นใช้ค่านี้เพื่อกำหนดขอบเขตด้านขวาของอสมการของเชียร์เรอร์ และยกกำลังด้านตรงข้ามของอสมการที่ได้

สำหรับจำนวนเต็ม0 < k < nให้q = k / nแล้ว $${\displaystyle {\frac {2^{n\mathrm {H} (q)}}{n+1}}\leq {\tbinom {n}{k}}\leq 2^{n\mathrm {H} (q)},}$$ โดยที่^{[ 33 ] : 43}$${\displaystyle \mathrm {H} (q)=-q\log _{2}(q)-(1-q)\log _{2}(1-q).}$$

หลักฐาน (ร่าง)

โปรดทราบว่า${\displaystyle {\tbinom {n}{k}}q^{qn}(1-q)^{n-nq}}$เป็นพจน์หนึ่งของนิพจน์ $${\displaystyle \sum _{i=0}^{n}{\tbinom {n}{i}}q^{i}(1-q)^{n-i}=(q+(1-q))^{n}=1.}$$ การจัดเรียงใหม่จะให้ขอบเขตบน สำหรับขอบเขตล่างนั้น ขั้นแรกต้องแสดงให้เห็นโดยใช้พีชคณิตบางอย่างว่ามันคือพจน์ที่ใหญ่ที่สุดในผลรวม แต่แล้ว... $${\displaystyle {\binom {n}{k}}q^{qn}(1-q)^{n-nq}\geq {\frac {1}{n+1}}}$$เนื่องจาก ผลรวม มีn + 1 พจน์ การจัดเรียงใหม่จะให้ค่าขอบล่าง

การตีความที่ดีอย่างหนึ่งก็คือ จำนวนสตริงไบนารีที่มีความยาวn และมี เลข 1 อยู่ kตัวพอดี นั้น มีค่าโดยประมาณเท่ากับ${\displaystyle 2^{n\mathrm {H} (k/n)}}$[ ^{34 ]​}

• ปก, TM , Thomas, JA (2006), องค์ประกอบของทฤษฎีสารสนเทศ – ฉบับที่ 2 , Wiley-Interscience, ISBN 978-0-471-24195-9
• MacKay, DJC (2003), ทฤษฎีสารสนเทศ การอนุมาน และอัลกอริธึมการเรียนรู้ , สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์, ISBN 978-0-521-64298-9
• Arndt, C. (2004), การวัดข้อมูล: ข้อมูลและการอธิบายข้อมูลในวิทยาศาสตร์และวิศวกรรมศาสตร์ , Springer, ISBN 978-3-540-40855-0
• Gray, RM (2011), เอนโทรปีและทฤษฎีสารสนเทศ , Springer.
• Martin, Nathaniel FG; England, James W. (2011). ทฤษฎีทางคณิตศาสตร์ของเอนโทรปี . สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์. ISBN 978-0-521-17738-2.
• Shannon, CE , Weaver, W. (1949) ทฤษฎีทางคณิตศาสตร์ของการสื่อสารสำนักพิมพ์มหาวิทยาลัยอิลลินอยส์ISBN 0-252-72548-4
• สโตน, เจวี (2014), บทที่ 1 ของทฤษฎีสารสนเทศ: บทนำเชิงสอนเก็บถาวรเมื่อวันที่ 3 มิถุนายน 2016 ที่Wayback Machineมหาวิทยาลัยเชฟฟิลด์ ประเทศอังกฤษISBN 978-0956372857.
• ทริบัส, ไมรอน (1961). อุณหพลศาสตร์และเทอร์โมสแตติกส์: บทนำเกี่ยวกับพลังงาน ข้อมูล และสถานะของสสาร พร้อมการประยุกต์ใช้ทางวิศวกรรมชุดหนังสือพื้นฐานทางวิศวกรรม เล่มที่ 1 พรินซ์ตัน: ดี. แวน นอสแตรนด์OCLC 1036889774