ในทฤษฎีสารสนเทศเอนโทรปีของเรนยีเป็นปริมาณที่สรุปแนวคิดต่างๆ ของเอนโทรปีรวมถึงเอนโทรปีของฮาร์ทลีย์เอนโทรปีของแชนนอนเอนโทรปีของการชนและเอนโทรปีขั้นต่ำเอนโทรปีของเรนยีตั้งชื่อตามอัลเฟรด เรนยีผู้ซึ่งค้นหาวิธีการทั่วไปที่สุดในการวัดปริมาณสารสนเทศในขณะที่ยังคงรักษาคุณสมบัติการบวกสำหรับเหตุการณ์อิสระ^{[ 1 ] [ 2 ]}ในบริบทของ การประมาณ มิติแฟรกทัล เอนโทรปีของเรนยีเป็นพื้นฐานของแนวคิดมิติทั่วไป^{[ 3 ]}

เอนโทรปีของเรนยีมีความสำคัญในนิเวศวิทยาและสถิติในฐานะดัชนีของความหลากหลายเอนโทรปีของเรนยียังมีความสำคัญในข้อมูลควอนตัมซึ่งสามารถใช้เป็นตัววัดการพันกันได้ ในแบบ จำลองโซ่สปิน XY ของไฮเซนเบิร์ก เอนโทรปีของเรนยีเป็นฟังก์ชันของαสามารถคำนวณได้อย่างชัดเจนเนื่องจากเป็นฟังก์ชันอัตโนมัติที่เกี่ยวข้องกับกลุ่มย่อยเฉพาะของกลุ่มมอดูลาร์ [ ^{4 ] [ 5 ] ใน} วิทยาศาสตร์คอมพิวเตอร์เชิงทฤษฎีเอนโทรปีขั้นต่ำถูกใช้ในบริบทของตัวสกัดความสุ่ม

อนุญาต${\displaystyle X}$เป็นตัวแปรสุ่มแบบไม่ต่อเนื่องที่มีผลลัพธ์ที่เป็นไปได้ในเซต${\displaystyle {\mathcal {A}}=\{x_{1},x_{2},...,x_{n}\}}$และความน่าจะเป็นที่สอดคล้องกัน${\displaystyle p_{i}\doteq \Pr(X=x_{i})}$สำหรับ​${\displaystyle i=1,\dots ,n}$. ​จากนั้นเอนโทรปีของคำสั่ง Rényi ⁠${\displaystyle \alpha }$โดยที่${\displaystyle 0<\อัลฟา <\infty }$และ​${\displaystyle \alpha \neq 1}$⁠ถูกกำหนดเป็น ^{[ 1 ]}$${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {1}{1-\alpha }}\log \left(\sum _{i=1}^{n}p_{i}^{\alpha }\right).}$$ มีการกำหนดเพิ่มเติมไว้ดังนี้${\displaystyle \alpha =0,1,\infty }$เช่น $${\displaystyle \mathrm {H} _{\alpha }(X)=\lim _{\gamma \to \alpha }\mathrm {H} _{\gamma }(X)}$$

หน่วยข้อมูลที่ได้จะถูกกำหนดโดยฐานของ ลอการิทึมเช่นshannonสำหรับฐาน 2 หรือnatสำหรับฐานeถ้าความน่าจะเป็นเป็น${\displaystyle p_{i}=1/n}$สำหรับทุกคน${\displaystyle i=1,\dots ,n}$ดังนั้นค่าเอนโทรปีของเรนยีทั้งหมดของการแจกแจงจึงเท่ากัน :${\displaystyle \mathrm {H} _{\alpha }(X)=\log n}$โดยทั่วไปสำหรับตัวแปรสุ่มแบบไม่ต่อเนื่องทั้งหมด${\displaystyle X}$⁠ ,${\displaystyle \mathrm {H} _{\alpha }(X)}$เป็นฟังก์ชันที่ไม่เพิ่มขึ้นใน⁠${\displaystyle \alpha }$⁠ .

แอปพลิเคชันต่างๆ มักใช้ประโยชน์จากความสัมพันธ์ต่อไปนี้ระหว่างเอนโทรปีของเรนยีและ นอร์ม อัลฟาของเวกเตอร์ความน่าจะเป็น: $${\displaystyle \mathrm {H} _{\alpha }(X)={\frac {\alpha }{1-\alpha }}\log \left({\left\|P\right\|}_{\alpha }\right).}$$ ในที่นี้ คือการกระจายความน่าจะเป็น แบบไม่ต่อเนื่อง${\displaystyle P=(p_{1},\dots ,p_{n})}$ถูกตีความว่าเป็นเวกเตอร์ใน${\displaystyle \mathbb {R} ^{n}}$กับ${\displaystyle p_{i}\geq 0}$และ${\textstyle \sum _{i=1}^{n}p_{i}=1}$.

เอนโทรปีของเรนยีสำหรับสิ่งใดๆ${\displaystyle \alpha \geq 0}$เป็นเว้าแบบ Schurซึ่งเป็นคุณสมบัติที่สามารถพิสูจน์ได้ด้วยเกณฑ์ Schur–Ostrowski

เช่น${\displaystyle \alpha }$เมื่อค่าเข้าใกล้ศูนย์ เอนโทรปีของเรนยีจะให้น้ำหนักกับเหตุการณ์ทั้งหมดที่มีความน่าจะเป็นไม่เป็นศูนย์อย่างเท่าเทียมกันมากขึ้นเรื่อยๆ โดยไม่คำนึงถึงความน่าจะเป็นของเหตุการณ์เหล่านั้น ในขีดจำกัดสำหรับ ⁠${\displaystyle \alpha \to 0}$เอนโทรปีของเรนยีก็คือลอการิทึมของขนาดของส่วนรองรับของ X นั่นเองขีดจำกัดสำหรับ ${\displaystyle \alpha \to 1}$คือเอนโทรปีของแชนนอนสำหรับ${\displaystyle \alpha =2}$เอนโทรปีของเรนยีมีความสัมพันธ์กับความน่าจะเป็นของการชน และปริมาณ${\displaystyle 2^{H_{2}}=1/\sum p_{i}^{2}}$เป็นที่รู้จักกันในชื่ออัตราส่วนการมีส่วนร่วม ซึ่งใช้กันอย่างแพร่หลายในฟิสิกส์สสารควบแน่นและทฤษฎีเมทริกซ์สุ่ม เพื่อวัดจำนวนสถานะที่มีประสิทธิภาพที่ก่อให้เกิดการกระจายตัว${\displaystyle \alpha }$เมื่อค่าเอนโทรปีของเรนยีเข้าใกล้ค่าอนันต์ ค่าดังกล่าวจะถูกกำหนดโดยเหตุการณ์ที่มีความน่าจะเป็นสูงสุดมากขึ้นเรื่อยๆ

ที่${\displaystyle \mathrm {H} _{\alpha }}$ไม่เพิ่มขึ้นใน${\displaystyle \alpha }$สำหรับการกระจายความน่าจะเป็นใดๆก็ตาม${\displaystyle p_{i}}$ซึ่งสามารถพิสูจน์ได้โดยการอนุพันธ์ ^{[ 9 ]}ดังนี้ $${\displaystyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}={\frac {1}{(1-\alpha )^{2}}}\sum _{i=1}^{n}z_{i}\log(z_{i}/p_{i})={\frac {1}{(1-\alpha )^{2}}}D_{\text{KL}}(z\|p)}$$ ซึ่งเป็นสัดส่วนกับความแตกต่างของ Kullback–Leibler (ซึ่งมีค่าไม่เป็นลบเสมอ) โดยที่ ${\textstyle z_{i}=p_{i}^{\alpha }/\sum _{j=1}^{n}p_{j}^{\alpha }}$โดยเฉพาะอย่างยิ่ง ค่านี้จะเป็นบวกอย่างแน่นอน ยกเว้นในกรณีที่การกระจายตัวเป็นแบบสม่ำเสมอ

ที่${\displaystyle \alpha \to 1}$ขีดจำกัด เรามี${\textstyle -{\frac {d\mathrm {H} _{\alpha }}{d\alpha }}\to {\frac {1}{2}}\sum _{i}p_{i}{\left(\ln p_{i}+H(p)\right)}^{2}}$.

ในกรณีเฉพาะ ความไม่เท่าเทียมกันสามารถพิสูจน์ได้ด้วยความไม่เท่าเทียมกันของ Jensen เช่นกัน : ^{[ 10 ] [ 11 ]}$${\displaystyle \log n=\mathrm {H} _{0}\geq \mathrm {H} _{1}\geq \mathrm {H} _{2}\geq \mathrm {H} _{\infty }.}$$

สำหรับค่าของ⁠${\displaystyle \alpha >1}$ความไม่เท่าเทียม กันในทิศทางอื่นก็เป็นจริงเช่นกัน โดยเฉพาะอย่างยิ่ง เรามี ^{[ 12 ] [ 13 ]}$${\displaystyle \mathrm {H} _{2}\leq 2\mathrm {H} _{\infty }.}$$

ในทางกลับกัน เอนโทรปีของแชนนอน${\displaystyle \mathrm {H} _{1}}$ค่านี้อาจสูงมากได้ตามอำเภอใจสำหรับตัวแปรสุ่ม${\displaystyle X}$ซึ่งมีค่าเอนโทรปีขั้นต่ำที่กำหนดไว้ ตัวอย่างเช่น ลำดับของตัวแปรสุ่ม${\displaystyle X_{n}\sim \{0,\ldots ,n\}}$สำหรับ${\displaystyle n\geq 1}$โดยที่${\displaystyle P(X_{n}=0)=1/2}$และ${\displaystyle P(X_{n}=x)=1/(2n)}$เนื่องจาก${\displaystyle \mathrm {H} _{\infty }(X_{n})=\log 2}$แต่​${\displaystyle \mathrm {H} _{1}(X_{n})=(\log 2+\log 2n)/2}$⁠ .

นอกจากเอนโทรปี Rényi สัมบูรณ์แล้ว Rényi ยังได้กำหนดสเปกตรัมของการวัดความแตกต่างซึ่งเป็นการขยาย ความแตกต่าง ของKullback–Leibler อีกด้วย ^{[ 14 ]}

ความ แตกต่าง ของคำสั่งRényi ⁠${\displaystyle \alpha }$หรือค่าอัลฟาไดเวอร์เจนซ์ของการกระจายPจากการกระจาย Qถูกกำหนดให้เป็น $${\displaystyle {\begin{aligned}D_{\alpha }(P\Vert Q)&={\frac {1}{\alpha -1}}\log \left(\sum _{i=1}^{n}{\frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}\right)\\[1ex]&={\frac {1}{\alpha -1}}\log \mathbb {E} _{i\sim p}\left[{\left(p_{i}/q_{i}\right)}^{\alpha -1}\right]\,\end{aligned}}}$$ เมื่อ​${\displaystyle 0<\alpha <\infty }$และ​​${\displaystyle \alpha \neq 1}$เราสามารถกำหนดความแตกต่างของเรนยี (Rényi divergence) สำหรับค่าพิเศษ α = 0, 1, ∞ ได้โดยการหาลิมิต และโดยเฉพาะอย่างยิ่งลิมิต α → 1จะให้ความแตกต่างของคัลล์แบ็ก-ไลเบลอร์ (Kullback–Leibler divergence)

กรณีพิเศษบางประการ:

• ⁠${\displaystyle D_{0}(P\Vert Q)=-\log Q(\{i:p_{i}>0\})}$:ลบด้วยค่าลอการิทึมของความน่าจะเป็นภายใต้ Qที่ p > 0 ;
• ⁠${\displaystyle D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}}}$:ลบด้วยสองเท่าของลอการิทึมของสัมประสิทธิ์ Bhattacharyya ( Nielsen & Boltz (2010) )
• ⁠${\displaystyle D_{1}(P\Vert Q)=\sum _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}}$:ความKullbackและ Leibler
• ⁠${\displaystyle D_{2}(P\Vert Q)=\log {\Big \langle }{\frac {p_{i}}{q_{i}}}{\Big \rangle }}$:ค่าลอการิทึมของอัตราส่วนที่คาดหวังของความน่าจะเป็น
• ⁠${\displaystyle D_{\infty }(P\Vert Q)=\log \sup _{i}{\frac {p_{i}}{q_{i}}}}$:ค่าลอการิทึมของอัตราส่วนสูงสุดของความน่าจะเป็น

ความแตกต่างของเรนยี (Rényi divergence) เป็นความแตกต่าง อย่างแท้จริง ซึ่งหมายความว่า${\displaystyle D_{\alpha }(P\|Q)}$มีค่ามากกว่าหรือเท่ากับศูนย์ และมีค่าเป็นศูนย์เฉพาะเมื่อP = Q เท่านั้น สำหรับการแจกแจงPและQ ที่กำหนดไว้ใดๆ ค่าความแตกต่างแบบ Rényi จะไม่ลดลงตามฟังก์ชันของลำดับαและจะต่อเนื่องบนเซตของαซึ่งมีค่าจำกัด^{[ 14 ]}หรือเพื่อความกระชับ ข้อมูลลำดับα ^ที่ได้รับหากการแจกแจงPถูกแทนที่ด้วยการแจกแจงQ [ ^{1 ]}

การแจกแจงความน่าจะเป็นสองแบบสามารถมองได้ว่าเป็นเกมเสี่ยงโชค โดยที่การแจกแจงแบบหนึ่งกำหนดอัตราต่อรองอย่างเป็นทางการ และอีกแบบหนึ่งประกอบด้วยความน่าจะเป็นที่แท้จริง ความรู้เกี่ยวกับความน่าจะเป็นที่แท้จริงทำให้ผู้เล่นสามารถทำกำไรจากเกมได้ อัตรากำไรที่คาดหวังเชื่อมโยงกับความแตกต่างของ Rényi ดังต่อไปนี้^{[ 15 ]}$${\displaystyle {\rm {ExpectedRate}}={\frac {1}{R}}\,D_{1}(b\|m)+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,,}$$ ที่ไหน${\displaystyle m}$การแจกแจงนี้เป็นตัวกำหนดอัตราต่อรองอย่างเป็นทางการ (เช่น "ตลาด") สำหรับเกมนั้นหรือไม่${\displaystyle b}$คือการกระจายตัวที่นักลงทุนเชื่อและ${\displaystyle R}$คือระดับความไม่ชอบความเสี่ยงของนักลงทุน ( ระดับความไม่ชอบความเสี่ยงสัมพัทธ์ของ Arrow–Pratt )

ถ้าการแจกแจงที่แท้จริงเป็น${\displaystyle p}$(ไม่จำเป็นต้องสอดคล้องกับความเชื่อของนักลงทุนเสมอไป)${\displaystyle b}$)อัตราที่เกิดขึ้นจริงในระยะยาวจะลู่เข้าสู่ค่าคาดหวังที่แท้จริงซึ่งมีโครงสร้างทางคณิตศาสตร์ที่คล้ายคลึงกัน ^{[ 15 ]}$${\displaystyle {\rm {RealizedRate}}={\frac {1}{R}}\,{\Big (}D_{1}(p\|m)-D_{1}(p\|b){\Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$$

มูลค่า​${\displaystyle \alpha =1}$ซึ่งให้ค่าเอนโทรปีของแชนนอนและค่าความแตกต่างคัลแบ็ก-ไลเบลอร์เป็นค่าเดียวที่กฎลูกโซ่ของความน่าจะเป็นแบบมีเงื่อนไขเป็นจริงอย่างแม่นยำ: $${\displaystyle \mathrm {H} (A,X)=\mathrm {H} (A)+\mathbb {E} _{a\sim A}{\big [}\mathrm {H} (X|A=a){\big ]}}$$ สำหรับเอนโทรปีสัมบูรณ์ และ $${\displaystyle D_{\mathrm {KL} }(p(x|a)p(a)\|m(x,a))=D_{\mathrm {KL} }(p(a)\|m(a))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$$ สำหรับเอนโทรปีสัมพัทธ์

โดยเฉพาะอย่างยิ่ง ข้อหลังหมายความว่า หากเราแสวงหาการแจกแจงp ( x , a )ซึ่งทำให้ความแตกต่างจากมาตรวัดก่อนหน้าm ( x , a ) พื้นฐานบางอย่างมีค่าน้อยที่สุด และเราได้รับข้อมูลใหม่ที่ส่งผลต่อการแจกแจงของa เท่านั้น การแจกแจงของp ( x | a )จะยังคงเป็นm ( x | a )โดยไม่เปลี่ยนแปลง

ความแตกต่างของ Rényi อื่นๆ เป็นไปตามเกณฑ์ของการเป็นบวกและต่อเนื่อง ไม่เปลี่ยนแปลงภายใต้การแปลงพิกัดแบบ 1 ต่อ 1 และรวมกันแบบบวกเมื่อAและXเป็นอิสระต่อกัน ดังนั้นถ้าp ( A , X ) = p ( A ) p ( X )แล้ว $${\displaystyle \mathrm {H} _{\alpha }(A,X)=\mathrm {H} _{\alpha }(A)+\mathrm {H} _{\alpha }(X)\;}$$ และ $${\displaystyle D_{\alpha }(P(A)P(X)\|Q(A)Q(X))=D_{\alpha }(P(A)\|Q(A))+D_{\alpha }(P(X)\|Q(X)).}$$

คุณสมบัติที่แข็งแกร่งกว่าของ${\displaystyle \alpha =1}$ปริมาณต่างๆ ช่วยให้สามารถกำหนดนิยามของข้อมูลแบบมีเงื่อนไขและข้อมูลร่วมกันได้จากทฤษฎีการสื่อสาร

เอนโทรปีและไดเวอร์เจนซ์ของ Rényi สำหรับตระกูลเอกซ์โพเนนเชียลยอมรับการแสดงออกที่เรียบง่าย^{[ 16 ]}$${\displaystyle \mathrm {H} _{\alpha }(p_{F}(x;\theta ))={\frac {1}{1-\alpha }}\left(F(\alpha \theta )-\alpha F(\theta )+\log E_{p}\left[e^{(\alpha -1)k(x)}\right]\right)}$$ และ $${\displaystyle D_{\alpha }(p:q)={\frac {J_{F,\alpha }(\theta$$ :\theta ')}{1-\alpha }}} โดยที่ $${\displaystyle J_{F,\alpha }(\theta$$ :\theta ')=\alpha F(\theta )+(1-\alpha )F(\theta ')-F(\alpha \theta +(1-\alpha )\theta ')} คือความแตกต่างแบบ Jensen

เอนโทรปีของเรนยีสามารถขยายไปสู่กรณีควอนตัมได้ดังนี้

${\displaystyle H_{\alpha }(\rho ):={\frac {1}{1-\alpha }}\log \operatorname {tr} (\rho ^{\alpha })}$

ที่ไหน${\displaystyle \rho }$คือเมทริกซ์ความหนาแน่น ปกติ ลิมิตของมันคือ${\displaystyle \alpha \to 1}$คือ เอนโทร ปีของฟอนนอยมันน์^{[ 17 ]}

เอนโทรปีสัมพัทธ์ของเรนยี (หรือไดเวอร์เจนซ์) สามารถสรุปได้สองวิธีที่เป็นไปได้: เอนโทรปีสัมพัทธ์ของเรนยีเชิงควอนตัมโดยตรง

${\displaystyle D_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} (\rho ^{\alpha }\sigma ^{1-\alpha })}$

และเอนโทรปีสัมพัทธ์ของเรนยีแบบแซนด์วิช

${\displaystyle {\tilde {D}}_{\alpha }(\rho \|\sigma )={\frac {1}{\alpha -1}}\log \operatorname {tr} \left[\left(\sigma ^{\frac {1-\alpha }{2\alpha }}\rho \sigma ^{\frac {1-\alpha }{2\alpha }}\right)^{\alpha }\right]}$

ทั้งสองลู่เข้าสู่เอนโทรปีสัมพัทธ์ควอนตัมในขีดจำกัด${\displaystyle \alpha \to 1}$อย่างไรก็ตาม เอนโทรปีสัมพัทธ์แบบแซนด์วิชของ Rényi มีคุณสมบัติที่สะดวกกว่าเมื่อใช้ในการกำหนดเอนโทรปีแบบมีเงื่อนไข^{[ 17 ]}และพบการประยุกต์ใช้ในการกระจายกุญแจควอนตัม^{[ 18 ] [ 19 ]}

การวัดเวทมนตร์ควอนตัม อย่างหนึ่ง คือเอนโทรปี Rényi เสถียร^{[ 20 ]}ของลำดับα :

${\displaystyle M_{\alpha }={\frac {1}{1-\alpha }}\log \left[{\frac {1}{2^{N}}}\sum _{{\hat {P}}\in \mathbb {P} _{N}}\langle {\hat {P}}\rangle ^{2\alpha }\right]}$

กับ${\displaystyle {\hat {P}}}$โดยเป็น กลุ่ม Pauliหลายคิวบิตและ${\displaystyle \langle {\hat {P}}\rangle =\langle \psi |{\hat {P}}|\psi \rangle }$คือค่าคาดหวัง (กลศาสตร์ควอนตัม)สำหรับ${\displaystyle N}$ระบบคิวบิต

Hill (1973) แสดงให้เห็นว่าเลขชี้กำลังของเอนโทรปี Rényi อันดับα กำหนดตระกูล ดัชนีความหลากหลายแบบพารามิเตอร์เดียวซึ่งปัจจุบันรู้จักกันในชื่อตัวเลข Hill : ^α D = exp( H ) ^{[ 21 ]}สำหรับα = 0 จะได้ค่าความร่ำรวยของชนิดพันธุ์ (จำนวนรวมของชนิดพันธุ์ที่มีอยู่) สำหรับα = 1 จะได้เลขชี้กำลังของเอนโทรปี Shannonและสำหรับα = 2 จะได้ ดัชนี Simpsonผกผันซึ่งนับจำนวนชนิดพันธุ์ที่พบได้ทั่วไปอย่างเท่าเทียมกัน กรอบงานของ Hill รวมมาตรวัดความหลากหลายที่แตกต่างกันก่อนหน้านี้หลายอย่างเข้าไว้ในตระกูลพารามิเตอร์เดียว โดยแตกต่างกันเพียงแค่น้ำหนักที่ให้กับชนิดพันธุ์หายากเทียบกับชนิดพันธุ์ทั่วไป

• ดัชนีความหลากหลาย
• เอนโทรปีของ Tsallis
• ดัชนีเอนโทรปีทั่วไป