การเรียนรู้ความแตกต่างเชิงเวลา ( TD ) หมายถึงคลาสของ วิธี การเรียนรู้แบบเสริมแรงที่ไม่ต้องใช้แบบจำลองซึ่งเรียนรู้โดยการบูตสแตรปจากค่าประมาณปัจจุบันของฟังก์ชันค่า วิธีการเหล่านี้สุ่มตัวอย่างจากสภาพแวดล้อม เช่นวิธีการมอนเตคาร์โลและทำการอัปเดตตามค่าประมาณปัจจุบัน เช่นวิธีการเขียนโปรแกรมแบบไดนามิก^{[ 1 ]}

ในขณะที่วิธีการ Monte Carlo จะปรับการประมาณค่าก็ต่อเมื่อทราบผลลัพธ์แล้วเท่านั้น วิธีการ TD จะปรับการคาดการณ์ให้ตรงกับการคาดการณ์ที่แม่นยำกว่าในภายหลังเกี่ยวกับอนาคต ก่อนที่จะทราบผลลัพธ์^{[ 2 ]}นี่เป็นรูปแบบหนึ่งของการบูตสแตรปปิ้งดังที่แสดงในตัวอย่างต่อไปนี้:

สมมติว่าคุณต้องการพยากรณ์อากาศสำหรับวันเสาร์ และคุณมีแบบจำลองบางอย่างที่พยากรณ์อากาศของวันเสาร์ได้ โดยพิจารณาจากสภาพอากาศของแต่ละวันในสัปดาห์ ในกรณีปกติ คุณจะต้องรอจนถึงวันเสาร์แล้วจึงปรับแบบจำลองทั้งหมดของคุณ อย่างไรก็ตาม เมื่อเป็นวันศุกร์ คุณควรจะมีแนวคิดที่ดีพอสมควรเกี่ยวกับสภาพอากาศในวันเสาร์ และด้วยเหตุนี้จึงสามารถเปลี่ยนแปลงแบบจำลองของวันเสาร์ได้ก่อนที่วันเสาร์จะมาถึง^{[ 2 ]}

วิธีการความแตกต่างเชิงเวลาเกี่ยวข้องกับแบบจำลองความแตกต่างเชิงเวลาของ การเรียน รู้ของสัตว์^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}

วิธีการ TD(0) แบบตารางเป็นหนึ่งในวิธีการ TD ที่ง่ายที่สุด เป็นกรณีพิเศษของวิธีการประมาณค่าแบบสุ่มทั่วไป โดยจะประมาณค่าฟังก์ชันค่าสถานะ ของ กระบวนการตัดสินใจแบบมาร์คอฟ (MDP) ที่มีสถานะจำกัดภายใต้นโยบายให้แทนฟังก์ชันค่าสถานะของ MDP ที่มีสถานะรางวัลและอัตราส่วนลด^{[ 8 ]}ภายใต้นโยบาย: ^{[ 9 ]}${\displaystyle \pi }$${\displaystyle V^{\pi }}$${\displaystyle (S_{t})_{t\in \mathbb {N} }}$${\displaystyle (R_{t})_{t\in \mathbb {N} }}$${\displaystyle \gamma }$${\displaystyle \pi }$

${\displaystyle V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\infty }\gamma ^{t}R_{t+1}{\Bigg |}S_{0}=s\right\}.}$

เราละเว้นการกระทำจากสัญลักษณ์เพื่อความสะดวกสอดคล้องกับสมการเบลล์แมน : ${\displaystyle V^{\pi }}$

${\displaystyle V^{\pi }(s)=E_{\pi }\{R_{1}+\gamma V^{\pi }(S_{1})|S_{0}=s\},}$

ดังนั้นจึงเป็นการประมาณค่าที่ไม่ลำเอียงสำหรับข้อสังเกตนี้เป็นแรงบันดาลใจให้เกิดอัลกอริทึมต่อไปนี้สำหรับการประมาณค่า ${\displaystyle R_{1}+\gamma V^{\pi }(S_{1})}$${\displaystyle V^{\pi }(s)}$${\displaystyle V^{\pi }}$

อัลกอริทึมเริ่มต้นด้วยการกำหนดค่าเริ่มต้นให้กับตารางโดยพลการ โดยแต่ละค่าแทนสถานะของ MDP และเลือก อัตราการเรียนรู้ เป็นค่าบวก${\displaystyle V(s)}$${\displaystyle \alpha }$

จากนั้นเราจะประเมินนโยบายซ้ำ ๆรับรางวัลและอัปเดตฟังก์ชันค่าสำหรับสถานะปัจจุบันโดยใช้กฎ: ^{[ 10 ]}${\displaystyle \pi }$${\displaystyle r}$

${\displaystyle V(S_{t})\leftarrow (1-\alpha )V(S_{t})+\underbrace {\alpha } _{\text{learning rate}}[\overbrace {R_{t+1}+\gamma V(S_{t+1})} ^{\text{The TD target}}]}$

โดยที่และคือสถานะปัจจุบันและสถานะถัดไปตามลำดับ ค่าเรียกว่าค่าเป้าหมาย TD และเรียกว่าค่าความคลาดเคลื่อน TD ${\displaystyle S_{t}}$${\displaystyle S_{t+1}}$${\displaystyle R_{t+1}+\gamma V(S_{t+1})}$${\displaystyle R_{t+1}+\gamma V(S_{t+1})-V(S_{t})}$

TD-Lambdaเป็นอัลกอริธึมการเรียนรู้ที่คิดค้นโดยRichard S. Suttonโดยอิงจากงานก่อนหน้านี้เกี่ยวกับการเรียนรู้ความแตกต่างเชิงเวลาโดยArthur Samuel [ ^{11 ] อั}ลกอริธึมนี้ถูกนำไปใช้โดยGerald Tesauro อย่างโด่งดัง เพื่อสร้างTD-Gammonซึ่งเป็นโปรแกรมที่เรียนรู้การเล่นเกมแบ็กแกมมอนในระดับเดียวกับผู้เล่นมนุษย์ผู้เชี่ยวชาญ^{[ 12 ]}

พารามิเตอร์ แลมบ์ดา ( ) หมายถึงพารามิเตอร์การลดลงของร่องรอย โดยที่การตั้งค่าที่สูงขึ้นจะนำไปสู่ร่องรอยที่คงอยู่ยาวนานขึ้น กล่าวคือ สัดส่วนเครดิตที่มากขึ้นจากรางวัลสามารถมอบให้กับสถานะและการกระทำที่อยู่ห่างไกลออกไปได้เมื่อมีค่าสูงขึ้น ซึ่งทำให้เกิดการเรียนรู้แบบขนานกับอัลกอริธึม Monte Carlo RL ^{[ 13 ]}${\displaystyle \lambda }$${\displaystyle 0\leqslant \lambda \leqslant 1}$${\displaystyle \lambda }$${\displaystyle \lambda =1}$

อัลกอริทึม TD ยังได้รับความสนใจในสาขาประสาทวิทยาศาสตร์ด้วย นักวิจัยค้นพบว่าอัตราการยิงของเซลล์ประสาทโดปามี น ในบริเวณเท็กเมนทัลด้านล่าง (VTA) และซับสแตนเชียไนกรา (SNc) ดูเหมือนจะเลียนแบบฟังก์ชันข้อผิดพลาดในอัลกอริทึม^{[ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ]}ฟังก์ชันข้อผิดพลาดจะรายงานความแตกต่างระหว่างรางวัลที่คาดการณ์ไว้ในสถานะหรือขั้นตอนเวลาใดๆ กับรางวัลที่ได้รับจริง ยิ่งฟังก์ชันข้อผิดพลาดมีขนาดใหญ่เท่าใด ความแตกต่างระหว่างรางวัลที่คาดหวังและรางวัลที่ได้รับจริงก็จะยิ่งมากขึ้นเท่านั้น เมื่อจับคู่กับสิ่งเร้าที่สะท้อนถึงรางวัลในอนาคตได้อย่างแม่นยำ ข้อผิดพลาดนี้สามารถใช้เพื่อเชื่อมโยงสิ่งเร้ากับรางวัล ในอนาคต ได้

เซลล์ โดปามีนดูเหมือนจะมีพฤติกรรมในลักษณะที่คล้ายคลึงกัน ในการทดลองหนึ่ง มีการวัดเซลล์โดปามีนในขณะที่ฝึกลิงให้เชื่อมโยงสิ่งเร้ากับรางวัลที่เป็นน้ำผลไม้^{[ 14 ]}ในตอนแรก เซลล์โดปามีนมีอัตราการยิงเพิ่มขึ้นเมื่อลิงได้รับน้ำผลไม้ ซึ่งบ่งชี้ถึงความแตกต่างระหว่างรางวัลที่คาดหวังและรางวัลจริง เมื่อเวลาผ่านไป การเพิ่มขึ้นของการยิงนี้จะแพร่กระจายไปยังสิ่งเร้าที่เชื่อถือได้เร็วที่สุดสำหรับรางวัล เมื่อลิงได้รับการฝึกฝนอย่างสมบูรณ์แล้ว อัตราการยิงจะไม่เพิ่มขึ้นเมื่อมีการนำเสนอรางวัลที่คาดการณ์ไว้ ต่อมา อัตราการยิงของเซลล์โดปามีนจะลดลงต่ำกว่าการกระตุ้นปกติเมื่อไม่ได้รับรางวัลที่คาดหวัง สิ่งนี้เลียนแบบวิธีการใช้ฟังก์ชันข้อผิดพลาดใน TD สำหรับการเรียนรู้แบบเสริมแรงอย่าง ใกล้ชิด

ความสัมพันธ์ระหว่างแบบจำลองและหน้าที่ทางระบบประสาทที่อาจเกิดขึ้นได้ก่อให้เกิดการวิจัยที่พยายามใช้ TD เพื่ออธิบายหลายแง่มุมของการวิจัยพฤติกรรม^{[ 15 ] [ 16 ]}นอกจากนี้ยังถูกนำมาใช้เพื่อศึกษาเงื่อนไขต่างๆ เช่นโรคจิตเภทหรือผลที่ตามมาจากการจัดการทางเภสัชวิทยาของโดปามีนต่อการเรียนรู้^{[ 17 ]}

• พีวีแอลวี
• คิวเลิร์นนิ่ง
• แบบจำลอง Rescorla–Wagner
• รูปแบบความสัมพันธ์ระหว่างสถานะ-การกระทำ-รางวัล-สถานะ-การกระทำ (SARSA)

• Sutton, Richard S.; Barto, Andrew G. (2018). การเรียนรู้แบบเสริมแรง: บทนำ (ฉบับที่ 2). เคมบริดจ์, แมสซาชูเซตส์: สำนักพิมพ์ MIT.
• Tesauro, Gerald (มีนาคม 1995). "การเรียนรู้ความแตกต่างเชิงเวลาและ TD-Gammon" . Communications of the ACM . 38 (3): 58– 68. doi : 10.1145/203330.203343 . S2CID  6023746 .

• Meyn, SP (2007). เทคนิคการควบคุมสำหรับเครือข่ายที่ซับซ้อน . สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์. ISBN 978-0521884419.โปรดดูบทสุดท้ายและภาคผนวก
• Sutton, RS; Barto, AG (1990). "แบบจำลองอนุพันธ์เวลาของการเสริมแรงแบบพาฟลอฟ" (PDF)การเรียนรู้และประสาทวิทยาเชิงคำนวณ: รากฐานของเครือข่ายปรับตัว : 497– 537. เก็บถาวรจากต้นฉบับ(PDF)เมื่อ 2017-03-30 . สืบค้นเมื่อ2017-03-29 .

• เกม Connect Four เวอร์ชัน TDGravity ถูกเก็บถาวรเมื่อวันที่ 24 กรกฎาคม 2012 ที่Wayback Machine (+ เวอร์ชันสำหรับโทรศัพท์มือถือ) – เรียนรู้ด้วยตนเองโดยใช้วิธี TD-Leaf (การผสมผสานระหว่าง TD-Lambda กับการค้นหาแบบต้นไม้ตื้น)
• แอปพลิเคชันเว็บตัวอย่าง Self Learning Meta-Tic-Tac-Toe ที่เก็บถาวรไว้เมื่อวันที่ 19 มีนาคม 2014 บนWayback Machineแสดงให้เห็นว่าการเรียนรู้ความแตกต่างเชิงเวลาสามารถนำมาใช้เพื่อเรียนรู้ค่าคงที่การประเมินสถานะสำหรับ AI แบบ minimax ที่เล่นเกมกระดานง่ายๆ ได้อย่างไร
• ปัญหาการเรียนรู้แบบเสริมแรงเอกสารอธิบายวิธีการใช้การเรียนรู้ความแตกต่างเชิงเวลาเพื่อเร่งความเร็วการเรียนรู้แบบ Q-learning
• TD-Simulator คือโปรแกรมจำลองความแตกต่างเชิงเวลาสำหรับการเรียนรู้แบบคลาสสิก