หน่วยความจำเชิงลำดับชั้นตามเวลา ( HTM ) เป็น เทคโนโลยี ปัญญาประดิษฐ์ ที่ถูกจำกัดทางชีวภาพ ซึ่งพัฒนาโดยบริษัท Numentaโดยได้รับการอธิบายครั้งแรกในหนังสือOn Intelligence ปี 2004 โดยJeff HawkinsและSandra Blakesleeปัจจุบัน HTM ถูกนำมาใช้เป็นหลักในการตรวจจับความผิดปกติในข้อมูลแบบสตรีมมิ่ง เทคโนโลยีนี้มีพื้นฐานมาจากประสาทวิทยาศาสตร์สรีรวิทยาและปฏิสัมพันธ์ของเซลล์ประสาทพีระมิดในเปลือกสมองส่วนหน้าของ สัตว์ เลี้ยงลูกด้วยนม (โดยเฉพาะมนุษย์ )

หัวใจหลักของ HTM ​​คืออัลกอริธึม การเรียนรู้ ที่สามารถจัดเก็บ เรียนรู้อนุมานและเรียกคืนลำดับลำดับสูงได้ แตกต่างจาก วิธี การเรียนรู้ของเครื่องจักร อื่นๆ ส่วนใหญ่ HTM เรียนรู้รูปแบบตามเวลาในข้อมูลที่ไม่มีป้ายกำกับอย่างต่อเนื่อง (ใน กระบวนการที่ไม่ ต้องมีการกำกับดูแล ) HTM มีความทนทานต่อสัญญาณรบกวน และมีความจุสูง (สามารถเรียนรู้รูปแบบหลายรูปแบบพร้อมกันได้) เมื่อนำไปใช้กับคอมพิวเตอร์ HTM เหมาะอย่างยิ่งสำหรับการทำนาย^{[ 1 ]}การตรวจจับความผิดปกติ^{[ 2 ]}การจำแนกประเภท และในที่สุดก็คือการใช้งานด้านประสาทสัมผัสและการเคลื่อนไหว^{[ 3 ]}

HTM ได้รับการทดสอบและนำไปใช้ในซอฟต์แวร์ผ่านแอปพลิเคชันตัวอย่างจาก Numenta และแอปพลิเคชันเชิงพาณิชย์บางส่วนจากพันธมิตรของ Numenta

โดยทั่วไปแล้ว เครือข่าย HTM จะมีโครงสร้างเป็นลำดับชั้น คล้าย ต้นไม้ (อย่าสับสนกับ " ชั้น " ของเปลือกสมองส่วนนีโอคอร์เทกซ์ดังที่อธิบายไว้ด้านล่าง ) แต่ละระดับประกอบด้วยองค์ประกอบย่อยที่เรียกว่าบริเวณ (หรือ โหนด) แต่ละระดับในลำดับชั้นอาจมีหลายบริเวณ ระดับที่สูงกว่ามักจะมีจำนวนบริเวณน้อยกว่า และสามารถนำรูปแบบที่เรียนรู้จากระดับที่ต่ำกว่ามาใช้ซ้ำได้โดยการนำมาผสมผสานกันเพื่อจดจำรูปแบบที่ซับซ้อนมากขึ้น

แต่ละส่วนของหน่วยความจำ HTM มีหน้าที่พื้นฐานเหมือนกัน ในโหมดการเรียนรู้และการอนุมาน ข้อมูลทางประสาทสัมผัส (เช่น ข้อมูลจากดวงตา) จะเข้ามายังส่วนต่างๆ ในระดับล่าง ในโหมดการสร้าง ส่วนต่างๆ ในระดับล่างจะส่งออกรูปแบบที่สร้างขึ้นของหมวดหมู่ที่กำหนด ส่วนระดับบนสุดมักจะมีส่วนเดียวที่เก็บหมวดหมู่ (แนวคิด) ที่ทั่วไปและถาวรที่สุดไว้ ซึ่งแนวคิดเหล่านี้จะเป็นตัวกำหนด หรือถูกกำหนดโดยแนวคิดที่เล็กกว่าในระดับล่าง ซึ่งเป็นแนวคิดที่มีข้อจำกัดมากกว่าทั้งในด้านเวลาและพื้นที่ เมื่อตั้งค่าเป็นโหมดการอนุมาน ส่วนต่างๆ (ในแต่ละระดับ) จะตีความข้อมูลที่มาจากส่วน "ลูก" ของตนเป็นความน่าจะเป็นของหมวดหมู่ที่อยู่ในหน่วยความจำ

แต่ละส่วนของ HTM ​​เรียนรู้โดยการระบุและจดจำรูปแบบเชิงพื้นที่ ซึ่งเป็นการรวมกันของบิตอินพุตที่มักเกิดขึ้นพร้อมกัน จากนั้นจึงระบุลำดับเวลาของรูปแบบเชิงพื้นที่ที่น่าจะเกิดขึ้นต่อเนื่องกัน

HTM เป็นส่วนประกอบเชิงอัลกอริทึมของ ทฤษฎีสมองพันสมองของ เจฟฟ์ ฮอว์กินส์ดังนั้นการค้นพบใหม่เกี่ยวกับนีโอคอร์เทกซ์จึงถูกรวมเข้ากับแบบจำลอง HTM ​​อย่างต่อเนื่อง ซึ่งจะเปลี่ยนแปลงไปตามกาลเวลา การค้นพบใหม่ไม่จำเป็นต้องทำให้ส่วนก่อนหน้าของแบบจำลองเป็นโมฆะ ดังนั้นแนวคิดจากรุ่นหนึ่งจึงไม่จำเป็นต้องถูกตัดออกในรุ่นถัดไป เนื่องจากลักษณะที่พัฒนาอย่างต่อเนื่องของทฤษฎี จึงมีอัลกอริทึม HTM หลายรุ่น^{[ 4 ]}ซึ่งจะอธิบายโดยย่อด้านล่าง

อั ลก อริทึม HTM รุ่นแรกบางครั้งเรียกว่าซีตา 1

ในระหว่างการฝึกฝนโหนด (หรือภูมิภาค) จะได้รับลำดับเวลาของรูปแบบเชิงพื้นที่เป็นข้อมูลป้อนเข้า กระบวนการเรียนรู้ประกอบด้วยสองขั้นตอน:

1. การรวมกลุ่มเชิงพื้นที่จะระบุ (ในข้อมูลป้อนเข้า) รูปแบบที่พบเห็นบ่อยและจดจำไว้เป็น "ความบังเอิญ" รูปแบบที่คล้ายคลึงกันอย่างมีนัยสำคัญจะถูกพิจารณาว่าเป็นความบังเอิญเดียวกัน รูปแบบข้อมูลป้อนเข้าจำนวนมากจะถูกลดลงเหลือจำนวนความบังเอิญที่ทราบแล้วซึ่งสามารถจัดการได้
2. การจัดกลุ่มตามเวลาจะแบ่งเหตุการณ์บังเอิญที่น่าจะเกิดขึ้นต่อเนื่องกันในลำดับการฝึกฝนออกเป็นกลุ่มตามเวลา แต่ละกลุ่มของรูปแบบจะแสดงถึง "สาเหตุ" ของรูปแบบอินพุต (หรือ "ชื่อ" ในOn Intelligence )

แนวคิดเรื่องการรวมข้อมูลเชิงพื้นที่และการรวมข้อมูลเชิงเวลายังคงมีความสำคัญอย่างมากในอัลกอริธึม HTM ในปัจจุบัน ส่วนการรวมข้อมูลเชิงเวลานั้นยังไม่เป็นที่เข้าใจอย่างถ่องแท้ และความหมายของมันก็เปลี่ยนแปลงไปตามกาลเวลา (เนื่องจากอัลกอริธึม HTM พัฒนาขึ้น)

ในระหว่างการอนุมานโหนดจะคำนวณชุดความน่าจะเป็นที่รูปแบบหนึ่งๆ นั้นเป็นของเหตุการณ์บังเอิญที่ทราบแต่ละเหตุการณ์ จากนั้นจะคำนวณความน่าจะเป็นที่ข้อมูลนำเข้าแสดงถึงกลุ่มเวลาแต่ละกลุ่ม ชุดความน่าจะเป็นที่กำหนดให้กับกลุ่มต่างๆ เรียกว่า "ความเชื่อ" ของโหนดเกี่ยวกับรูปแบบข้อมูลนำเข้า (ในการใช้งานแบบง่ายๆ ความเชื่อของโหนดจะประกอบด้วยกลุ่มที่ชนะเพียงกลุ่มเดียว) ความเชื่อนี้เป็นผลลัพธ์ของการอนุมานที่ส่งต่อไปยังโหนด "แม่" หนึ่งโหนดหรือมากกว่าในระดับที่สูงขึ้นถัดไปของลำดับชั้น

รูปแบบ "ที่ไม่คาดคิด" สำหรับโหนดนั้นไม่มีความน่าจะเป็นที่เด่นชัดในการอยู่ในกลุ่มเวลาใดกลุ่มหนึ่ง แต่มีความน่าจะเป็นที่เกือบเท่ากันในการอยู่ในหลายกลุ่ม หากลำดับของรูปแบบคล้ายกับลำดับการฝึกฝน ความน่าจะเป็นที่กำหนดให้กับกลุ่มจะไม่เปลี่ยนแปลงบ่อยนักเมื่อได้รับรูปแบบใหม่ ผลลัพธ์ของโหนดจะไม่เปลี่ยนแปลงมากนัก และความละเอียดในเชิงเวลาจะหายไป

ในภาพรวมแล้ว ความเชื่อของโหนดสามารถส่งไปยังอินพุตของโหนดใดๆ ก็ได้ในทุกระดับ แต่การเชื่อมต่อระหว่างโหนดต่างๆ ยังคงคงที่ โหนดระดับสูงกว่าจะรวมเอาผลลัพธ์นี้เข้ากับผลลัพธ์จากโหนดลูกอื่นๆ จึงก่อให้เกิดรูปแบบอินพุตของตัวเอง

เนื่องจากความละเอียดในมิติของพื้นที่และเวลาสูญหายไปในแต่ละโหนดดังที่ได้อธิบายไว้ข้างต้น ความเชื่อที่เกิดขึ้นจากโหนดระดับสูงจึงแสดงถึงช่วงเวลาและพื้นที่ที่กว้างขึ้นไปอีก นี่เป็นการสะท้อนถึงการจัดระเบียบของโลกทางกายภาพตามที่สมองของมนุษย์รับรู้ แนวคิดที่ใหญ่กว่า (เช่น สาเหตุ การกระทำ และวัตถุ) จะถูกรับรู้ว่าเปลี่ยนแปลงช้าลง และประกอบด้วยแนวคิดที่เล็กกว่าซึ่งเปลี่ยนแปลงเร็วขึ้น เจฟฟ์ ฮอว์กินส์ตั้งสมมติฐานว่าสมองได้วิวัฒนาการลำดับชั้นประเภทนี้เพื่อให้สอดคล้อง คาดการณ์ และส่งผลต่อการจัดระเบียบของโลกภายนอก

รายละเอียดเพิ่มเติมเกี่ยวกับการทำงานของ Zeta 1 HTM สามารถพบได้ในเอกสารเก่าของ Numenta ^{[ 5 ]}

อัลกอริทึมการเรียนรู้ HTM รุ่นที่สอง ซึ่งมักเรียกว่าอัลกอริทึมการเรียนรู้คอร์ติคอล ( CLA ) นั้นแตกต่างจากซีตา 1 อย่างมาก โดยอาศัยโครงสร้างข้อมูลที่เรียกว่าการแสดงแทนแบบกระจายแบบเบาบาง (นั่นคือโครงสร้างข้อมูลที่มีองค์ประกอบเป็นไบนารี 1 หรือ 0 และจำนวนบิต 1 น้อยกว่าจำนวนบิต 0) เพื่อแสดงกิจกรรมของสมองและแบบจำลองเซลล์ประสาทที่สมจริงทางชีววิทยามากขึ้น (มักเรียกว่าเซลล์ในบริบทของ HTM) ^{[ 6 ]} HTM รุ่นนี้ประกอบด้วยส่วนประกอบหลักสองส่วน ได้แก่อัลกอริทึมการรวมเชิงพื้นที่^{[ 7 ]}ซึ่งส่งออกการแสดงแทนแบบกระจายแบบเบาบาง (SDR) และอัลกอริทึมหน่วยความจำลำดับ^{[ 8 ]}ซึ่งเรียนรู้ที่จะแสดงแทนและทำนายลำดับที่ซับซ้อน

ในรุ่นใหม่นี้ชั้นและมินิคอลัมน์ของเปลือกสมองได้รับการศึกษาและสร้างแบบจำลองบางส่วน แต่ละชั้นของ HTM ​​(อย่าสับสนกับระดับ HTM ในลำดับชั้น HTM ดังที่ได้อธิบายไว้ข้างต้น ) ประกอบด้วยมินิคอลัมน์จำนวนมากที่เชื่อมต่อกันอย่างหนาแน่น ชั้น HTM สร้างการแสดงผลแบบกระจายอย่างเบาบางจากข้อมูลนำเข้า ทำให้มีมินิคอลัมน์ จำนวนหนึ่งที่ทำงานอยู่ ณ เวลาใดเวลาหนึ่ง มินิคอลัมน์นั้นเข้าใจได้ว่าเป็นกลุ่มของเซลล์ที่มี ขอบเขตการรับรู้เดียวกันแต่ละมินิคอลัมน์มีเซลล์จำนวนหนึ่งที่สามารถจดจำสถานะก่อนหน้าได้หลายสถานะ เซลล์สามารถอยู่ในหนึ่งในสามสถานะ ได้แก่ สถานะ ทำงาน สถานะไม่ทำงานและสถานะ คาดการณ์

ขอบเขตการรับรู้ของแต่ละมินิคอลัมน์ประกอบด้วยอินพุตจำนวนคงที่ซึ่งถูกสุ่มเลือกจากอินพุตของโหนดจำนวนมาก โดยขึ้นอยู่กับรูปแบบอินพุต (เฉพาะ) มินิคอลัมน์บางส่วนจะมีความสัมพันธ์กับค่าอินพุตที่ใช้งานอยู่มากหรือน้อย การรวมกลุ่มเชิงพื้นที่(Spatial pooling)จะเลือกมินิคอลัมน์ที่ใช้งานมากที่สุดจำนวนหนึ่งและปิดใช้งาน (ยับยั้ง) มินิคอลัมน์อื่นๆ ที่อยู่ใกล้เคียงกับมินิคอลัมน์ที่ใช้งานอยู่ รูปแบบอินพุตที่คล้ายกันมักจะกระตุ้นชุดมินิคอลัมน์ที่คงที่ ปริมาณหน่วยความจำที่ใช้โดยแต่ละเลเยอร์สามารถเพิ่มขึ้นเพื่อเรียนรู้รูปแบบเชิงพื้นที่ที่ซับซ้อนมากขึ้น หรือลดลงเพื่อเรียนรู้รูปแบบที่ง่ายกว่า

ดังที่กล่าวมาข้างต้น เซลล์ (หรือเซลล์ประสาท) ของมินิคอลัมน์ สามารถอยู่ในสถานะทำงาน ไม่ทำงาน หรือคาดการณ์ได้ ณ จุดใดจุดหนึ่งในเวลาใดก็ตาม ในตอนเริ่มต้น เซลล์จะอยู่ในสถานะไม่ทำงาน

หากเซลล์อย่างน้อยหนึ่งเซลล์ในมินิคอลัมน์ที่ทำงานอยู่มี สถานะ คาดการณ์ (ดูด้านล่าง) เซลล์เหล่านั้นจะเป็นเซลล์เดียวที่จะทำงานในขั้นตอนเวลาปัจจุบัน หากไม่มีเซลล์ใดในมินิคอลัมน์ที่ทำงานอยู่มีสถานะคาดการณ์ (ซึ่งเกิดขึ้นในขั้นตอนเวลาเริ่มต้นหรือเมื่อไม่ได้คาดหวังว่ามินิคอลัมน์นี้จะทำงาน) เซลล์ทั้งหมดจะทำงาน

เมื่อเซลล์เริ่มทำงาน มันจะค่อยๆ สร้างการเชื่อมต่อกับเซลล์ใกล้เคียงที่มักจะทำงานในช่วงเวลาหลายขั้นตอนก่อนหน้านี้ ดังนั้น เซลล์จึงเรียนรู้ที่จะจดจำลำดับที่รู้จักโดยการตรวจสอบว่าเซลล์ที่เชื่อมต่ออยู่ทำงานหรือไม่ หากมีเซลล์ที่เชื่อมต่ออยู่จำนวนมากทำงาน เซลล์นี้จะเปลี่ยนไปสู่ สถานะ การคาดการณ์เพื่อเตรียมพร้อมสำหรับข้อมูลป้อนเข้าถัดไปของลำดับนั้น

เอาต์พุตของเลเยอร์ประกอบด้วยมินิคอลัมน์ทั้งในสถานะทำงานและสถานะคาดการณ์ ดังนั้นมินิคอลัมน์จึงทำงานอยู่เป็นระยะเวลานาน ซึ่งนำไปสู่ความเสถียรเชิงเวลาที่มากขึ้นเมื่อเทียบกับเลเยอร์หลัก

อัลกอริทึมการเรียนรู้ของคอร์เทกซ์สามารถเรียนรู้ได้อย่างต่อเนื่องจากรูปแบบอินพุตใหม่แต่ละรูปแบบ ดังนั้นจึงไม่จำเป็นต้องมีโหมดการอนุมานแยกต่างหาก ในระหว่างการอนุมาน HTM จะพยายามจับคู่กระแสอินพุตกับส่วนย่อยของลำดับที่เรียนรู้ไว้ก่อนหน้านี้ ซึ่งช่วยให้แต่ละชั้นของ HTM ​​สามารถคาดการณ์ความต่อเนื่องที่เป็นไปได้ของลำดับที่รู้จักได้อย่างต่อเนื่อง ดัชนีของลำดับที่คาดการณ์ไว้คือเอาต์พุตของชั้นนั้น เนื่องจากแนวโน้มของการคาดการณ์มักเปลี่ยนแปลงน้อยกว่ารูปแบบอินพุต จึงนำไปสู่ความเสถียรเชิงเวลาที่เพิ่มขึ้นของเอาต์พุตในระดับลำดับชั้นที่สูงขึ้น การคาดการณ์ยังช่วยเติมเต็มรูปแบบที่ขาดหายไปในลำดับและตีความข้อมูลที่ไม่ชัดเจนโดยการปรับระบบให้สรุปผลตามที่คาดการณ์ไว้

ปัจจุบัน Numenta นำเสนออัลกอริธึมการเรียนรู้คอร์เทกซ์ในรูปแบบSaaS เชิงพาณิชย์ (เช่น Grok ^{[ 9 ]} )

ในเดือนกันยายน พ.ศ. 2554 มีคำถามต่อไปนี้ถาม Jeff Hawkins เกี่ยวกับอัลกอริธึมการเรียนรู้ของคอร์เทกซ์: "คุณรู้ได้อย่างไรว่าการเปลี่ยนแปลงที่คุณทำกับโมเดลนั้นดีหรือไม่ดี?" ซึ่ง Jeff ตอบว่า "คำตอบมีสองประเภท: ประเภทหนึ่งคือการดูที่ประสาทวิทยาศาสตร์ และอีกประเภทหนึ่งคือวิธีการสำหรับปัญญาประดิษฐ์ ในด้านประสาทวิทยาศาสตร์ มีการคาดการณ์มากมายที่เราสามารถทำได้ และสามารถทดสอบได้ หากทฤษฎีของเราอธิบายการสังเกตทางประสาทวิทยาศาสตร์ได้มากมาย นั่นแสดงว่าเรามาถูกทางแล้ว ในโลกของการเรียนรู้ของเครื่อง พวกเขาไม่สนใจเรื่องนั้น สนใจเพียงว่ามันทำงานได้ดีแค่ไหนกับปัญหาในทางปฏิบัติ ในกรณีของเรายังคงต้องรอดูกันต่อไป ในระดับที่คุณสามารถแก้ปัญหาที่ไม่มีใครแก้ได้มาก่อน ผู้คนจะให้ความสนใจ" ^{[ 10 ]}

รุ่นที่สามสร้างขึ้นจากรุ่นที่สองและเพิ่มทฤษฎีการอนุมานทางประสาทสัมผัสและการเคลื่อนไหวในเปลือกสมองส่วนหน้า^{[ 11 ] [ 12 ]}ทฤษฎีนี้เสนอว่าคอลัมน์ของเปลือกสมองในทุกระดับของลำดับชั้นสามารถเรียนรู้แบบจำลองที่สมบูรณ์ของวัตถุได้เมื่อเวลาผ่านไป และคุณลักษณะต่างๆ จะถูกเรียนรู้ในตำแหน่งเฉพาะบนวัตถุ ทฤษฎีนี้ได้รับการขยายในปี 2018 และเรียกว่าทฤษฎีสมองพันส่วน^{[ 13 ]}

การเปรียบเทียบแบบจำลองเซลล์ประสาท

โครงข่ายประสาทเทียม (ANN)	เซลล์ประสาทพีระมิดในเปลือกสมองส่วนหน้า ( เซลล์ประสาท ทางชีววิทยา )	โมเดลเซลล์ประสาท HTM [ 8 ]
ไซแนปส์น้อย ไม่มีเดนไดรต์ ผลรวมของอินพุต × น้ำหนัก เรียนรู้โดยการปรับเปลี่ยนน้ำหนักของไซแนปส์	ไซแนปส์หลายพัน จุด บนเดนไดรต์ เดนไดรต์ที่ทำงานอยู่: เซลล์สามารถจดจำรูปแบบเฉพาะได้หลายร้อยแบบ การกระตุ้นร่วมกันของชุดไซแนปส์บนส่วนเดนไดรต์ทำให้เกิดสไปค์NMDA และการลดขั้วที่โซมา[ 8 ] แหล่งที่มาของข้อมูลป้อนเข้าสู่เซลล์: สัญญาณป้อนกลับแบบส่งต่อ (Feedforward inputs) ซึ่งก่อให้เกิดไซแนปส์ใกล้กับตัวเซลล์และนำไปสู่ศักยภาพการกระทำ (action potentials) โดยตรง สัญญาณ NMDA ที่เกิดขึ้นในบริเวณฐานที่อยู่ห่างออก ไป เดนไดรต์ ส่วนปลายที่ทำให้โซมาเกิดการลดขั้ว (โดยปกติแล้วไม่เพียงพอที่จะสร้างศักยภาพการกระทำของโซมา) เรียนรู้โดยการสร้างไซแนปส์ใหม่	ได้รับแรงบันดาลใจจากเซลล์รูปพีระมิดในชั้นที่ 2/3 และ 5 ของเปลือกสมองส่วนหน้า ไซแนปส์หลายพันตัว เดนไดรต์ที่ทำงานอยู่: เซลล์สามารถจดจำรูปแบบเฉพาะได้หลายร้อยแบบ แบบจำลองเดนไดรต์และสไปค์ NMDA โดยแต่ละอาร์เรย์ของตัวตรวจจับที่เกิดขึ้นพร้อมกันจะมีชุดของไซแนปส์ เรียนรู้โดยการจำลองการเติบโตของไซแนปส์ใหม่

HTM พยายามที่จะนำฟังก์ชันการทำงานที่เป็นลักษณะเฉพาะของกลุ่มบริเวณเยื่อหุ้มสมองส่วนนีโอคอร์เทกซ์ที่มีความสัมพันธ์กัน ในเชิงลำดับชั้นมาใช้ บริเวณ หนึ่ง ของนีโอคอร์เทกซ์จะสอดคล้องกับระดับ หนึ่งหรือมากกว่า ในลำดับชั้นของ HTM ​​ในขณะที่ฮิปโปแคมปัสมีความคล้ายคลึงกับระดับสูงสุดของ HTM ​​ในระดับที่ห่างไกล โหนด HTM เดียวอาจแสดงถึงกลุ่มของคอลัมน์เยื่อหุ้มสมองภายในบริเวณใดบริเวณหนึ่ง

แม้ว่าโดยหลักแล้วจะเป็นแบบจำลองเชิงฟังก์ชัน แต่ก็มีความพยายามหลายครั้งที่จะเชื่อมโยงอัลกอริธึมของ HTM ​​กับโครงสร้างของการเชื่อมต่อของเซลล์ประสาทในชั้นของเปลือกสมองส่วนหน้า^{[ 14 ] [ 15 ]}เปลือกสมองส่วนหน้าจัดเรียงเป็นคอลัมน์แนวตั้ง 6 ชั้นแนวนอน เซลล์ 6 ชั้นในเปลือกสมองส่วนหน้าไม่ควรสับสนกับระดับในลำดับชั้นของ HTM

โหนด HTM พยายามจำลองส่วนหนึ่งของคอลัมน์ในเปลือกสมอง (80 ถึง 100 นิวรอน) โดยใช้ "เซลล์" HTM ประมาณ 20 เซลล์ต่อคอลัมน์ HTM จำลองเฉพาะชั้นที่ 2 และ 3 เพื่อตรวจจับคุณลักษณะเชิงพื้นที่และเวลาของข้อมูลขาเข้า โดยใช้ 1 เซลล์ต่อคอลัมน์ในชั้นที่ 2 สำหรับการ "รวมกลุ่ม" เชิงพื้นที่ และ 1 ถึง 2 โหลต่อคอลัมน์ในชั้นที่ 3 สำหรับการรวมกลุ่มเชิงเวลา หัวใจสำคัญของ HTM ​​และเปลือกสมองคือความสามารถในการจัดการกับสัญญาณรบกวนและความแปรปรวนของข้อมูลขาเข้า ซึ่งเป็นผลมาจากการใช้ "การแสดงแทนแบบกระจายที่เบาบาง" โดยมีเพียงประมาณ 2% ของคอลัมน์เท่านั้นที่ทำงานในเวลาใดเวลาหนึ่ง

HTM พยายามจำลองส่วนหนึ่งของการเรียนรู้และความยืดหยุ่นของคอร์เทกซ์ตามที่อธิบายไว้ข้างต้น ความแตกต่างระหว่าง HTM ​​และเซลล์ประสาท ได้แก่: ^{[ 16 ]}

• สัญญาณไบนารีอย่างเคร่งครัดและไซแนปส์
• ไม่มีการยับยั้งโดยตรงของไซแนปส์หรือเดนไดรต์ (แต่เป็นการจำลองทางอ้อม)
• ปัจจุบันรองรับเฉพาะเลเยอร์ 2/3 และ 4 เท่านั้น (ไม่มีเลเยอร์ 5 หรือ 6)
• ไม่มีการควบคุม "มอเตอร์" (เลเยอร์ 5)
• ไม่มีการส่งข้อมูลย้อนกลับระหว่างภูมิภาค (ชั้นที่ 6 ของพื้นที่สูงไปยังชั้นที่ 1 ของพื้นที่ต่ำ)

การบูรณาการส่วนประกอบหน่วยความจำเข้ากับเครือข่ายประสาทมีประวัติยาวนานย้อนกลับไปถึงการวิจัยในช่วงแรกในการแสดงแทนแบบกระจาย^{[ 17 ] [ 18 ]}และแผนที่จัดระเบียบตนเองตัวอย่างเช่น ในหน่วยความจำแบบกระจายแบบเบาบาง (SDM) รูปแบบที่เข้ารหัสโดยเครือข่ายประสาทจะถูกใช้เป็นที่อยู่หน่วยความจำสำหรับหน่วยความจำที่สามารถระบุที่อยู่ตามเนื้อหาได้โดย "เซลล์ประสาท" ทำหน้าที่เป็นตัวเข้ารหัสและถอดรหัสที่อยู่^{[ 19 ] [ 20 ]}

คอมพิวเตอร์จัดเก็บข้อมูลใน รูปแบบการแสดงผล แบบหนาแน่น เช่น คำ 32 บิตซึ่งการรวมกันของ 1 และ 0 ทุกรูปแบบเป็นไปได้ ในทางตรงกันข้าม สมองใช้ การแสดงผลแบบกระจาย แบบเบาบาง (SDRs) ^{[ 21 ]}เปลือกสมองส่วนหน้าของมนุษย์มีเซลล์ประสาทประมาณ 16 พันล้านเซลล์ แต่ในเวลาใดเวลาหนึ่งจะมีเพียงเปอร์เซ็นต์เล็กน้อยเท่านั้นที่ทำงาน กิจกรรมของเซลล์ประสาทเปรียบเสมือนบิตในคอมพิวเตอร์ ดังนั้นการแสดงผลจึงเป็นแบบเบาบาง คล้ายกับSDMที่พัฒนาโดยNASAในช่วงทศวรรษ 1980 ^{[ 19 ]}และ แบบจำลอง พื้นที่เวกเตอร์ที่ใช้ในการวิเคราะห์ความหมายแฝง HTM ​​ใช้การแสดงผลแบบกระจายแบบเบาบาง^{[ 22 ]}

SDR ที่ใช้ใน HTM เป็นการแสดงข้อมูลแบบไบนารีที่ประกอบด้วยบิตจำนวนมาก โดยมีเพียงเปอร์เซ็นต์เล็กน้อยของบิตที่ใช้งานได้ (1) การใช้งานทั่วไปอาจมี 2048 คอลัมน์และเซลล์ประสาทเทียม 64,000 เซลล์ ซึ่งอาจมีเพียง 40 เซลล์ที่ทำงานพร้อมกัน แม้ว่าการที่บิตส่วนใหญ่ "ไม่ได้ใช้งาน" ในการแสดงข้อมูลใดๆ อาจดูเหมือนมีประสิทธิภาพน้อยกว่า แต่ SDR มีข้อดีหลักสองประการเหนือการแสดงข้อมูลแบบหนาแน่นแบบดั้งเดิม ประการแรก SDR ทนต่อความเสียหายและความกำกวมได้ เนื่องจากความหมายของการแสดงข้อมูลนั้นถูกแบ่งปัน ( กระจาย ) ไปทั่วเปอร์เซ็นต์เล็กน้อย ( เบาบาง ) ของบิตที่ใช้งานอยู่ ในการแสดงข้อมูลแบบหนาแน่น การเปลี่ยนบิตเพียงบิตเดียวจะเปลี่ยนความหมายไปโดยสิ้นเชิง ในขณะที่ใน SDR บิตเดียวอาจไม่ส่งผลกระทบต่อความหมายโดยรวมมากนัก ซึ่งนำไปสู่ข้อดีประการที่สองของ SDR: เนื่องจากความหมายของการแสดงข้อมูลนั้นกระจายไปทั่วบิตที่ใช้งานอยู่ทั้งหมด ความคล้ายคลึงกันระหว่างการแสดงข้อมูลสองแบบจึงสามารถใช้เป็นมาตรวัด ความคล้ายคลึง ทางความหมายในวัตถุที่พวกมันแสดงได้ นั่นคือ ถ้าเวกเตอร์สองตัวใน SDR มีค่า 1 ในตำแหน่งเดียวกัน แสดงว่าเวกเตอร์ทั้งสองนั้นมีความหมายคล้ายคลึงกันในคุณลักษณะดังกล่าว บิตใน SDR มีความหมาย และความหมายนั้นกระจายอยู่ทั่วบิต^{[ 22 ]}

ทฤษฎีการพับความหมาย^{[ 23 ]} สร้างขึ้นจากคุณสมบัติ SDR เหล่านี้เพื่อเสนอแบบจำลองใหม่สำหรับความหมาย ของภาษา โดยที่คำต่างๆ จะถูกเข้ารหัสเป็น word-SDR และความคล้ายคลึงกันระหว่างคำ ประโยค และข้อความสามารถคำนวณได้ด้วยการวัดระยะทางแบบง่ายๆ

HTM เปรียบเสมือนเครือข่ายเบย์เซียนประกอบด้วยกลุ่มของโหนดที่จัดเรียงเป็นลำดับชั้นคล้ายต้นไม้ แต่ละโหนดในลำดับชั้นจะค้นหาสาเหตุต่างๆ ในรูปแบบข้อมูลนำเข้าและลำดับเวลาที่ได้รับ อัลก อริทึม การแก้ไขความเชื่อ แบบเบย์เซียน ถูกใช้เพื่อเผยแพร่ความเชื่อแบบส่งต่อและแบบป้อนกลับจากโหนดลูกไปยังโหนดแม่และในทางกลับกัน อย่างไรก็ตาม การเปรียบเทียบกับเครือข่ายเบย์เซียนนั้นมีข้อจำกัด เนื่องจาก HTM สามารถฝึกฝนตนเองได้ (ทำให้แต่ละโหนดมีความสัมพันธ์ในครอบครัวที่ชัดเจน) สามารถรับมือกับข้อมูลที่ไวต่อเวลา และมีกลไกสำหรับการให้ความสนใจอย่างลับๆ

ทฤษฎีการคำนวณคอร์เทกซ์แบบลำดับชั้นโดยอาศัยการแพร่กระจายความเชื่อ แบบเบย์เซียน ได้รับการเสนอไว้ก่อนหน้านี้โดย Tai Sing Lee และDavid Mumford [ ^{24 ] ใน}ขณะที่ HTM ส่วนใหญ่สอดคล้องกับแนวคิดเหล่านี้ แต่ก็เพิ่มรายละเอียดเกี่ยวกับการจัดการการแสดงแทนแบบไม่เปลี่ยนแปลงในคอร์เทกซ์การมองเห็น^{[ 25 ]}

เช่นเดียวกับระบบใดๆ ที่จำลองรายละเอียดของเปลือกสมองส่วนหน้า HTM สามารถมองได้ว่าเป็นเครือข่ายประสาทเทียมโครงสร้างลำดับชั้นแบบต้นไม้ที่ใช้กันทั่วไปใน HTM คล้ายกับโครงสร้างทางโทโพโลยีของเครือข่ายประสาทแบบดั้งเดิม HTM พยายามจำลองคอลัมน์ของเปลือกสมอง (80 ถึง 100 เซลล์ประสาท) และปฏิสัมพันธ์ของพวกมันด้วย "เซลล์ประสาท" HTM ที่น้อยกว่า เป้าหมายของ HTM ​​ในปัจจุบันคือการจับภาพการทำงานของเซลล์ประสาทและเครือข่ายให้ได้มากที่สุดเท่าที่จะเป็นไปได้ (เท่าที่เข้าใจในปัจจุบัน) ภายในขีดความสามารถของคอมพิวเตอร์ทั่วไปและในด้านที่สามารถนำไปใช้ประโยชน์ได้ง่าย เช่น การประมวลผลภาพ ตัวอย่างเช่น การป้อนกลับจากระดับที่สูงกว่าและการควบคุมการเคลื่อนไหวไม่ได้ถูกพยายามจำลอง เนื่องจากยังไม่เข้าใจวิธีการรวมเข้าด้วยกัน และใช้ไซแนปส์แบบไบนารีแทนแบบแปรผัน เนื่องจากพบว่าเพียงพอแล้วในขีดความสามารถของ HTM ​​ในปัจจุบัน

เครือข่ายประสาทเทียม LAMINART และเครือข่ายประสาทเทียมที่คล้ายกันซึ่งวิจัยโดยStephen Grossbergพยายามสร้างแบบจำลองทั้งโครงสร้างพื้นฐานของเปลือกสมองและพฤติกรรมของเซลล์ประสาทในกรอบเวลาเพื่ออธิบายข้อมูลทางประสาทสรีรวิทยาและจิตกายภาพ อย่างไรก็ตาม ปัจจุบันเครือข่ายเหล่านี้มีความซับซ้อนเกินไปสำหรับการใช้งานจริง^{[ 26 ]}

HTM ยังเกี่ยวข้องกับงานของTomaso Poggioรวมถึงแนวทางการสร้างแบบจำลองกระแสด้านล่างของคอร์เทกซ์การมองเห็นที่เรียกว่า HMAX ความคล้ายคลึงกันของ HTM ​​กับแนวคิด AI ต่างๆ ได้รับการอธิบายไว้ในวารสารปัญญาประดิษฐ์ฉบับเดือนธันวาคม พ.ศ. 2548 ^{[ 27 ]}

Neocognitronซึ่งเป็นโครงข่ายประสาทเทียมแบบลำดับชั้นหลายชั้นที่เสนอโดยศาสตราจารย์Kunihiko Fukushimaในปี 1987 เป็นหนึ่งในแบบจำลองโครงข่ายประสาทเทียมแบบเรียนรู้เชิงลึก รุ่นแรกๆ ^{[ 28 ]}

• จิตสำนึกเทียม
• ปัญญาประดิษฐ์ทั่วไป
• การแก้ไขความเชื่อ
• สถาปัตยกรรมทางปัญญา
• โครงข่ายประสาทเทียมแบบคอนโวลูชัน
• รายชื่อโครงการปัญญาประดิษฐ์
• กรอบงานทำนายความจำ
• ทฤษฎีร่องรอยหลายชั้น
• ตัวบีบอัดประวัติประสาท
• เครื่องจักรทัวริงประสาท

• แบบจำลองมาร์คอฟที่ซ่อนอยู่แบบลำดับชั้น

• Ahmad, Subutai; Hawkins, Jeff (25 มีนาคม 2015). "คุณสมบัติของการแสดงผลแบบกระจายที่เบาบางและการประยุกต์ใช้กับหน่วยความจำเชิงเวลาแบบลำดับชั้น". arXiv : 1503.07469 [ q-bio.NC ]
• ฮอว์กินส์, เจฟฟ์ (เมษายน 2550). "เรียนรู้แบบมนุษย์" . IEEE Spectrum .
• Maltoni, Davide (13 เมษายน 2554). "การจดจำรูปแบบโดยหน่วยความจำเชิงเวลาแบบลำดับชั้น" (PDF) . รายงานทางเทคนิค DEIS. อิตาลี: มหาวิทยาลัยโบโลญญา.
• แรทลิฟฟ์, อีแวน (มีนาคม 2007). "เครื่องจักรแห่งความคิด" . Wired .

• HTMที่นูเมนต้า
• พื้นฐาน HTM กับ Rahul (Numenta) พูดคุยเกี่ยวกับอัลกอริธึมการเรียนรู้ของเปลือกสมอง (CLA) ที่ใช้ในโมเดล HTM บนYouTube