การติดแท็กตามลำดับเป็นปัญหาประเภทหนึ่งที่พบได้บ่อยใน NLP ซึ่งข้อมูลป้อนเข้ามักเป็นแบบเรียงลำดับ เช่น ประโยคข้อความ ปัญหาการติดแท็กตามลำดับปรากฏในหลายรูปแบบ เช่นการติดแท็กส่วนของคำพูด (POS tagging) และการระบุเอนทิตีที่มีชื่อในการติดแท็ก POS ตัวอย่างเช่น แต่ละคำในลำดับจะต้องถูก 'ติดแท็ก' ด้วยป้ายกำกับประเภทที่แสดงถึงชนิดของคำ:

นี้	ดีที
เป็น	วีบีซี
เอ	ดีที
ติดแท็ก	เจเจ
ประโยค.	เอ็นเอ็น

ความท้าทายหลักของปัญหานี้คือการแก้ไขความกำกวม : ในตัวอย่างข้างต้น คำว่า "sentence" และ "tagged" ในภาษาอังกฤษสามารถเป็นคำกริยาได้ เช่นกัน

แม้ว่าปัญหานี้จะสามารถแก้ไขได้โดยการจำแนกโทเค็นแต่ละรายการแต่แนวทางนี้ไม่ได้คำนึงถึงข้อเท็จจริงเชิงประจักษ์ที่ว่าแท็กไม่ได้เกิดขึ้นอย่างอิสระ แต่ละแท็กแสดงความสัมพันธ์แบบมีเงื่อนไข ที่แข็งแกร่ง กับแท็กของคำก่อนหน้า ข้อเท็จจริงนี้สามารถใช้ประโยชน์ได้ในแบบจำลองลำดับ เช่นแบบจำลองมาร์คอฟที่ซ่อนอยู่หรือฟิลด์สุ่มแบบมีเงื่อนไข^{[ 2 ]}ที่ทำนายลำดับแท็กทั้งหมดสำหรับประโยค (แทนที่จะเป็นเพียงแท็กแต่ละรายการ) ผ่านอัลกอริทึม Viterbi

หนึ่งในวิธีที่ง่ายที่สุดในการทำความเข้าใจอัลกอริธึมสำหรับการทำนายโครงสร้างทั่วไปคือเพอร์เซปตรอนโครงสร้างโดยคอลลินส์ [ ^{3 ] อั}ลกอริธึมนี้รวม อัลกอริธึมเพอ ร์เซปตรอนสำหรับการเรียนรู้ตัวจำแนกเชิงเส้นเข้ากับอัลกอริธึมการอนุมาน (โดยทั่วไป คือ อัลกอริธึม Viterbiเมื่อใช้กับข้อมูลลำดับ) และสามารถอธิบายในเชิงนามธรรมได้ดังนี้:

1. ขั้นแรก ให้กำหนดฟังก์ชัน${\displaystyle \phi (x,y)}$ที่แมปตัวอย่างการฝึกอบรม${\displaystyle x}$และการคาดการณ์ของผู้สมัคร${\displaystyle y}$ไปยังเวกเตอร์ที่มีความยาว${\displaystyle n}$(${\displaystyle x}$และ${\displaystyle y}$อาจมีโครงสร้างใดก็ได้;${\displaystyle n}$(ขึ้นอยู่กับปัญหา แต่ต้องกำหนดค่าให้คงที่สำหรับแต่ละรุ่น) ให้${\displaystyle GEN}$เป็นฟังก์ชันที่สร้างการคาดการณ์ที่เป็นไปได้
2. แล้ว:

อนุญาต${\displaystyle w}$เป็นเวกเตอร์น้ำหนักที่มีความยาว${\displaystyle n}$

สำหรับจำนวนรอบที่กำหนดไว้ล่วงหน้า:

สำหรับตัวอย่างแต่ละชิ้น${\displaystyle x}$ในชุดข้อมูลฝึกฝนที่มีผลลัพธ์ที่แท้จริง${\displaystyle t}$:

ลองทำนายดูสิ${\displaystyle {\hat {y}}}$:${\displaystyle {\hat {y}}={\operatorname {arg\,max} }\,\{y\in GEN(x)\}\,(w^{T},\phi (x,y))}$

อัปเดต${\displaystyle w}$(จาก${\displaystyle {\hat {y}}}$ต่อ${\displaystyle t}$):${\displaystyle w=w+c(-\phi (x,{\hat {y}})+\phi (x,t))}$, ที่ไหน${\displaystyle c}$คืออัตราการเรียนรู้

ในทางปฏิบัติ การหาค่า argmax เหนือ${\displaystyle {GEN}({x})}$ทำได้โดยใช้อัลกอริธึม เช่น Viterbi หรือmax-sumแทนที่จะค้นหาอย่างละเอียดถี่ถ้วนผ่านชุดผู้สมัครที่มีขนาดใหญ่เป็นทวีคูณ

แนวคิดเรื่องการเรียนรู้นั้นคล้ายคลึงกับแนวคิดของ เพอร์เซป ตรอนแบบหลายคลาส