ตระกูลคอร์ปัส TenTen (เรียกอีกอย่างว่าคอร์ปัส TenTen ) คือชุดคอร์ปัสข้อความ เว็บที่เปรียบเทียบกันได้ กล่าว คือ ชุดข้อความที่รวบรวมจากเวิลด์ไวด์เว็บและประมวลผลให้ตรงกับมาตรฐานเดียวกัน คอร์ปัสเหล่านี้มีให้ใช้งานผ่าน ตัวจัดการคอร์ปัส Sketch Engineมีคอร์ปัส TenTen สำหรับมากกว่า 35 ภาษา โดยมีเป้าหมายขนาด 10 พันล้าน ( ^10¹⁰ ) คำต่อภาษา ซึ่งเป็นที่มาของชื่อตระกูลคอร์ปัส^{[ 1 ]}

ในการสร้างคลังข้อมูล TenTen ข้อมูลที่รวบรวมจากเวิลด์ไวด์เว็บจะถูกประมวลผลด้วย เครื่องมือ ประมวลผลภาษาธรรมชาติที่พัฒนาโดยศูนย์ประมวลผลภาษาธรรมชาติ คณะสารสนเทศศาสตร์มหาวิทยาลัยมาซาริก ( บร์โนสาธารณรัฐเช็ก ) และโดยบริษัท Lexical Computing (ผู้พัฒนา Sketch Engine)

ในภาษาศาสตร์คลัง ข้อมูล ข้อความคลังข้อมูลคือชุดข้อความขนาดใหญ่และมีโครงสร้างที่จัดเก็บและประมวลผลในรูปแบบอิเล็กทรอนิกส์ ใช้เพื่อทดสอบสมมติฐานเกี่ยวกับภาษา ตรวจสอบความถูกต้องของกฎทางภาษา หรือการกระจายความถี่ของคำ ( n-grams ) ภายในภาษาต่างๆ

คลังข้อมูลที่ผ่านการประมวลผลทางอิเล็กทรอนิกส์ช่วยให้ค้นหาได้อย่างรวดเร็ว กระบวนการประมวลผลข้อความ เช่นการแยกคำการระบุชนิดของคำและการแยกแยะความหมายของคำช่วยเพิ่มข้อมูลทางภาษาศาสตร์โดยละเอียดให้กับข้อความในคลังข้อมูล ทำให้สามารถจำกัดการค้นหาให้แคบลงไปยังชนิดของคำลำดับคำ หรือส่วนใดส่วนหนึ่งของคลังข้อมูลได้

คลังข้อมูลข้อความชุดแรกถูกสร้างขึ้นในทศวรรษ 1960 เช่น คลังข้อมูลBrown Corpusของภาษาอังกฤษแบบอเมริกัน ที่มีคำศัพท์ถึง 1 ล้านคำ เมื่อเวลาผ่านไป คลังข้อมูลอื่นๆ อีกมากมายก็ถูกสร้างขึ้น (เช่นBritish National CorpusและLOB Corpus ) และเริ่มมีการพัฒนาคลังข้อมูลที่มีขนาดใหญ่ขึ้นและครอบคลุมภาษาอื่นๆ นอกเหนือจากภาษาอังกฤษ การพัฒนาเหล่านี้เชื่อมโยงกับการเกิดขึ้นของเครื่องมือสร้างคลังข้อมูลที่ช่วยให้ได้ขนาดที่ใหญ่ขึ้น ครอบคลุมพื้นที่กว้างขึ้น ข้อมูลที่สะอาดขึ้น ฯลฯ

ขั้นตอนการผลิตคลังข้อมูล TenTen นั้นอิงตามการวิจัยก่อนหน้านี้ของผู้สร้างในการเตรียมคลังข้อมูลเว็บและการประมวลผลในภายหลัง^{[ 2 ] [ 3 ] [ 4 ]}

ในตอนเริ่มต้น ข้อมูลข้อความจำนวนมหาศาลจะถูกดาวน์โหลดจากเวิลด์ไวด์เว็บโดยเว็บครอว์เลอร์ SpiderLing เฉพาะ^{[ 5 ]}ในขั้นตอนต่อมา ข้อความเหล่านี้จะได้รับการทำความสะอาดซึ่งประกอบด้วยการลบเนื้อหาที่ไม่ใช่ข้อความ เช่น ลิงก์นำทาง ส่วนหัว และส่วนท้าย ออกจาก ซอร์สโค้ด HTMLของเว็บเพจโดยใช้เครื่องมือ jusText ^{[ 6 ]}เพื่อให้เหลือเพียงประโยคที่สมบูรณ์เท่านั้น ในที่สุด เครื่องมือ ONION ^{[ 6 ]}จะถูกนำมาใช้เพื่อลบส่วนของข้อความที่ซ้ำกันออกจากคลังข้อมูล ซึ่งเกิดขึ้นตามธรรมชาติบนเวิลด์ไวด์เว็บเนื่องจากการปฏิบัติเช่นการอ้างอิงการอ้างอ้างการคัดลอกฯลฯ^{[ 1 ]}

ชุดข้อมูล TenTen มีโครงสร้างเมตาเดตาเฉพาะที่เหมือนกันทุกชุด เมตาเดตาเหล่านี้บรรจุอยู่ในคุณลักษณะเชิงโครงสร้างที่เกี่ยวข้องกับเอกสารและย่อหน้าแต่ละรายการในชุดข้อมูล บางชุดข้อมูล TenTen อาจมีคุณลักษณะเฉพาะเพิ่มเติมอีกด้วย

สามารถเข้าถึงคลังข้อมูลต่อไปนี้ได้ผ่านทาง Sketch Engine ณ เดือนตุลาคม 2561: ^{[ 7 ]}

• คลังข้อความ
• เอ็นจิ้นร่าง
• เว็บครอว์เลอร์ (สไปเดอร์)
• การลบข้อมูลซ้ำซ้อน

• กลุ่มคลังข้อมูล TenTen (ที่เว็บไซต์ Sketch Engine)