กูเกิลบอท

กูเกิลบอท
ผู้เขียนต้นฉบับ	Google
พิมพ์	เว็บครอว์เลอร์
เว็บไซต์	คำถามที่พบบ่อยเกี่ยวกับ Googlebot

Googlebotคือ ซอฟต์แวร์ เว็บครอว์เลอร์ ที่ Googleใช้ในการรวบรวมเอกสารจากเว็บเพื่อสร้างดัชนีที่สามารถค้นหาได้สำหรับ เครื่องมือ ค้นหาของ Googleชื่อนี้จริงๆ แล้วใช้เพื่ออ้างถึงเว็บครอว์เลอร์สองประเภทที่แตกต่างกัน ได้แก่ ครอว์เลอร์สำหรับเดสก์ท็อป (เพื่อจำลองผู้ใช้เดสก์ท็อป) และครอว์เลอร์สำหรับมือถือ (เพื่อจำลองผู้ใช้มือถือ) ^{[ 1 ]}

เว็บไซต์หนึ่งๆ อาจถูกรวบรวมข้อมูลโดยทั้ง Googlebot Desktop และ Googlebot Mobile อย่างไรก็ตาม Google ได้เปลี่ยนไปใช้การจัดทำดัชนีแบบเน้นอุปกรณ์เคลื่อนที่เป็นหลัก ซึ่งหมายความว่า Google จะรวบรวมข้อมูลและจัดทำดัชนีเว็บโดยใช้ Googlebot บนสมาร์ทโฟนเป็นหลัก กระบวนการนี้เริ่มทยอยเปิดใช้งานในปี 2016 และเสร็จสมบูรณ์สำหรับทุกเว็บไซต์ภายในปลายปี 2023 ^{[ 2 ] [ 3 ]}สามารถระบุชนิดย่อยของ Googlebot ได้โดยการดูที่สตริงตัวแทนผู้ใช้ในคำขอ อย่างไรก็ตาม ทั้งสองประเภทของโปรแกรมรวบรวมข้อมูลจะปฏิบัติตามโทเค็นผลิตภัณฑ์เดียวกัน (โทเค็นตัวแทนผู้ใช้) ในrobots.txtดังนั้นนักพัฒนาจึงไม่สามารถกำหนดเป้าหมาย Googlebot มือถือหรือ Googlebot เดสก์ท็อปได้โดยใช้ robots.txt

Google มีวิธีการต่างๆ ที่ช่วยให้เจ้าของเว็บไซต์สามารถจัดการเนื้อหาที่แสดงในผลการค้นหาของ Google ได้ หากผู้ดูแลเว็บเลือกที่จะจำกัดข้อมูลบนเว็บไซต์ของตนที่ Googlebot หรือสไปเดอร์ อื่นๆ สามารถเข้าถึงได้ พวกเขาสามารถทำได้โดยใช้คำสั่งที่เหมาะสมในไฟล์robots.txt ^{[ 4 ]}หรือโดยการเพิ่มเมตาแท็ก<meta name="Googlebot" content="nofollow" />ไปยังหน้าเว็บ^{[ 5 ]}คำขอของ Googlebot ไปยังเว็บเซิร์ฟเวอร์สามารถระบุได้ด้วย สตริง ตัวแทนผู้ใช้ที่มี "Googlebot" และที่อยู่โฮสต์ที่มี "googlebot.com" ^{[ 6 ]}

ปัจจุบัน Googlebot ติดตามลิงก์HREF และลิงก์ SRC ^{[ 4 ]} มีหลักฐานเพิ่มมากขึ้นว่า Googlebot สามารถเรียกใช้ JavaScript และวิเคราะห์เนื้อหาที่สร้างขึ้นจาก การเรียกใช้ Ajaxได้เช่นกัน^{[ 7 ]}มีทฤษฎีมากมายเกี่ยวกับความสามารถของ Googlebot ในการประมวลผล JavaScript ขั้นสูง โดยความคิดเห็นมีตั้งแต่ความสามารถขั้นต่ำที่ได้มาจากตัวแปลภาษาแบบกำหนดเอง^{[ 8 ]}ตั้งแต่เดือนพฤษภาคม 2019 Googlebot ได้ใช้บริการแสดงผลเว็บ (WRS) แบบ "evergreen" ที่อัปเดตเป็นเวอร์ชันเสถียรล่าสุดของ เอ็นจิ้นการแสดงผล Chromium โดยอัตโนมัติ เพื่อให้มั่นใจว่ารองรับความสามารถของเบราว์เซอร์สมัยใหม่ เช่นคุณสมบัติECMAScript 6 ^{[ 9 ]} Googlebot ค้นพบหน้าเว็บโดยการรวบรวมทุกลิงก์ในทุกหน้าเว็บที่มันพบ เว้นแต่จะถูกห้ามโดย แท็ก nofollowมันจะติดตามลิงก์เหล่านี้ไปยังหน้าเว็บอื่น หน้าเว็บใหม่จะต้องเชื่อมโยงจากหน้าเว็บที่รู้จักอื่นๆ บนเว็บเพื่อให้สามารถรวบรวมและจัดทำดัชนีได้ หรือส่งด้วยตนเองโดยผู้ดูแลเว็บ

ปัญหาที่ผู้ดูแลเว็บที่มี แผน โฮสติ้งเว็บ แบนด์วิดท์ต่ำ มักสังเกตเห็นเกี่ยวกับ Googlebot คือมันใช้แบนด์วิดท์จำนวนมหาศาล ซึ่งอาจทำให้เว็บไซต์ใช้แบนด์วิดท์เกินขีดจำกัดและถูกปิดชั่วคราว ปัญหานี้เป็นปัญหาอย่างยิ่งสำหรับ เว็บไซต์ มิเรอร์ที่เก็บข้อมูล หลาย กิกะไบต์ Google มี " Search Console " ที่อนุญาตให้เจ้าของเว็บไซต์ควบคุมอัตราการรวบรวมข้อมูลได้^{[ 10 ]}

ความถี่ที่ Googlebot จะทำการรวบรวมข้อมูลเว็บไซต์ขึ้นอยู่กับงบประมาณการรวบรวมข้อมูล งบประมาณการรวบรวมข้อมูลเป็นการประมาณการว่าเว็บไซต์ได้รับการอัปเดตบ่อยแค่ไหน ในทางเทคนิคแล้ว ทีมพัฒนาของ Googlebot (ทีมรวบรวมข้อมูลและจัดทำดัชนี) ใช้คำศัพท์ที่กำหนดไว้ภายในหลายคำเพื่อกำหนดความหมายของ "งบประมาณการรวบรวมข้อมูล" ^{[ 11 ]}

Mediabotคือเว็บครอว์เลอร์ที่Googleใช้ในการวิเคราะห์เนื้อหาเพื่อให้Google AdSenseสามารถแสดง โฆษณา ที่เกี่ยวข้องกับบริบทของเว็บเพจได้ Mediabot ระบุตัวเองด้วย สตริง User Agentว่า "Mediapartners-Google/2.1"

แตกต่างจากโปรแกรมรวบรวมข้อมูลอื่นๆ Mediabot ไม่ได้ติดตามลิงก์เพื่อค้นหา URL ที่สามารถรวบรวมข้อมูลได้ใหม่ แต่จะเยี่ยมชมเฉพาะ URL ที่มีโค้ด AdSense เท่านั้น^{[ 12 ]}ในกรณีที่เนื้อหานั้นอยู่หลังการเข้าสู่ระบบ โปรแกรมรวบรวมข้อมูลสามารถได้รับสิทธิ์การเข้าสู่ระบบเพื่อให้สามารถรวบรวมข้อมูลเนื้อหาที่ได้รับการป้องกันได้^{[ 13 ]}

InspectionToolคือครอว์เลอร์ที่ใช้โดยเครื่องมือทดสอบการค้นหา เช่น Rich Result Test และการตรวจสอบ URL ในGoogle Search Consoleนอกจากตัวแทนผู้ใช้และโทเค็นตัวแทนผู้ใช้แล้ว ยังเลียนแบบ Googlebot อีกด้วย^{[ 14 ]}

คู่มือเกี่ยวกับโปรแกรมรวบรวมข้อมูลได้รับการเผยแพร่โดยอิสระ^{[ 15 ]}โดยให้รายละเอียดเกี่ยวกับตัวแทนโปรแกรมรวบรวมข้อมูลที่แตกต่างกันสี่ตัวตาม ข้อมูล ดัชนีไดเร็กทอรีของเว็บเซิร์ฟเวอร์ได้แก่ โปรแกรมรวบรวมข้อมูลที่ไม่ใช่ Chrome หนึ่งตัว และโปรแกรมรวบรวมข้อมูล Chrome สามตัว

• คำถามที่พบบ่อย (FAQ) อย่างเป็นทางการของ Googlebot จาก Google