Web scraping
การขูดเว็บ
เคิร์ล
1997 softwarecURL (ออกเสียงเหมือน "curl" / k ɜːr l / ) เป็นโปรแกรมคอมพิวเตอร์โอเพนซอร์สฟรี สำหรับการถ่ายโอนข้อมูลไปยังและจากเซิร์ฟเวอร์...
แคชของเครื่องมือค้นหา
CS1 errors: generic titleแคชของ เครื่องมือค้นหาคือแคชของเว็บเพจที่แสดงเว็บเพจในลักษณะเดียวกับตอนที่เว็บครอว์เลอร์ ทำการจัดทำดัชนี...
robots.txt
Internet botsโปรโตคอลการยกเว้นหุ่นยนต์ (มักเรียกตามชื่อไฟล์ที่ใช้ในการใช้งาน คือrobots.
อ่าน 1 นาทีContact scraping
CS1: abbreviated year rangeIn online advertising, contact scraping is the practice of obtaining access to a customer's e-mail account in order to retrieve contact information that is then used for marketing.
ไวร์ชาร์ค
CS1: unfit URLWiresharkเป็น ซอฟต์แวร์ วิเคราะห์แพ็กเก็ตแบบโอเพนซอร์สและใช้งานได้ฟรี ใช้สำหรับการวิเคราะห์และแก้ไขปัญหาเครือข่ายคอมพิวเตอร์ การพัฒนาซอฟต์แวร์และ โปรโตคอลการสื่อสารและการศึกษา
อ่าน 1 นาทีคาปิบาร่า (ซอฟต์แวร์)
Free software programmed in RubyCapybara เป็นซอฟต์แวร์ ทดสอบอัตโนมัติบนเว็บที่จำลองสถานการณ์สำหรับเรื่องราวของผู้ใช้และทำการ ทดสอบ แอปพลิเคชันเว็บ โดยอัตโนมัติ สำหรับ การพัฒนาซอฟต์แวร์...
อ่าน 1 นาทีโนโกกิริ (ซอฟต์แวร์)
HTML parsersNokogiriเป็นไลบรารีซอฟต์แวร์โอเพนซอร์สสำหรับแยกวิเคราะห์HTMLและXMLในภาษาRuby โดยอาศัยlibxml2และlibxsltเพื่อให้ฟังก์ชันการทำงาน
อ่าน 1 นาทีYahoo Pipes
2007 softwareYahoo! Pipesเป็นแอปพลิเคชันบนเว็บจากYahoo!ที่มีอินเทอร์เฟซผู้ใช้แบบกราฟิกสำหรับการสร้างการผสมผสานข้อมูล (data mashups ) ที่รวบรวมฟีดเว็บเว็บเพจและบริการอื่นๆ...
ซุป
Free software programmed in Javajsoupเป็นไลบรารีJava แบบโอเพนซอร์ส ที่ออกแบบมาเพื่อแยกวิเคราะห์ ดึงข้อมูล และจัดการข้อมูลที่จัดเก็บอยู่ในเอกสาร HTML
กรีสมังกี้
Free Firefox WebExtensionsGreasemonkeyคือโปรแกรมจัดการสคริปต์สำหรับผู้ใช้ซึ่งมีให้ใช้งานในรูปแบบส่วนเสริมของ Mozilla Firefox ช่วยให้ผู้ใช้สามารถติดตั้งสคริปต์ ที่ทำการเปลี่ยนแปลงเนื้อหาของ
อ่าน 1 นาทีการดึงข้อมูลจากเว็บไซต์
All pages needing cleanupการดึงข้อมูล จากเว็บ (Web scraping) , การเก็บเกี่ยว ข้อมูล จาก เว็บ (Web harvesting)หรือการสกัดข้อมูลจากเว็บ (Web data extraction)คือการดึงข้อมูลจากเว็บไซต์ ซอฟต์แวร์ดึงข้อมูลจาก..
hiQ Labs ปะทะ LinkedIn
2019 in United States case lawคดี hiQ Labs, Inc. v. LinkedIn Corp. , 938 F.3d 985 (9th Cir. 2019) เป็นคดีของศาลอุทธรณ์เขตที่ 9 ของสหรัฐอเมริกา เกี่ยวกับ การดึงข้อมูลจากเว็บไซต์ hiQ
ดับเบิลยูเก็ต
1996 softwareGNU Wget (หรือเรียกสั้น ๆ ว่าWgetเดิม ชื่อ Geturlหรือเขียนตามชื่อแพ็กเกจว่าwget ) เป็นโปรแกรมคอมพิวเตอร์ที่ใช้ดึงเนื้อหาจากเว็บเซิร์ฟเวอร์เป็นส่วนหนึ่งของโครงการ...
อ่าน 1 นาทีหน่วย HTML
Free software programmed in JavaHtmlUnitเป็นเว็บเบราว์เซอร์แบบไร้ส่วนหัวที่เขียนด้วยภาษา Javaช่วยให้สามารถจัดการเว็บไซต์ ในระดับสูง จากโค้ด Java อื่นๆ ได้...
ดิฟบอท
Applied machine learningDiffbotเป็นผู้พัฒนา อัลกอริธึม การเรียนรู้ของเครื่องและคอมพิวเตอร์วิชั่น รวมถึง APIสาธารณะสำหรับการดึงข้อมูลจากเว็บเพจ/ การคัดลอกข้อมูลจากเว็บเพื่อสร้างฐานความรู้
ไฟร์บัก (ซอฟต์แวร์)
2006 softwareFirebugเป็น ส่วนขยาย เว็บเบราว์เซอร์โอเพนซอร์สฟรีที่เลิกใช้งาน แล้ว สำหรับMozilla Firefox ซึ่งอำนวยความสะดวกในการดีบักแก้ไข และตรวจสอบCSS , HTML , DOM , XHRและJavaScript...
HTTrack
Free software programmed in CHTTrackเป็นโปรแกรมรวบรวมข้อมูลเว็บและเบราว์เซอร์ออฟไลน์แบบโอ เพนซอร์ส และ ใช้งาน ได้ฟรีพัฒนาโดย Xavier Roche และได้รับอนุญาตภายใต้สัญญาอนุญาตGNU General Public License เวอร์ชัน 3
เว็บไซต์สแครปเปอร์
Citation overkillเว็บไซต์ที่คัดลอกเนื้อหาจากเว็บไซต์อื่นโดยใช้ เทคนิคการดึงข้อมูล จากเว็บ (web scraping ) เรียก...
อ่าน 1 นาทีการดึงข้อมูลจากเครื่องมือค้นหา
Internet search algorithmsการดึงข้อมูลจากเครื่องมือค้นหา (Scraping) หมายถึงการดึงURLคำอธิบาย และข้อมูลอื่นๆ จาก ผล การค้นหาของเครื่องมือค้นหา โดยอัตโนมัติ เป็นสาขาย่อยเฉพาะทางของ การดึงข้อมูลจาก เว็บไซต์...
วาติร์
Graphical user interface testingWatir ( Web Application Testing in Ruby , ออกเสียงว่าวอเตอร์) เป็นไลบรารีRuby แบบโอเพ นซอร์สสำหรับการทดสอบเว็บเบราว์เซอร์โดยอัตโนมัติ สามารถใช้งานได้กับInternet Explorer , Firefox.
สแครปปี้
Free software programmed in PythonScrapy ( / ˈ s k r eɪ p aɪ / SKRAY -peye ) เป็นเฟรมเวิร์กการรวบรวมข้อมูลจากเว็บแบบโอเพนซอร์สและฟรี ที่เขียนด้วยภาษา Python เดิมทีออกแบบมาเพื่อการดึงข้อมูลจากเว็บ แต่
อ่าน 1 นาทีภาษาค้นหาของ Yahoo
CS1 maint: deprecated archival serviceYahoo! Query Language ( YQL ) เป็นภาษาการสืบค้นข้อมูลแบบSQLที่สร้างขึ้นโดยYahoo!