เว็บลึก [ ^{1 ]}หรือที่รู้จักกันในชื่อ^เว็บที่มองไม่เห็น^{[ 2 ]}หรือเว็บที่ซ่อนอยู่^{[ 3} ] ^{คือส่วน}ต่างๆ ของเวิลด์ไวด์เว็บซึ่งเนื้อหาไม่ได้ถูกจัดทำดัชนีโดยโปรแกรมเครื่องมือค้นหาเว็บ มาตรฐาน [ ^{4 ]}ซึ่งแตกต่างจากเว็บพื้นผิวที่ทุกคนสามารถเข้าถึงได้โดยใช้อินเทอร์เน็ต^{[ 5 ]}นักวิทยาศาสตร์คอมพิวเตอร์ Michael K. Bergman ได้รับเครดิตว่าเป็นผู้คิดค้นคำนี้ในปี 2001 ในฐานะคำที่ ^ใช้ในการจัดทำดัชนีการค้นหา^{[ 6 ]}

เว็บไซต์ Deep Web สามารถเข้าถึงได้โดยตรงผ่านURLหรือที่อยู่ IPแต่บางครั้งอาจต้องป้อนรหัสผ่านหรือข้อมูลความปลอดภัยอื่นๆ เพื่อเข้าถึงเนื้อหาจริง^{[ 7 ] [ 8 ]}การใช้งานเว็บไซต์ Deep Web ได้แก่เว็บเมลธนาคารออนไลน์พื้นที่จัดเก็บข้อมูลบนคลาวด์ หน้า และโปรไฟล์ โซเชียลมีเดียที่จำกัดการเข้าถึงและเว็บบอร์ดที่ต้องลงทะเบียนเพื่อดูเนื้อหา นอกจากนี้ยังรวมถึง บริการ ที่ต้องชำระเงินเช่นวิดีโอตามความต้องการและนิตยสารและหนังสือพิมพ์ออนไลน์บางฉบับ

การใช้คำว่า "deep web" และ " dark web " ร่วมกันครั้งแรกเกิดขึ้นในปี 2009 เมื่อมีการพูดคุยเกี่ยวกับคำศัพท์การค้นหา deep web ควบคู่ไปกับกิจกรรมที่ผิดกฎหมายที่เกิดขึ้นบนFreenetและdarknet [ ^{9 ]}กิจกรรมทางอาชญากรรมเหล่านั้นรวมถึงการค้าขายรหัสผ่าน ส่วนบุคคล เอกสารประจำตัวปลอมยาเสพติดการฆาตกรรม^การทรมาน^การ ข่มขืน สื่อลามกอาวุธปืนและสื่อลามกเด็ก [ ^{10 ]}

นับตั้งแต่นั้นมา หลังจากที่สื่อต่างๆ นำไปใช้ในการรายงานข่าวเกี่ยวกับเว็บไซต์ตลาดมืดSilk Roadสื่อต่างๆ ก็มักใช้คำว่า "deep web" เป็นคำพ้องความหมายกับdark webหรือdarknetซึ่งเป็นการเปรียบเทียบที่บางคนปฏิเสธว่าไม่ถูกต้อง^{[ 11 ]}และด้วยเหตุนี้จึงกลายเป็นแหล่งที่มาของความสับสนอย่างต่อเนื่อง^{[ 12 ]} นักข่าวของ Wired อย่าง Kim Zetter ^{[ 13 ]}และAndy Greenberg ^{[ 14 ]}แนะนำให้ใช้คำเหล่านี้ในลักษณะที่แตกต่างกัน ในขณะที่ deep web หมายถึงเว็บไซต์ใดๆ ที่ไม่สามารถเข้าถึงได้โดยเครื่องมือค้นหาแบบดั้งเดิม dark web คือส่วนหนึ่งของ deep web ที่ถูกซ่อนไว้โดยเจตนาและไม่สามารถเข้าถึงได้โดยเบราว์เซอร์และวิธีการมาตรฐาน^{[ 15 ] [ 16 ]}

เบิร์กแมน ในบทความเกี่ยวกับเว็บลึกที่ตีพิมพ์ในวารสาร The Journal of Electronic Publishingกล่าวว่า จิลล์ เอลส์เวิร์ธ ใช้คำว่าInvisible Webในปี 1994 เพื่ออ้างถึงเว็บไซต์ที่ไม่ได้ลงทะเบียนกับเครื่องมือค้นหาใดๆ^{[ 17 ]}เบิร์กแมนอ้างถึงบทความของแฟรงค์ การ์เซีย ในเดือนมกราคม 1996: ^{[ 18 ]}

เว็บไซต์นั้นอาจได้รับการออกแบบมาอย่างดี แต่พวกเขาไม่ได้ลงทะเบียนกับเครื่องมือค้นหาใดๆ เลย ดังนั้นจึงไม่มีใครหาพวกเขาเจอ! คุณถูกซ่อนไว้ ผมเรียกสิ่งนี้ว่า เว็บที่มองไม่เห็น

การใช้คำว่าInvisible Web ในช่วงแรกๆ อีกครั้งหนึ่งนั้น มาจาก Bruce Mount และ Matthew B. Koll จากPersonal Library Softwareในคำอธิบายโปรแกรม Deep Web อันดับ 1 ที่พบในข่าวประชาสัมพันธ์เมื่อเดือนธันวาคม พ.ศ. 2539 ^{[ 19 ]}

การใช้คำว่าdeep web เป็นครั้งแรก ซึ่งปัจจุบันได้รับการยอมรับโดยทั่วไป เกิดขึ้นในงานวิจัยของ Bergman ในปี 2001 ที่กล่าวถึงข้างต้น^{[ 17 ]}

วิธีการที่ป้องกันไม่ให้เว็บเพจถูกจัดทำดัชนีโดยเครื่องมือค้นหาแบบดั้งเดิม อาจแบ่งออกได้เป็นหนึ่งประเภทหรือมากกว่านั้น ดังต่อไปนี้:

1. เว็บตามบริบท : หน้าเว็บที่มีเนื้อหาแตกต่างกันไปตามบริบทการเข้าถึงที่แตกต่างกัน (เช่น ช่วงของที่อยู่ IP ของไคลเอ็นต์ หรือลำดับการนำทางก่อนหน้า)
2. เนื้อหาแบบไดนามิก : หน้าเว็บแบบไดนามิกซึ่งแสดงผลเมื่อมีการส่งคำค้นหา หรือเข้าถึงได้เฉพาะผ่านแบบฟอร์ม โดยเฉพาะอย่างยิ่งหากมีการใช้ส่วนประกอบอินพุตแบบเปิด (เช่น ช่องข้อความ) ซึ่งยากต่อการใช้งานหากไม่มีความรู้เฉพาะ ด้าน
3. เนื้อหาที่เข้าถึงได้จำกัด : เว็บไซต์ที่จำกัดการเข้าถึงหน้าเว็บของตนในลักษณะทางเทคนิค (เช่น การใช้มาตรฐานการยกเว้นหุ่นยนต์หรือCAPTCHAหรือคำสั่ง no-store ซึ่งห้ามไม่ให้เครื่องมือค้นหาเรียกดูและสร้าง สำเนา แคช ) ^{[ 20 ]}เว็บไซต์อาจมีเครื่องมือค้นหาภายในสำหรับการสำรวจหน้าเว็บดังกล่าว^{[ 21 ] [ 22 ]}
4. เนื้อหาที่ไม่ใช่ HTML/ข้อความ : เนื้อหาข้อความที่เข้ารหัสในไฟล์มัลติมีเดีย (รูปภาพหรือวิดีโอ) หรือรูปแบบไฟล์ เฉพาะ ที่ไม่ได้รับการยอมรับจากเครื่องมือค้นหา
5. เว็บไซต์ส่วนตัว : เว็บไซต์ที่ต้องลงทะเบียนและเข้าสู่ระบบ (แหล่งข้อมูลที่ป้องกันด้วยรหัสผ่าน)
6. เนื้อหาที่สร้างขึ้นด้วยสคริปต์ : หน้าเว็บที่เข้าถึงได้เฉพาะผ่านลิงก์ที่สร้างด้วยJavaScriptรวมถึงเนื้อหาที่ดาวน์โหลดจากเว็บเซิร์ฟเวอร์แบบไดนามิกผ่านโซลูชันFlashหรือAjax
7. ซอฟต์แวร์ : เนื้อหาบางอย่างถูกซ่อนไว้จากอินเทอร์เน็ตทั่วไปโดยเจตนา สามารถเข้าถึงได้เฉพาะด้วยซอฟต์แวร์พิเศษ เช่นTor , I2Pหรือซอฟต์แวร์ดาร์กเน็ตอื่นๆ ตัวอย่างเช่น Tor อนุญาตให้ผู้ใช้เข้าถึงเว็บไซต์โดยใช้ ที่อยู่เซิร์ฟเวอร์ .onionโดยไม่ระบุตัวตน ซ่อนที่อยู่ IP ของตนเอง
8. เนื้อหาที่ไม่มีลิงก์ : หน้าเว็บที่ไม่มีลิงก์ไปยังหน้าอื่น ซึ่งอาจทำให้ โปรแกรม รวบรวมข้อมูลเว็บไม่สามารถเข้าถึงเนื้อหาได้ เนื้อหาประเภทนี้เรียกว่าหน้าเว็บที่ไม่มีลิงก์ย้อนกลับ (หรือเรียกว่าลิงก์ขาเข้า) นอกจากนี้ เครื่องมือค้นหาไม่สามารถตรวจจับลิงก์ย้อนกลับทั้งหมดจากหน้าเว็บที่ค้นหาได้เสมอไป
9. เว็บอาร์ไคฟ์ : บริการเว็บอาร์ไคฟ์ เช่นWayback Machineช่วยให้ผู้ใช้สามารถดูเวอร์ชันที่เก็บถาวรของเว็บเพจในช่วงเวลาต่างๆ รวมถึงเว็บไซต์ที่ไม่สามารถเข้าถึงได้และไม่ได้ถูกจัดทำดัชนีโดยเครื่องมือค้นหา เช่น Google ^{[ 6 ]} Wayback Machine อาจถูกเรียกว่าโปรแกรมสำหรับดูเว็บลึก เนื่องจากเว็บอาร์ไคฟ์ที่ไม่ใช่จากปัจจุบันไม่สามารถจัดทำดัชนีได้ เนื่องจากเวอร์ชันในอดีตของเว็บไซต์เป็นไปไม่ได้ที่จะดูผ่านการค้นหา เว็บไซต์ทั้งหมดได้รับการอัปเดตในบางช่วงเวลา ซึ่งเป็นเหตุผลว่าทำไมเว็บอาร์ไคฟ์จึงถือเป็นเนื้อหาเว็บลึก^{[ 23 ]}

แม้ว่าจะไม่สามารถค้นหาเนื้อหาของเว็บเซิร์ฟเวอร์เฉพาะเจาะจงได้โดยตรงเพื่อนำไปจัดทำดัชนีได้เสมอไป แต่ก็อาจสามารถเข้าถึงเว็บไซต์ได้โดยอ้อม (เนื่องจากช่องโหว่ทางคอมพิวเตอร์ )

ในการค้นหาเนื้อหาบนเว็บ เครื่องมือค้นหาใช้เว็บครอว์เลอร์ ที่ติดตามไฮเปอร์ลิงก์ผ่าน หมายเลขพอร์ตเสมือนโปรโตคอลที่รู้จักเทคนิคนี้เหมาะสำหรับการค้นหาเนื้อหาบนเว็บพื้นผิว แต่โดยทั่วไปแล้วจะไม่มีประสิทธิภาพในการค้นหาเนื้อหาในเว็บลึก ตัวอย่างเช่น ครอว์เลอร์เหล่านี้จะไม่พยายามค้นหาหน้าเว็บแบบไดนามิกที่เป็นผลมาจากการสืบค้นฐานข้อมูลเนื่องจากจำนวนการสืบค้นที่เป็นไปได้นั้นไม่แน่นอน^{[ 6 ]}มีข้อสังเกตว่าสามารถเอาชนะปัญหานี้ได้ (บางส่วน) โดยการให้ลิงก์ไปยังผลลัพธ์การสืบค้น แต่สิ่งนี้อาจทำให้ความนิยมของเว็บไซต์ในเว็บลึกเพิ่มขึ้นโดยไม่ตั้งใจ

DeepPeep , Intute , Aleph Open Search , Deep Web Technologies , ScirusและAhmia.fiเป็นเพียงตัวอย่างของเครื่องมือค้นหาบางส่วนที่เข้าถึง deep web ได้ Intute หมดเงินทุนและปัจจุบันเป็นคลังเก็บข้อมูลแบบคงที่ชั่วคราวตั้งแต่เดือนกรกฎาคม 2011 ^{[ 24 ]} Scirus ยุติการให้บริการในช่วงปลายเดือนมกราคม 2013 ^{[ 25 ]}

นักวิจัยได้สำรวจวิธีการรวบรวมข้อมูลจากเว็บลึกโดยอัตโนมัติ รวมถึงเนื้อหาที่สามารถเข้าถึงได้โดยซอฟต์แวร์พิเศษ เช่นTor เท่านั้น ในปี 2544 Sriram Raghavan และ Hector Garcia-Molina (ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัยสแตนฟอร์ด) ^{[ 26 ] [ 27 ]}ได้นำเสนอแบบจำลองสถาปัตยกรรมสำหรับโปรแกรมรวบรวมข้อมูลเว็บลึกที่ใช้คำสำคัญที่ผู้ใช้ให้มาหรือรวบรวมจากอินเทอร์เฟซการค้นหาเพื่อสอบถามแบบฟอร์มเว็บและรวบรวมข้อมูลเนื้อหาเว็บลึก Alexandros Ntoulas, Petros Zerfos และ Junghoo Cho จากUCLAได้สร้างโปรแกรมรวบรวมข้อมูลเว็บลึกที่สร้างคำค้นหาที่มีความหมายโดยอัตโนมัติเพื่อใช้กับแบบฟอร์มการค้นหา^{[ 28 ]} มีการเสนอ ภาษาการค้นหาแบบฟอร์มหลายภาษา (เช่น DEQUEL ^{[ 29 ]} ) ซึ่งนอกจากจะออกคำค้นหาแล้ว ยังอนุญาตให้ดึงข้อมูลที่มีโครงสร้างจากหน้าผลลัพธ์ได้อีกด้วย ความพยายามอีกอย่างหนึ่งคือ DeepPeep ซึ่งเป็นโครงการของมหาวิทยาลัยยูทาห์ที่ได้รับการสนับสนุนจากมูลนิธิวิทยาศาสตร์แห่งชาติซึ่งรวบรวมแหล่งข้อมูลเว็บที่ซ่อนอยู่ (แบบฟอร์มเว็บ) ในโดเมนต่างๆ โดยอาศัยเทคนิคการรวบรวมข้อมูลแบบมุ่งเน้นแบบใหม่^{[ 30 ] [ 31 ]}

เครื่องมือค้นหาเชิงพาณิชย์ได้เริ่มสำรวจวิธีการทางเลือกในการรวบรวมข้อมูลจากเว็บลึกโปรโตคอล Sitemap (พัฒนาและนำเสนอครั้งแรกโดย Google ในปี 2548) และOAI-PMHเป็นกลไกที่ช่วยให้เครื่องมือค้นหาและผู้ที่สนใจอื่นๆ สามารถค้นพบทรัพยากรเว็บลึกบนเว็บเซิร์ฟเวอร์เฉพาะได้ กลไกทั้งสองนี้ช่วยให้เว็บเซิร์ฟเวอร์สามารถโฆษณา URL ที่สามารถเข้าถึงได้ ทำให้สามารถค้นพบทรัพยากรที่ไม่เชื่อมโยงโดยตรงกับเว็บพื้นผิวได้โดยอัตโนมัติ ระบบการค้นหาเว็บลึกของ Google จะคำนวณการส่งข้อมูลสำหรับแต่ละแบบฟอร์ม HTML และเพิ่มหน้า HTML ที่ได้ลงในดัชนีเครื่องมือค้นหาของ Google ผลลัพธ์ที่ปรากฏคิดเป็นจำนวนหนึ่งพันคำค้นหาต่อวินาทีสำหรับเนื้อหาเว็บลึก^{[ 32 ]}ในระบบนี้ การคำนวณล่วงหน้าของการส่งข้อมูลจะทำโดยใช้อัลกอริทึมสามแบบ:

1. การเลือกค่าป้อนเข้าสำหรับช่องค้นหาข้อความที่ยอมรับคำหลัก
2. การระบุอินพุตที่ยอมรับเฉพาะค่าประเภทเฉพาะ (เช่น วันที่) และ
3. เลือกชุดข้อมูลป้อนเข้าจำนวนน้อยที่สร้าง URL ที่เหมาะสมสำหรับการรวมไว้ในดัชนีการค้นหาเว็บ

ในปี 2551 เพื่ออำนวยความสะดวกให้ผู้ใช้บริการTor hidden servicesในการเข้าถึงและค้นหาส่วนต่อท้าย. onion ที่ซ่อนอยู่Aaron Swartzได้ออกแบบTor2webซึ่งเป็นแอปพลิเคชันพร็อกซีที่สามารถเข้าถึงผ่านเว็บเบราว์เซอร์ทั่วไปได้^{[ 33 ]}เมื่อใช้แอปพลิเคชันนี้ ลิงก์ deep web จะปรากฏเป็นลำดับตัวอักษรแบบสุ่มตามด้วยโดเมนระดับบนสุด . onion

• เคลียร์เน็ต (เครือข่าย)
• โครงการ Memex ของ DARPA
• การเชื่อมโยงเชิงลึก
• เทคโนโลยีเว็บลึก
• เว็บมืดทางปัญญา
• ตลาดดาร์กเน็ต
• ดาร์กเน็ต
• เว็บมืด
• ทอร์ (เครือข่าย)
• รายชื่อบริการหัวหอมทอร์

• สื่อที่เกี่ยวข้องกับDeep webใน Wikimedia Commons

ลองค้นหาคำว่า"Deep Web"ใน Wiktionary ซึ่งเป็นพจนานุกรมออนไลน์ฟรี