Veel onervaren gebruikers hebben de naïeve verwachting dat ze alles kunnen op het world wide web te lokaliseren met behulp van Google of Yahoo of Ask.com. Nee, net zo krachtig als deze zoekmachines zijn, doen ze niet indexeren alles op het world wide web. In feite, zoekmachines indexeren minder dan 10% van het gehele web! Dat de resterende 90% wordt genoemd de "Invisible Web", of met andere woorden, "The Cloaked Web" of "The Deep Web". Dit is de enorme inhoud die openbaar beschikbaar is, maar verborgen voor gewone zoekmachines.
Inderdaad, dit is een moeilijk concept om te begrijpen - dat miljarden webpagina's niet kan worden gevonden door Google. Maar dat het waar is, miljarden pagina's buiten het bereik van de zoekmachine catalogiseren. De robot "spiders" die scannen en catalogus van de world wide web zijn beperkt ... kunnen ze niet zien, noch index alles.
Om beter te visualiseren van dit concept, laten we beginnen met enige omvang schattingen van Google.com, Yahoo.com, Cyberatlas, en MIT. Deze statistieken zijn huidige tot het voorjaar 2011:
-
Google.com indexen 26,5 miljard publieke webpagina's.
-
92 + miljard statische webpagina's zijn publiek beschikbaar zijn.
Deze pagina's kunnen gemakkelijk worden gevonden door Google en andere zoekmachines.
(Bijv. www.honda.com, www.australia.gov.au)
-
9,5 miljard statische pagina's zijn niet zichtbaar voor het publiek. Aangezien particuliere intranet content, dit zijn de corporate pagina's die alleen toegankelijk voor medewerkers van specifieke bedrijven.
(Bijv. employees.honda.com, secure.australia.gov.au)
-
300 + miljard database-driven pagina's zijn volledig onzichtbaar voor Google. Deze onzichtbare pagina's zijn niet de gewone webpagina's die u en ik kunnen maken.
Integendeel, dit zijn dynamische database-rapporten die alleen bestaan ​​als de naam van grote databases.
(Bijv. op maat online auto offerte voor Shelly, Australische regering de discussie over aboriginal belastingen)
Google, beschouwd als de beste zoekdatabase vandaag de dag, kan alleen een catalogus fractie van deze monsterlijke inhoud. Zelfs met elektronische spinnen om miljoenen webpagina's catalogus per week, Google huidige indexeert slechts 23,5 miljard uit de 300 + miljard pagina's die er zijn ... minder dan 8% van alle beschikbare internet content.
Dus als Google alleen catalogi 8% van het World Wide Web, en andere zoekmachines catalogus nog minder, waar is dan de resterende 92% van web content verborgen?
Dat is waar de "Invisible Web" begint ...