|
Ein Webcrawler, Spider, Bot oder Robot genannt sind Softwareprogramme welche automatisch die Internet-Webadressen und deren Webseiten im weltweiten Internet (WWW) nach bestimmten Suchkriterien durchsuchen, wobei sie auch den vorhandenen Links innerhalb der Webseiten folgen und den Inhalt der Seiten auswerten.
Die Auswertung wird im Softwareprogramm festgelegt, dazu gehört z.B.
IP-Adressen
Links
E-Mailadressen
Bilderdateien (z.B. mit einer Dateiendung .jpg)
Musikdateien (z.B. mit einer Dateiendung .mp3)
Textdateien (z.B. mit einer Dateiendung .doc)
Bestimmte Suchbegriffe (z.B. Handy)
und das sammeln von weiteren Datenbeständen
Wenn man ein bestimmten Robot oder Crawler komplett von seiner Webseite aussperren möchte, kann man das in seiner eigenen robots.txt (Datei) versuchen, die robots.txt Datei liegt im Root Verzeichnis der eigenen URL, wenn man diese Datei nicht findet, sollte man seinem Provider um Hilfe bitten.
|