Suchmaschinen-Spider steuern

Nicht alles, was auf einem Server untergebracht ist, gehört in die Suchmaschinen. Weil viele Suchmaschinen nur eine begrenzte Zahl an Seiten jeder Domain aufnehmen, sollten Sie den Suchmaschinen unwichtige Inhalte vorenthalten. Nur so geben Sie den Suchmaschinen-Spidern die Chance, sich auf wichtige Seiten zu konzentrieren.

Zur Erinnerung: Spider haben keinen direkten Zugriff auf die Festplatte des Web Servers, sondern nehmen mit der Web Server-Software, meistens Apache, Kontakt auf, um Seiten abzurufen.

Suchmaschinen sehen damit nur, was der Web-Server preisgibt, ganz gleich, ob es sich dabei um statische oder durch Programm-Ausführung erst im Augenblick des Seitenabrufs auf dem Server erstellte Seiten handelt.

Während bei der typischen Web Server-Konfiguration eine mögliche Zugriffsberechtigung [oder deren Verweigerung] von der URL [d.h. von der Zugriffsberechtigung auf der Festplatte und ggfls. zusätzlich verlangtem Login und Passwort] abhängig ist, die auf alle Abrufer zutrifft, gibt es ein paar Quasi-Standards, die von Suchmaschinen-Spidern auf freiwilliger Basis honoriert werden.

Diese Quasi-Standards erlauben Ihnen bei Befolgung der vereinbarten Syntax der Kontrolldateien präzises Steuern der Suchmaschinen-Spider. Die wichtigste Kontroll-Massnahme ist das von fast allen Suchmaschinen beachtete robots.txt-File, gefolgt von speziellen META Tags.

Suchmaschinen-Tutorial: Inhalt
Weiter: Suchmaschinen robots.txt Steuerung