Suchmaschinen-Spider durch META-Tags steuern

Für den Fall dass Ihr robots.txt bereits zu umfangreich wurde oder aus anderen Gründen Anweisungen an Spider dort nicht untergebracht werden können, besteht die Möglichkeit der Anbringung von entsprechenden META-Tags in einzelnen HTML-Dateien.

Bitte achten Sie darauf, dass die Beachtung dieser Tags nicht so verbreitet ist, wie die Befolgung der Anweisungen im robots.txt-File.

Auch hier gilt, dass Suchmaschinen-Spider, sofern sie diese META-Tags überhaupt beachten, nur ausgesprochene Verbote honorieren und nicht durch Anbringung eines META-Tags verleitet werden können, Seiten aufzunehmen oder häufiger als üblich zu besuchen.

Drei Variationen werden von Suchmaschinen, die diese Tags beachten, berücksichtigt:

<META NAME="robots" CONTENT="index, nofollow">: Die diese Anweisung enthaltene Seite darf indiziert [index], darin gefundene Links sollten aber nicht verfolgt [nofollow] werden.
<META NAME="robots" content="noindex, follow">: Die den Tag enthaltene Seite sollte nicht indiziert werden, gefundene Links dürfen verfolgt werden.
<META NAME="robots" content="noindex, nofollow">: Die Seite sollte nicht indiziert und darin gefundene Links nicht verfolgt werden.

Suchmaschinen-Tutorial: Inhalt
Weiter: Suchmaschinen-Spider und Server-Konfiguration