Nicht nur Firmen profitieren von der Informations- und Werbewirkung einer eigenen Webseite. Immer öfter präsentieren sich auch Privatpersonen mit einer kleinen Seite im Internet. In beiden Fällen spielt das Thema Sicherheit im Internet eine wichtige Rolle. Welche Seiten und welche Informationen auf den Webseiten angezeigt werden, steuert der Anwender in der Regel selbst und hat hiermit relativ große Kontrolle über deren Nutzung. Es liegt jedoch in der Natur des Internets, dass jedwede Webseiten mit allen Inhalten und Unterseiten von Suchmaschinen besucht und indiziert werden. Dies ist in der Regel auch gewünscht, wodurch die Chancen auf Auffindbarkeit und gutes Ranking in den Suchanfragen gewährleistet wird.

Für was benötigt man eine robots.txt-Datei?

Wie bereits erwähnt ist es das gewünschte Ziel eines Webseitenbetreibers, dass man in den Suchmaschinen gut gefunden und möglichst weit oben in der Liste der Suchergebnisse angezeigt wird. Je besser eine Platzierung im Ranking, umso größer die Chance, dass ein Besucher auch auf die eigenen Webseiten kommt. Aber auch hier gibt es durchaus gewünschte Ausnahmen. Nicht immer möchte man Webseiten in den Suchergebnissen finden oder Seitenverzeichnisse direkt ansteuerbar gestalten. Es gibt viele Gründe, warum man eine Webseite oder ein Webverzeichnis quasi „verstecken“ möchte:

Wenn sich eine Webseite mit beispielsweise Produktangeboten täglich ändert, so macht es keinen Sinn diese von einer Suchmaschine indizieren zu lassen. Je nach Besuchsfrequenz eines Robots werden einige der Seiten dann gar nicht erst gefunden und jene, die gefunden werden, sind dann nach kurzer Zeit nicht mehr aktuell bzw. erreichbar.
Solange eine Webseite in der Entwicklung und noch nicht fertiggestellt ist, sollte diese auch nicht in den Suchmaschinen aufgelistet werden. Wird die Seite also noch erstellt, versuchsweise Inhalte eingefügt und getestet sowie am Layout gefeilt, ist ein Zugriff verständlicherweise nicht gewünscht. Zudem gilt auch hier der Leitsatz: Was das Web einmal kennt vergisst es nicht.
Obwohl die Verwendung einer HTML-Seite auch in dem Seitenquelltext mit einem META-Tag festgelegt werden kann, betrifft diese Angabe jedoch nur die Seite selbst. Weitere Dateien wie Bilder oder Videos sowie die vorhandenen Links sind davon nicht betroffen und verwendbar. Hier muss dann sinnvollerweise das gesamte Seitenverzeichnis für den Zugriff ausgeschlossen werden.

Wie funktioniert eine robots.txt-Datei?

Um eine oder mehrere Webseiten sowie bestimmte Verzeichnisse nicht in den Suchmaschinen sichtbar zu haben, müssen Sie bestimmte Vorkehrungen hierfür treffen. Hierfür wurde ein Standard geschaffen in dem mit verschiedenen Steuerbefehlen genau festgelegt wurde, wie die Robots (oftmals auch Crawler genannt) einer Suchmaschine mit Ihrer Domain umgehen sollen. Der Standard wird als REP (Robots Exclusion Standard-Protokoll) bezeichnet und ist inzwischen auch ohne Zertifizierung durch das RFC als Quasi-Standard anerkannt. Die zentrale Datei robots.txt ist also eine Steuerdatei und regelt das Verhalten, wie Suchmaschinen Ihre Domain sehen und indizieren können. Die Datei darf nur einmal vorkommen, muss exakt in Kleinbuchstaben benannt werden und muss im Root-Verzeichnis der Domain gespeichert sein.

Wie weiter oben bereits beschrieben lässt sich in jeder einzelne HTML-Datei zwar die Verwendung direkt festlegen, davon sind aber die für die Seite verwendeten Ressourcen wie Bilder, Videos oder Verlinkungen nicht betroffen. Hierfür muss man das komplette Verzeichnis der HTML-Seite als geschützt ausweisen. Um den Suchmaschinen eine gezielte Selektion und Freigabe der zu indizierenden Elemente zu ermöglichen, verfügt das Protokoll über eine Vielzahl an Befehlen, die wir im Folgenden auch aufzeigen möchten.

Die grundlegenden Funktionen der robots.txt

Die Steuerdatei ist als reine Textdatei ausgelegt, kann mit jedem Standard-Texteditor neu angelegt und bearbeitet werden und benötigt keine zusätzlichen Formatierungen. Der Inhalt besteht grundsätzlich aus Datensätzen mit jeweils zwei Funktionsblöcken. Im ersten Block muss man angeben, für welche User-Agents (also Robots bzw. Crawler) die nachfolgenden Befehle gelten sollen. Im zweiten Block stehen dann die einzelnen Anweisungen für die User-Agents, um Zugriffe zu sperren oder auch zu erlauben. Den grundsätzlichen Aufbau sehen Sie im folgenden Quelltext: