Die robots.txt ist eine Textdatei, mit der Website-Besitzer dem Googlebot und anderen Web-Crawlern mitteilen können, welche Seiten auf ihrer Website nicht aufgerufen oder indiziert werden sollen. Dies wird oft verwendet, um Suchmaschinen daran zu hindern, Seiten zu indizieren, die sich im Aufbau befinden oder sensible Informationen enthalten.

Wo findet man die robots.txt-Datei?

Die robots.txt-Datei muss sich im Stammverzeichnis der Website befinden, damit sie von Webcrawlern gefunden und gelesen werden kann.

Wie wird die robots.txt-Datei verwendet?

Die robots.txt-Datei enthält eine Reihe von Regeln, auch Direktiven genannt, die den Webcrawlern mitteilen, welche Seiten der Website nicht aufgerufen werden dürfen. Diese Direktiven werden in einem bestimmten Format platziert, damit sie von Webcrawlern gelesen und befolgt werden können.

Was sind gängige robots.txt-Direktiven?

Die häufigste Direktive ist die "disallow"-Direktive, die Webcrawler anweist, nicht auf die angegebenen Seiten zuzugreifen.

Die folgende Zeile würde Google zum Beispiel anweisen, die Seite https://example.com/private.html nicht zu indizieren:

User-Agent: Googlebot

disallow: /privat.html

Du kannst auch Platzhalter in der robots.txt-Datei verwenden. Die folgende Zeile würde Google zum Beispiel anweisen, keine Seiten im Verzeichnis /private/ zu indizieren:

User-Agent: Googlebot

disallow: /private/*

Andere Direktiven sind "allow" (erlaubt den Zugriff auf bestimmte Seiten), "crawl-delay" (legt eine Verzögerung zwischen aufeinanderfolgenden Crawls der Website fest) und "sitemap" (verweist auf die Sitemap der Website).

Was passiert, wenn meine Website keine robots.txt-Datei hat?

Wenn deine Website keine robots.txt-Datei hat, gehen die Webcrawler davon aus, dass du ihnen den Zugriff auf alle Seiten deiner Website und deren Indexierung erlaubst. Wir empfehlen dennoch, eine robots.txt-Datei zu erstellen, damit du mehr Kontrolle darüber hast, wie Suchmaschinen deine Website crawlen und indexieren.

So erstellst du eine robots.txt?

Du kannst eine robots.txt-Datei mit einem Texteditor wie Microsoft Notepad oder Apple TextEdit erstellen. Sobald du die Datei erstellt hast, musst du sie in das Stammverzeichnis deiner Website hochladen, damit sie von den Webcrawlern gefunden und gelesen werden kann.

Was sind häufige Fehler in der robots.txt?

Einige häufige Fehler bei robots.txt-Dateien sind:

• Platzierung der robots.txt-Datei am falschen Ort: Denke daran, die robots.txt-Datei im Stammverzeichnis deiner Website zu platzieren, damit sie von Webcrawlern gefunden und gelesen werden kann.
• Falsche Syntax: Achte darauf, dass du beim Erstellen deiner robots.txt-Datei die spezifischen Format- und Syntaxregeln einhältst. Ansonsten wird die Datei von den Webcrawlern nicht gelesen oder verfolgt.
• Alle Seiten verbieten: Wenn du versehentlich alle Seiten deiner Website verbietest, können die Suchmaschinen deine Inhalte nicht indizieren, was der Sichtbarkeit deiner Website schadet.

Bedeutung der robots.txt-Datei für SEO

Die robots.txt-Datei ist wichtig für die Suchmaschinenoptimierung, denn sie ermöglicht es Website-Betreibern zu kontrollieren, welche Seiten ihrer Website von Suchmaschinen indiziert werden.