Wiedner Gürtel 12/1/2, 1040 Wien

Was ist die robots.txt-Datei?

robots.txt

Stern inaktiv Stern inaktiv Stern inaktiv Stern inaktiv Stern inaktiv
 

In diesem Lexikon-Eintrag erfährst du, was die robots.txt-Datei ist und welche Bedeutung sie für SEO hat.

 

Beitrag von

Sebastian Prohaska

Inhaber & Geschäftsführer der SEO- & Online-Marketing-Agentur ithelps. Begeisterter Marvel-Fan, Leseratte, Kraftsportler und Online-Marketing-Nerd.

 

Was ist die robots.txt?

Die robots.txt ist eine Textdatei, mit der Website-Besitzer dem Googlebot und anderen Web-Crawlern mitteilen können, welche Seiten auf ihrer Website nicht aufgerufen oder indiziert werden sollen. Dies wird oft verwendet, um Suchmaschinen daran zu hindern, Seiten zu indizieren, die sich im Aufbau befinden oder sensible Informationen enthalten.

 

Wo findet man die robots.txt-Datei?

Die robots.txt-Datei muss sich im Stammverzeichnis der Website befinden, damit sie von Webcrawlern gefunden und gelesen werden kann.

 

Wie wird die robots.txt-Datei verwendet?

Die robots.txt-Datei enthält eine Reihe von Regeln, auch Direktiven genannt, die den Webcrawlern mitteilen, welche Seiten der Website nicht aufgerufen werden dürfen. Diese Direktiven werden in einem bestimmten Format platziert, damit sie von Webcrawlern gelesen und befolgt werden können.

 

Was sind gängige robots.txt-Direktiven?

Die häufigste Direktive ist die "disallow"-Direktive, die Webcrawler anweist, nicht auf die angegebenen Seiten zuzugreifen.

Die folgende Zeile würde Google zum Beispiel anweisen, die Seite https://example.com/private.html nicht zu indizieren:

User-Agent: Googlebot

disallow: /privat.html

 

Du kannst auch Platzhalter in der robots.txt-Datei verwenden. Die folgende Zeile würde Google zum Beispiel anweisen, keine Seiten im Verzeichnis /private/ zu indizieren:

User-Agent: Googlebot

disallow: /private/*

 

Andere Direktiven sind "allow" (erlaubt den Zugriff auf bestimmte Seiten), "crawl-delay" (legt eine Verzögerung zwischen aufeinanderfolgenden Crawls der Website fest) und "sitemap" (verweist auf die Sitemap der Website).

 

Was passiert, wenn meine Website keine robots.txt-Datei hat?

Wenn deine Website keine robots.txt-Datei hat, gehen die Webcrawler davon aus, dass du ihnen den Zugriff auf alle Seiten deiner Website und deren Indexierung erlaubst. Wir empfehlen dennoch, eine robots.txt-Datei zu erstellen, damit du mehr Kontrolle darüber hast, wie Suchmaschinen deine Website crawlen und indexieren.

 

So erstellst du eine robots.txt?

Du kannst eine robots.txt-Datei mit einem Texteditor wie Microsoft Notepad oder Apple TextEdit erstellen. Sobald du die Datei erstellt hast, musst du sie in das Stammverzeichnis deiner Website hochladen, damit sie von den Webcrawlern gefunden und gelesen werden kann.

 

Was sind häufige Fehler in der robots.txt?

Einige häufige Fehler bei robots.txt-Dateien sind:

  • Platzierung der robots.txt-Datei am falschen Ort: Denke daran, die robots.txt-Datei im Stammverzeichnis deiner Website zu platzieren, damit sie von Webcrawlern gefunden und gelesen werden kann.
  • Falsche Syntax: Achte darauf, dass du beim Erstellen deiner robots.txt-Datei die spezifischen Format- und Syntaxregeln einhältst. Ansonsten wird die Datei von den Webcrawlern nicht gelesen oder verfolgt.
  • Alle Seiten verbieten: Wenn du versehentlich alle Seiten deiner Website verbietest, können die Suchmaschinen deine Inhalte nicht indizieren, was der Sichtbarkeit deiner Website schadet.

 

Bedeutung der robots.txt-Datei für SEO

Die robots.txt-Datei ist wichtig für die Suchmaschinenoptimierung, denn sie ermöglicht es Website-Betreibern zu kontrollieren, welche Seiten ihrer Website von Suchmaschinen indiziert werden.

 

 

Interessante Blogartikel

Bleiben wir in Kontakt!

Weitere Blogbeiträge

Was ist ein Broken Link?
19. Oktober 2022
Glossar

Broken Link

Weiterlesen ...
Was ist ein Title-Tag?
19. November 2022
Glossar

Title-Tag

Weiterlesen ...
Was ist ein Featured Snippet?
19. Oktober 2022
Glossar

Featured Snippet

Weiterlesen ...
Was bedeutet Traffic bzw. Website Traffic?
19. Oktober 2022
Glossar

Traffic

Weiterlesen ...

ithelps logo 220

Wiedner Gürtel 12/1/2, 1040  Wien
Pernerstorferstraße 18, 3032 Eichgraben
Birkenbergstr. 1, 6410 Telfs
Bessemerstraße 82/10. OG Süd , 12103 Berlin

Die 10 häufigsten SEO Fehler

und wie Sie diese vermeiden können: