Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine einfache Textdatei, die sich im Stammverzeichnis einer Website befindet und Suchmaschinen-Crawlern mitteilt, auf welche Seiten oder Bereiche sie zugreifen dürfen oder nicht. Sie folgt dem Robots Exclusion Protocol, einem Industriestandard für die Kontrolle des Bot-Verhaltens. Die ordnungsgemäße Konfiguration von robots.txt ist für die Suchmaschinenoptimierung unerlässlich, da sie Crawler zu wertvollen Inhalten leitet und sie von doppelten, Staging- oder privaten Bereichen abhält. Eine falsch konfigurierte Datei kann versehentlich wichtige Seiten von der Indexierung blockieren oder sensible Verzeichnisse offenlegen.
So verwenden Sie diesen Generator
- Wählen Sie den User-Agent aus (oder behalten Sie
*bei, um alle Bots anzusprechen). - Fügen Sie Pfade hinzu, die Sie für den ausgewählten Bot zulassen oder nicht zulassen möchten.
- Geben Sie optional Ihre Sitemap-URL und einen Crawl-Delay-Wert ein.
- Klicken Sie auf „robots.txt generieren", um den Dateiinhalt zu erzeugen.
- Kopieren Sie die Ausgabe und speichern Sie sie als
robots.txtim Stammverzeichnis Ihrer Website.
Häufig gestellte Fragen
Wo sollte ich die robots.txt-Datei platzieren?
Sie muss im Stammverzeichnis Ihrer Domain liegen, z. B. https://example.com/robots.txt. Das Platzieren in einem Unterverzeichnis hat keine Auswirkungen auf das Crawler-Verhalten.
Garantiert robots.txt, dass Seiten nicht indexiert werden?
Nein. Obwohl die meisten großen Suchmaschinen robots.txt respektieren, ist dies eine Anweisung, keine Garantie. Verwenden Sie zum Schutz das noindex Meta-Tag oder den HTTP-Header.