Der BesserOnlineBlog 【ツ】

besser Online jeden Tag – Tipps für SEO, eCommerce, Online-Marketing

Suchmaschinen mit Robots.txt steuern

Robots.txt
(Bewerte als erster!)
Loading ... Loading ...

Wofür wird die Robots.txt benötigt?

Wer eine Website neu erstellt, der wird vielleicht immer wieder neue Testbeiträge anlegen, prüfen ob alles so funktioniert wie gewünscht, und dann auch ggf wieder löschen. Problematisch dabei ist es jedoch, wenn dann zufällig genau in diesem Moment ein Suchmaschinen-Bot vorbeischaut, und den “falschen” neuen Content in den Index packt. Im schlimmster Fall ist dann eine Seite im Index, die gar nicht mehr existiert, weil man den Testbeitrag wieder gelöscht hat.

Um Suchmaschinen entweder komplett auszuschließen gibt es die “Robots.txt” auf dem Webserver. (Falls nicht schon vorhanden, einfach selbst eine Robots.txt) anlegen. Darin lassen sich die unterschiedlichsten Dinge einstellen, wie sich ein Suchmaschinenbot auf der eigenen Seite zu verhalten hat.

Anzugeben ist immer der gewünschte User-Agent (einige User-Agents findet ihr auf Wikipedia) der sich angesprochen fühlen darf sowie was dieser User-Agent nicht darf (disallow).

Beispiele

Beispiel 1:

Alle User Agents dürfen in kein Verzeichnis (Komplettsperre)

Beispiel 2:

Alle Suchmaschinen dürfen nicht in das Verzeichnis “bilder”. Zusätzlich dürfen keine Dateien oder Verzeichnisse mit index beginnend aufgerufen werden (zum Beispiel index.html).

Beispiel 3:


Hat man mehrere Anweisung an verschiedene Suchmaschinen, schreibt man diese Anweisungsblöcke einfach untereinander in die Robots.txt

Hier schreibt: Phillip Groschup, Student für E-Commerce an der FH Würzburg. Ich interessiere mich für ECommerce, SEO/SEA, Online-Marketing und Webentwicklung. Ich schreibe und bearbeite mit Hilfe der gängingen Websprachen Websites. Insbesondere arbeite ich viel mit WordPress. Auf diesem Blog schreibe über diese Themen, über Vorträge und alles was mich sonst noch interessiert.

Schreibe einen Kommentar