Inhaltsverzeichnis
Hey, heute geht es um die Robots.txt Datei. Du willst wissen, ob diese Datei wichtig ist? Erfahren, was sich genau dahinter verbirgt und wie du es sie testen kannst? Dann solltest du diesen Beitrag lesen. Normal solltest du ebenfalls so eine Datei in dem Hauptverzeichnis deines Blogs haben. Komm, wir schauen uns das mal genauer an. Lass uns loslegen!
WAS IST DIE ROBOTS.TXT DATEI?
Heute wird es wieder etwas technisch und dennoch gehört das zu den Dingen, die du wissen solltest. Lass uns also keine Zeit verlieren und sofort beginnen. Was ist diese Robots.txt Datei? Wie die Endung schon sagt, ist es eine Textdatei. Diese ist dafür zuständig, dass die Crawler, die deine Seite auslesen, gesteuert werden können. Sie enthält also Befehle.
Hierbei geht es aber nicht darum, dass du so bestimmte Bereich deines Blogs besonders hervorheben kannst. Es geht eher darum, dass du den Crawlern sagen kannst, was sie auslassen sollen, also nicht auslesen. Du kannst zum Beispiel bestimmte Domains, komplette Verzeichnisse, Unterverzeichnisse oder auch Dateien vom crawlen ausschließen.
Wichtig für dich ist aber, es ist kein Schutz gegen unberechtigte Zugriffe. Also darfst du die Robots.txt Datei auch so nicht interpretieren. Wenn du also nichts an der Datei änderst, wird immer deine gesamte Webseite gecrawlt. Wann ist es wichtig? Du kannst zum Beispiel dein Impressum oder deine Datenschutzerklärung ausschließen.
Da diese Seiten im seltensten Fall SEO optimiert sind. So kannst du verhindern, dass sie gecrawlt werden und ggf. dein SEO negativ beeinflussen. Wenn du viele Dateien auf deinem Blog hast, die zwar wichtig für den Content sind, aber dein SEO nicht wirklich verbessern, dann können diese auch ausgeschlossen werden. Somit kannst du deinen Server schonen.
Soll bedeuten, wenn die Crawler weniger zu tun haben, kannst du so Ressourcen sparen. Das kann einen positiven Effekt auf die Ladezeiten deines Blogs haben. Noch ein wichtiger Punkt, den du über die Robots.txt wissen solltest. Sie sorgt nicht dafür, dass Seiten aus der Indexierung genommen werden. Sie steuert lediglich die Crawler, die deine Seite regelmäßig auslesen.
WIE KANNST DU SIE TESTEN?
So klein die Robots.txt auch ist, sie spielt eine wichtige im SEO. Ich habe schon oft gehört, dass sie fürs SEO nicht mehr wichtig ist und somit nicht mehr gebraucht wird. Doch das ist falsch. Du solltest also definitiv diese Datei in deinem Hauptverzeichnis haben. Die Anweisungen, die sich darin befinden, haben einen erheblichen Einfluss auf das SEO deines Blogs.
Beachte aber, wenn du die Crawler durch deine Anweisungen zu stark an die Leine nimmst, kann sich das am Ende auch negativ auswirken. Du solltest also nicht unbedacht handeln, wenn du beginnst, auszuschließen. Hast du diese Datei in deinem Hauptverzeichnis? Dreimal kannst du raten, was dir die Möglichkeit bietet, zu testen, ob du diese Datei im Hauptverzeichnis hast.
Richtig, die Webmaster Tools von Bing. Aber nicht nur dort kannst du es testen. Auch die Search Console von Google, bietet dir die Möglichkeit das zu testen. Hier kommst du zum Tester der Search Console. Bei den Webmaster Tools klickst du auf Tools und Erweiterung und dann auf Robots.txt Tester. Solltest du deinen Blog verknüpft haben, wird dir dort sofort ein Bericht angezeigt.
Du musst also nicht erst etwas eingeben oder starten. Du siehst den Inhalt deiner Datei und ob es Fehler gibt, die du beheben solltest. In dem Fall kannst du in den Webmaster Tools Änderungen vornehmen. Bei dem Klick auf weiter, bekommst du Anweisungen, wie du dann weiter vorgehst. Ähnlich kannst du auch in der Search Console handeln und diese dann senden.
Natürlich gibt es auch eine ganze Menge Drittanbieter Tools, mit denen du deine Robots.txt Datei testen kannst. Grundsätzlich muss man aber sagen, dass du dafür kein Geld ausgeben musst, da die Webmaster Tools und auch die Search Console hier gut unterstützen. Dann würde ich sagen, teste mal deine Datei und schau, ob alles in bester Ordnung ist.
DIE ROBOTS.TXT IST WICHTIG!
Ich will das für dich nochmal zusammenfassen. Wir haben uns heute die Robots.txt angesehen und haben geschaut, welche Rolle sie spielt. Sollte dir jemand gesagt haben, dass die Datei nicht wichtig ist, dann weißt du jetzt, dass es eine Lüge ist. Sie hat schon einen größeren Einfluss auf dein SEO. Somit solltest du diese Datei, definitiv im Hauptverzeichnis deiner Seite haben.
Mit der Robots.txt kannst du die Crawler der Suchmaschinen steuern. Soll heißen, du kannst sagen, welche Seiten oder Dateien ausgelesen werden dürfen und welche nicht. Bedenke aber, engst du die Crawler zu sehr ein, kann sich das negativ auswirken. Wichtig ist, sie ist keine Datei, welche einen Schutz bei unberechtigtem Zugriff bietet.
Zudem kannst du mit dieser Datei nicht steuern, welche Seiten aus dem Index genommen werden. Sie hat nichts mit der Indexierung zu tun. Der größte Vorteil dieser Datei ist, dass du Ressourcen sparen kannst. Müssen die Crawler weniger auslesen, wird dein Server weniger belastet. Das kann sich am Ende positiv auf deine Ladezeiten auswirken.
Ich denke, du solltest mit diesen Zeilen verstanden haben, dass die Robots.txt wichtig ist. Du kannst sie sowohl mit der Search Console, als auch mit den Webmaster Tools testen, Fehler beheben und sie dann wieder ins Hauptverzeichnis hochladen. Auch wenn es etwas technisch ist, so gehört das zu den Grundlagen. Hier habe ich weitere Grundlagen für dich, KLICKE HIER!
Hinterlasse mir ein Kommentar! Ich freue mich von dir zu lesen.
Ich bin durch, ich bin raus!
Seid gegrüßt!
Euer Marcus
Marcus Leitschak
Elfriede-Thum Str. 18
15234 Frankfurt Oder
Handy: +491736326984
E-Mail: marcusleitschak@gmail.com
Facebook: www.facebook.com/MarcusLeitschak
YouTube: www.youtube.com/c/MarcusLeitschak
Quelle der Bilder: Pixabay