Xantiva.de

Googlebot geblockt - ausgesperrt?

Dieser "unscheinbare Satz" hat mich die letzten zwei Tage ein paar Nerven gekostet ...
Seit dem war mir aufgefallen, dass der Googlebot nicht mehr auf der Domain xantiva.de vorbei geschaut hat. Und das, wo ich so happy war, dass neue Einträge und Artikel i.d.R. binnen 24 Stunden im Index waren.


Aufgefallen ist mir dass, weil ich die Positionierung eines neuen Eintrags prüfen wollte. Nach drei Tagen war der immer noch nicht im Index. Also habe ich mit die Server - Logs angesehen wann der Bot das letzte Mal da war ... Nix! Seit ein paar Tagen waren nur noch eine Handvoll gefakte GoogleBots da, die fast alle von der Bot-Trap blockiert wurden. War dort der Fehler zu suchen? Ne, das Teil lief fehlerfrei.

Inzwischen habe ich gelernt: Die Google Webmastertools sind mein Freund:

Ich hätte besser sofort dort nach gesehen. Das Webmastertool empfing mich mit folgender Meldung für ein paar Einträge (alle von einem Server):

Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar
Bei dem Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und dass der Zugriff an der von Ihnen angegebenen Position möglich ist. Reichen Sie anschließend die Daten erneut ein.

hier geht es weiter ...

Für alle "Webmaster" die mit einer Sitemap die Suchmaschinen dazu bringen wollen alle (gewünschten) Seiten ihrer Homepage zu indizieren, wird es in Zukunft etwas einfacher:

Die drei großen Suchmaschinenbetreiber (Google, Yahoo! und Microsoft) haben sich endlich auf ein Format für die Sitemaps geeinigt! Auf einer gemeinsamen Webseite stellen sie das neue Format vor. Es ist eine Weiterentwicklung des bisherigen Google XML-Formats.