Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar August 20. 2007
Googlebot geblockt - ausgesperrt?
Dieser "unscheinbare Satz" hat mich die letzten zwei Tage ein paar Nerven gekostet ...
Seit dem war mir aufgefallen, dass der Googlebot nicht mehr auf der Domain xantiva.de vorbei geschaut hat. Und das, wo ich so happy war, dass neue Einträge und Artikel i.d.R. binnen 24 Stunden im Index waren.
Aufgefallen ist mir dass, weil ich die Positionierung eines neuen Eintrags prüfen wollte. Nach drei Tagen war der immer noch nicht im Index. Also habe ich mit die Server - Logs angesehen wann der Bot das letzte Mal da war ... Nix! Seit ein paar Tagen waren nur noch eine Handvoll gefakte GoogleBots da, die fast alle von der Bot-Trap blockiert wurden. War dort der Fehler zu suchen? Ne, das Teil lief fehlerfrei.
Inzwischen habe ich gelernt: Die Google Webmastertools sind mein Freund:
Ich hätte besser sofort dort nach gesehen. Das Webmastertool empfing mich mit folgender Meldung für ein paar Einträge (alle von einem Server):
hier geht es weiter ...
Dieser "unscheinbare Satz" hat mich die letzten zwei Tage ein paar Nerven gekostet ...
Seit dem war mir aufgefallen, dass der Googlebot nicht mehr auf der Domain xantiva.de vorbei geschaut hat. Und das, wo ich so happy war, dass neue Einträge und Artikel i.d.R. binnen 24 Stunden im Index waren.
Aufgefallen ist mir dass, weil ich die Positionierung eines neuen Eintrags prüfen wollte. Nach drei Tagen war der immer noch nicht im Index. Also habe ich mit die Server - Logs angesehen wann der Bot das letzte Mal da war ... Nix! Seit ein paar Tagen waren nur noch eine Handvoll gefakte GoogleBots da, die fast alle von der Bot-Trap blockiert wurden. War dort der Fehler zu suchen? Ne, das Teil lief fehlerfrei.
Inzwischen habe ich gelernt: Die Google Webmastertools sind mein Freund:
Ich hätte besser sofort dort nach gesehen. Das Webmastertool empfing mich mit folgender Meldung für ein paar Einträge (alle von einem Server):
Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar
Bei dem Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Stellen Sie sicher, dass Ihre Sitemap unseren Richtlinien entspricht und dass der Zugriff an der von Ihnen angegebenen Position möglich ist. Reichen Sie anschließend die Daten erneut ein.
hier geht es weiter ...
zunächst auch noch mal mit der Meldung in Englisch:
"Wieso soll die robots.txt nicht erreichbar sein? Ich kann sie doch selber aufrufen!"
Also die Sitemap noch mal neu "eingereicht". Nach einer knappen Stunde ging der Status von "Ausstehend" auf "Fehler".
Eine ausführliche Erklärung der Meldung brachte es dann auf den Punkt: Da Google die robots.txt nicht lesen konnte (kein #404!) wird das crawlen einstellt, um nicht möglicherweise gesperrte Seiten zu crawlen. Wäre einfach keine robots.txt vorhanden gewesen und der Server hätte "Datei nicht gefunden - #404" zurückgeliefert, hätte der Bot somit die Seiten weiter indiziert ...
Wieso kommt der nicht an die robots.txt???
Die Suche brachte nicht viele brauchbare Hinweise, einen englischen auf eine serverseitige IP - Sperre. Es war schon spät gestern (Sonntag), also habe ich meinem Hoster eine ensprechende Mail geschrieben. Heute vormittag habe ich dann auch noch mit dem Support telefoniert. Nach einiger Zeit bekam ich dann auch die Vermutung bestätigt:
Man hat sie aber umgehen wieder freigegeben. Offensichtlich hat ein irgend ein Automatismus gegriffen. Ob da mehrere Dinge zusammengekommen sind konnte man mir noch nicht sagen.
ABER EGAL: Der Googlebot konnte wieder loslegen. Das Tat er auch: In den ersten zwei Stunden hat er alleine 1.000 Seiten des Webkatalog gezogen.
Was mir nur aufgefallen ist: Sonst kam der "Bot" immer über mehrere IPs. Im Moment zieht er sich alles nur über die 66.249.66.5 ???
Für die letzten Einträge des Webkatalog habe ich mal für ein paar Tage die Anzahl der "neuesten Einträge" auf 100 erhöht. Somit ist sichergestellt, dass die Detailseiten auch jetzt direkt indiziert werden.
Fazit: Ich werde in Zukunft mehr auf die WebmasterTools achten.
Ciao,
Mike
Network unreachable: robots.txt unreachable
We encountered an error while trying to access your Sitemap. Please ensure your Sitemap follows our guidelines and can be accessed at the location you provided and then resubmit.
"Wieso soll die robots.txt nicht erreichbar sein? Ich kann sie doch selber aufrufen!"
Also die Sitemap noch mal neu "eingereicht". Nach einer knappen Stunde ging der Status von "Ausstehend" auf "Fehler".
Eine ausführliche Erklärung der Meldung brachte es dann auf den Punkt: Da Google die robots.txt nicht lesen konnte (kein #404!) wird das crawlen einstellt, um nicht möglicherweise gesperrte Seiten zu crawlen. Wäre einfach keine robots.txt vorhanden gewesen und der Server hätte "Datei nicht gefunden - #404" zurückgeliefert, hätte der Bot somit die Seiten weiter indiziert ...
Wieso kommt der nicht an die robots.txt???
Die Suche brachte nicht viele brauchbare Hinweise, einen englischen auf eine serverseitige IP - Sperre. Es war schon spät gestern (Sonntag), also habe ich meinem Hoster eine ensprechende Mail geschrieben. Heute vormittag habe ich dann auch noch mit dem Support telefoniert. Nach einiger Zeit bekam ich dann auch die Vermutung bestätigt:
die Server IP des GoogleBot wurde serverseitig aufgrund von massiven Zugriffen gesperrt.
Man hat sie aber umgehen wieder freigegeben. Offensichtlich hat ein irgend ein Automatismus gegriffen. Ob da mehrere Dinge zusammengekommen sind konnte man mir noch nicht sagen.
ABER EGAL: Der Googlebot konnte wieder loslegen. Das Tat er auch: In den ersten zwei Stunden hat er alleine 1.000 Seiten des Webkatalog gezogen.
Was mir nur aufgefallen ist: Sonst kam der "Bot" immer über mehrere IPs. Im Moment zieht er sich alles nur über die 66.249.66.5 ???
Für die letzten Einträge des Webkatalog habe ich mal für ein paar Tage die Anzahl der "neuesten Einträge" auf 100 erhöht. Somit ist sichergestellt, dass die Detailseiten auch jetzt direkt indiziert werden.
Fazit: Ich werde in Zukunft mehr auf die WebmasterTools achten.
Ciao,
Mike
Als PDF ansehen: Dieser Artikel | Dieser Monat | Vollständiges Blog
Trackbacks
Trackback für spezifische URI dieses Eintrags
Keine Trackbacks
Kommentare
Ansicht der Kommentare:
(Linear | Verschachtelt)
Hey! 
Ein neues Blog aus meiner Nachbarschaft? Bist Du auch aus Düsseldorf? Ich lebe in Flingern. 
Lg von der Chikatze
Ein neues Blog aus meiner Nachbarschaft? Bist Du auch aus Düsseldorf? Ich lebe in Flingern. Lg von der Chikatze
Ach nee, Quatsch! Neu ist Dein Blog gar nicht, oder?
Und Impressum hab ich auch gerade entdeckt...!
Welcher Stadtteil ist das denn?
Und Impressum hab ich auch gerade entdeckt...!
Welcher Stadtteil ist das denn?
Hi Chikatze,
ne, so ganz neu ist das Blog nicht. Es fristet im Moment neben den anderen Projekten leider nur ein Schattendasein.
Und der Stadtteil ist Vennhausen.
Ciao,
Mike
ne, so ganz neu ist das Blog nicht. Es fristet im Moment neben den anderen Projekten leider nur ein Schattendasein.
Und der Stadtteil ist Vennhausen.
Ciao,
Mike
Es gibt morgen ein düsseldorfer Bloggertreffen- falls Du Interesse hast. Guck mal bei mir ganz oben rechts in der Sidebar!
phhu..das du dir schon die muehe gemacht hast ich habe seid gestern abend gegrübelt und bei der ersten google suche direkt dich und die antwort gefunden - danke
ich habe seid gestern abend gegrübelt und bei der ersten google suche direkt dich und die antwort gefunden - danke
Als PDF ansehen: Dieser Artikel | Dieser Monat | Vollständiges Blog
