Bigdaddy und der zusätzliche Index

Zwischen DC, Sessionid's und zusätzlichen Ergebnissen (supplemental results)...

Das wohl einprägsamste am Algorithmusupdate Big-daddy war sicherlich der Zusätzliche Index. Webseiten, die von Google kritisch angesehen wurden, fielen nicht einfach aus dem Index sondern wurden erst einmal in einen zweiten (minderwertigen?) Index, eine Art Quarantäne, verbannt. Die Seo-Welt war in allgemeine Aufregung versetzt worden. Zunächst konnten noch keine Nachteile, für die dort befindlichen Webseiten erkannt werden und hin und wieder wurden diese aussortierten Webseiten auch im regulären Index gelistet. Pr- oder Rankingverluste konnten anfänglich nicht beobachtet werden, doch dies sollte sich im Zuge der Zeit noch ändern. Für viele Suchmaschinenoptimierer bedeutete dies viel Arbeit und vor allen Dingen Recherche in den nächsten Wochen und Monaten.

Unsere Hauptdomain war mit den unterschiedlichsten Symtomen, teilweise auch sehr stark von diesen zusätzlichen Ergebnissen betroffen. Wir wollen diese Probleme und die Optimierungsmaßnahmen hier kurz schildern.

14.07.2006

DC durch Session-Id's

Ein gravierender Fehler wurde mitte des Jahres 2005 gemacht. Wir bemerkten zwar, dass die Suchmaschinen die dynamischen Unterseiten der 3. Ebene mit Session-id's abholten, konnten aber damals aus Zeitmangel nicht darauf reagieren. Wir hatten auch sicher die Ernsthaftigkeit dieses Problemes unterschätzt. Es entstand massenweise Duplicate Content auch als DC bekannt.

Aufruf mit und ohne www

Anfang des Jahres 2006 begannen wir die Session-id's aus dem Index zu beseitigen. Inzwischen war ein weiteres Problem dazu gekommen. Die Seiten wurden nun zusätzlich mit und ohne www in den Index aufgenommen. Als wir bemerkten, dass immer mehr Unterseiten in den Zusätzlichen Ergebnissen verschwanden, war schnelles Handeln angesagt. Mit einigen Keyword-Kombinationen drohte die Website bereits aus dem Index zu fallen.

Zu allem Pech stellte sich jetzt heraus, dass unser Provider weder mod_rewrite noch uneingeschränkten Zugriff auf die .htaccess zuließ - wir hatten dies bereits vermutet. Das www-Problem konnte jetzt also nur über php gelöst werden. Der Arbeitsaufwand war enorm, doch die Site kam langsam von Plätzen jenseits der 500 zurück auf ca. 150. Dort sucht zwar Niemand aber es tat gut, erste Erfolge zu sehen. Ein paar neue Backlinks und neue statische Unterseiten mit eigenem Content waren sicher auch sehr hilfreich. Die neuen Seiten wurden auch zügig in den Index aufgenommen.

Pr-Update im April 2006

Beim Pr-Update im April gab es keine nennenswerten Veränderungen. Die Anzahl der Dateien mit Session-id's im Index der Suchmaschinen ging deutlich zurück, nachdem wir das Erzeugen von Session-id's für Robots unterdrückt und für die Besucher auf Dateien beschränkt hatten, für die sie unbedingt notwendig sind. Wir dachten nun, das Problem wird sich in den nächsten Tagen bis Wochen vollständig von selbst erledigen. Tat es aber nicht.

Pr-Update am 15 Juni 2006

Auch diese Website ist vom Absturz am 28.06.2006 betroffen. Zwar war sie nicht komplett aus dem Index aber bis auf 3-5 Seiten von ca. 200, waren alle Unterseiten, mit irgendwelchen Fehlern belastet, in den Zusätzlichen Ergebnissen wieder zu finden. Die ab Februar erstellten Unterseiten, mit eigenem Content, waren nur kurz im regulären Index und verschwanden nach dem Pr-Update im April ganz, um ab und zu einmal aufzutauchen. Es gab mehrmals einzelne Tage, an denen die Website mit der Haupt-Keyword-Kombi nicht mehr im Index zu finden war. Sie wurde weiter in Webkataloge eingetragen und schwankt nun mit der Keyword-Kombi, mit der sie am Anfang des Jahres aus dem Index zu fallen drohte, zwischen Position 71 und 91.

Neue Herausforderungen in der Suchmaschinenoptimierung!

Nachdem nun nicht mehr viele Seiten im Index waren, ging es wieder an die Suchmaschinenoptimierung. Wir haben sämtliche Url's mit Session-id's, die anhand der logfiles noch von den Suchmaschinen besucht wurden, per 301 auf die dazugehörigen Seiten umgeleitet. Vor allen Dingen Yahoo war hier sehr emsig und hartneckig und holte noch sehr lange, längst entsorgte Duplikate ab. Beim Einrichten der Umleitungen haben wir einen Fehler im php-Code (der wegen des www-Problemes eingerichtet wurde) entdeckt. Es wurde bisher nicht eindeutig 301 gesendet. Diesen Fehler berichtigten wir ebenfalls. Einige unserer dynamischen Seiten wurden mit etwas mehr Content versorgt. Wir hatten einen Webkatalog entdeckt, der von uns unwissentlich automatisch die Metatags der Seiten eingelesen hatte. Daraus hatte er Einträge in seinem Webkatalog erstellt. Wir vermuteten, dass wegen des wenigen Inhalts auf unseren Seiten (hautsächlich Bilder) und pr0, diese Seiten aus dem Index gefallen sind. Die Katalogseiten waren zu dem Zeitpunkt noch stärker als unsere Unterseiten.

Die Suchmaschinen schienen wie verrückt auf unsere Optimierungen abzufahren. Für kurze Zeit (ca. eine Woche) waren die Veränderungen einschließlich der, seit Anfang des Jahres, neu erstellten Webseiten auch im Index sichtbar. Allerdings verschwinden die Url's mit Session-id's nicht aus den Zusätzlichen Ergebnissen. Seit 10.07.2006 sind die meisten neuen Seiten wieder weg (auf einigen DC's sind sie jedoch da). Da wir die Frames per Javascript nachladen, funktioniert die Cache-Anzeige der Suchmaschinen mit eingeschaltetem Javascript nicht. Deshalb haben wir für die meisten Seiten den Cache ausgeschaltet um keine Verwirrung unter den Suchenden zu stiften, die einen leeren Cache angezeigt bekommen würden. Die Seiten die noch einen Cache besitzen, haben zumeist ein sehr altes Datum. Einige gibt es schon seit Monaten nicht mehr. Diese Seiten waren auch schon einmal aus dem Index verschwunden. Nach dem Wiedererscheinen haben wir noch einmal leere Dateien mit noindex, nofollow eingestellt, was bei den meisten Dateien, auch bei diesen Dateien schon einmal, zum Löschen aus dem Index geführt hat. Als letztes Mittel ziehen wir mittlerweile ein Löschen über die Url-Konsole in Betracht. Da auch dies meist nicht von Dauer ist, wollen wir die Entwicklung vorläufig noch etwas beobachten.

Jetzt bleibt erst einmal abzuwarten, wie sich die Lage nach dem Pr-Update entwickelt, wenn wieder Ruhe eingekehrt ist.

Unser bisheriges Fazit aus Big-daddy

Gelingt es nicht die alten Seiten aus dem Index zu bekommen, gibt es Probleme bei der Pr-Verteilung. Auch die Beanstandungen der Dateien im zusätzlichen Index sollten beseitigt werden um auf Dauer keine Rankingverluste zu erleiden. Abwarten, dass sich die Probleme von allein erledigen scheint uns der falsche Weg zu sein. Durch die Filterung und Abschiebung von Webseiten in den zusätzlichen Index sind neue Herausforderungen für die Seo-Branche entstanden.

25.08.2006

An der Site gab es keine großen Veränderungen, es kamen lediglich ca. vier Seiten mit reichlich Content hinzu und die Navigation auf den Seiten der 4. Ebene wurde etwas verbessert. Die Spider kommen nur noch sehr selten vorbei, an täglich wie früher ist nicht zu denken. Ein paar Webkatalogeinträge sind dazu gekommen. Die Site steht inzwischen mit ihrer Keyword-Kombi auf Platz 33 und mit einem einzel-Keyword (2,4 Mio Ergebnisse) steht sie auf Platz 525, ist aber nicht sonderlich gut darauf optimiert. Mit dem Singlekeyword, mit dem sie einmal gefunden werden soll, ist sie nicht in den Top 1000. Allerdings gibt es dafür angeblich 118.000.000 Ergebnisse. Das wird noch ein hartes Stück Arbeit, ist aber nicht exitenziell wichtig.

Heute sind die Ergebnisse der Site-Abfrage bereinigt. Keine einzige Url mit Session-id und keine zusätzlichen Ergebnisse mehr. Auch bei ein paar beobachteten Webkatalogen, welche fast alle Seiten in den zusätzlichen Ergebnissen hatten, sind die Seiten wieder im normalen Index.

Die leeren Seiten, mit robots-tag noindex und nofollow, welche aus dem Index sollten, da nicht mehr vorhanden, sind offensichtlich wirklich aus dem Index verschwunden. Deshalb werden wir die Verlinkung nun entfernen und die leeren Dateien wieder löschen.

29.08.2006

Statt der umgeleiteten dynamischen Dateien mit den Session-id's, welche seit dem 25.08. aus den zusätzlichen Ergebnissen verschwunden sind und die offensichtlich auch komplett aus dem Index entfernt wurden, sind jetzt ältere Versionen dieser Dateien, jedoch ohne session-id wieder in den zusätzlichen Ergebnissen. Auch diese werden seit Ewigkeiten per 301 auf die aktuellen Dateien umgeleitet. Die alten statischen Seiten sind aber scheinbar wirklich weg. Die neu erstellten Seiten sind jetzt auch im Index.

30.08.2006

Die alten dynamischen Seiten mit Session-id's sind wieder in den zusätzlichen Ergebnissen. Nur gut, dass die 301er Weiterleitung noch nicht entfernt wurde. Die alten statischen Seiten, deren Verlinkungen und Exemplare mit noindex und nofollow am 25.08. gelöscht wurden, sind auch wieder da. Uns scheint, dass noch ein paar uralt-Exemplare dazugekommen sind.