Der 19. Oktober 2004 gilt als schwärzester Tag für alle Wikipedia-Forscher. Das ist zwar etwas pathetisch formuliert, trifft es aber ziemlich genau. An diesem Datum – vor genau 647 Tagen – wurde aufgrund der verursachten Serverlast der in der WikiMedia-Software implementierte Aufrufzähler pro Artikel deaktiviert.

Seitdem ist es nicht mehr auf einfache Weise möglich herauszufinden, welche Artikel bei den Wikipedia-Nutzern besonders beliebt sind (genauer: besonders häufig aufgerufen werden).

Grundsätzlich muss man sich im klaren darüber sein, dass die auf diese Art erhobenen Zahlen nicht korrekt wären – sie könnten nur einen Anhaltspunkt liefern. Seit ihrem Start im Januar 2001 ist die Wikipedia von einer kleinen unbekannte Webseite nach Angaben von Alexa in die Top20-Webseiten weltweit aufgestiegen – in Deutschland gehört sie zu den Top5-Webseiten.

Dies führt dazu, dass es nicht mehr möglich ist, das Webangebot auf einem “einfachen Server” zu hosten. Die Infrastruktur ist momentan auf mehr als 240 Server verteilt, die über vier Standorte auf drei Kontinenten verteilt sind. Der Kauf von 20 weiteren Servern wurde von der Wikimedia Foundation gerade beschlossen.

Dies ist einer der weltweit größten Server-Cluster, der komplett mit Freier Software betrieben wird und vermutlich der einzige, der fast ausschliesslich von etwa einem Dutzend ehrenamtlicher Administratoren aus aller Welt – USA, Australien, Großbritannien, Deutschland, Island, Frankreich und Litauen – betreut wird.

Weltkarte: Wikimedia-Server (ohne Frankreich)
Autor: Sansculotte / Lizenz: CC-BY-SA

Zu Spitzenzeiten verzeichnet die Wikipedia 16.000 Zugriffe pro Sekunde (!). Würden diese alle direkt auf die 12 Datenbank-Server durchgereicht, käme es aufgrund der Überlast unweigerlich zu einem Denial of Service – die Wikipedia würde nicht mehr antworten.

Die Lösung besteht darin, häufige und wiederholte Anfragen in großen Proxy-Caches (Zwischenspeichern) – den Squids – vorzuhalten und diese nicht an die Apache-Webserver oder die Datenbank-Server weiterzuleiten.Ein Großteil der Seitenabrufe nicht-angemeldeter Benutzer wird von den Squids bedient: Momentan liegt die “hit-rate” (eine Anfrage wird aus dem Cache bedient) bei etwa 75 Prozent. Besonders bei Ereignissen wie z.B. der Fussball-Weltmeisterschaft bringen die Squids eine enorme Lasterleichterung.

Hier sieht man aber gleich das nächste große Problem, wenn man Zugriffsstatistiken erfassen möchte – da die durch die Proxy-Server bedienten Abfragen gar nicht mehr bis zur Datenbank durchkommen, können Sie auch einen dort aktiven Artikelzugriffszähler nicht erhöhen.

Eine Möglichkeit wäre nun, zusätzlich auf den Squids Abfragestatistiken zu erfassen und diese über die Gesamtzahl der Rechner zu aggregieren. Auch dies ist aus Performance-Gründen keine Option.

Eine clevere Idee – wenn auch inspiriert durch die russischsprachige Wikipedia – hat vor zwei Wochen Leon Weber umgesetzt. Sein Tool WikiCharts ist seit heute allgemein zugänglich. Eine Ankündigung und Diskussion findet sich in der Mailingliste der deutschsprachigen Wikipedia.

Durch eine Ergänzung der für alle Benutzer verwendete JavaScript-Vorlage um einen Pagecounter-Teil wird der Name des aufgerufenen Artikels (das Lemma) an den Toolserver übergeben und dort gespeichert. Diese Vorgehensweise belastet die Wikimedia-Server kaum und berücksichtigt fast alle Artikelaufrufe – auch solche, die durch die Squids bedient werden.

Um eine Überlastung des Toolservers zu vermeiden wird nicht jeder einzelne Artikelaufruf gelogged, sondern nur jeder 750ste. Nach zwei Wochen kann man sich nun erste Ergebnisse der Top 100 aufgerufenen Artikel ansehen.

Leider löst das Tool von Leon immer noch nicht das Problem, zu einem gegebenen Artikel eine ungefähre Schätzung der Aufrufe zu bekommen, wenn sich dieser nicht in den Top 100 befindet.