Insgesamt haben wir mit etwa 35 potentiellen Mirror-Betreibern Kontakt aufgenommen und an ~15 davon im Vorfeld über einen Distributionsserver die DVD-Dateien per HTTP, FTP, rsync und BitTorrent verteilt. Manuel Schneider hatte über verschiedene Fachlisten (GUUG, Linux-Verband, WilhelmTux, PingoS…) angefragt und ich die ehemaligen Mirror-Betreiber und einige weitere “typische” Mirror-Anbieter angeschrieben.

Der Zähler der FTP- und HTTP-Downloads, die über das Download-Rotations-Skript von Manuel gestartet wurden, liegt momentan bei 35.000. Dazu muss man sagen, dass vermutlich nicht alle Downloads auf Nutzerseite bis zum Ende durchgeführt wurden.

Zum Gebrauch der DVD benötigt man zwingend die Basisdatei wikipedia.zeno. Dieser Download wurde 10.000 mal gestartet. Von den Mirrors haben wir gehört, dass sie ordentlich ausgelastet sind:

Perfekt. Wir schieben z.Z. 50MBit/s raus mit der DVD.

Also läuft wunderbar mit dem download, seitdem es in den heise news war hab ich durchgänig ca 180-250 Mbit outgoing und 250 user. Wollte euch nur mal einen kurzen überblick geben.

Aufgrund der geringen Anzahl an HTTP-Mirrorn (wir stocken gerade noch um einen weiteren auf: “Der Mirror sind zwei redundante SunServer, mit RAID und einer schnellen Anbindung (2x 2,4GB / 100BaseT) direkt im Rechenzentrum.”) waren diese auch schon mal platt – Michael Diederich, der einen davon anbietet, kann davon ein Liedchen singen.

An der P2P-Front sieht es auch ganz gut aus. Wir hatten vorab dafür gesorgt, dass ~10 komplette Seeds zur Verfügung standen – dies hat den Einfall der Sauger-Horden nach der Veröffentlichung bei Heise und Golem etwas abgefangen. Momentan haben wir 150 Peers (=Rechner die downloaden) und 36 Seeds (=Rechner, die 100% der Dateien anbieten). Diese Nacht waren es über 550 Peers und 45 Seeds. Die .torrent-Datei wurde 3.700 mal downgeloaded.

Alleine der Distributionsserver hat mehr als 100 GB Traffic erzeugt. Michael hat per BT über 200 GB geseeded und noch mal deutlich mehr per HTTP verteilt.

Ein paar schöne Bildchen können dank Leon Weber hier bestaunt werden:
DVD-Verteilung (Tag)
DVD-Verteilung (Stunde)

Und Webzugriffs-Statistiken finden sich hier.

Soviel der Zahlenspielerei, in ein paar Tagen noch mal mehr dazu…

Seitdem ist es nicht mehr auf einfache Weise möglich herauszufinden, welche Artikel bei den Wikipedia-Nutzern besonders beliebt sind (genauer: besonders häufig aufgerufen werden).

Grundsätzlich muss man sich im klaren darüber sein, dass die auf diese Art erhobenen Zahlen nicht korrekt wären – sie könnten nur einen Anhaltspunkt liefern. Seit ihrem Start im Januar 2001 ist die Wikipedia von einer kleinen unbekannte Webseite nach Angaben von Alexa in die Top20-Webseiten weltweit aufgestiegen – in Deutschland gehört sie zu den Top5-Webseiten.

Dies führt dazu, dass es nicht mehr möglich ist, das Webangebot auf einem “einfachen Server” zu hosten. Die Infrastruktur ist momentan auf mehr als 240 Server verteilt, die über vier Standorte auf drei Kontinenten verteilt sind. Der Kauf von 20 weiteren Servern wurde von der Wikimedia Foundation gerade beschlossen.

Dies ist einer der weltweit größten Server-Cluster, der komplett mit Freier Software betrieben wird und vermutlich der einzige, der fast ausschliesslich von etwa einem Dutzend ehrenamtlicher Administratoren aus aller Welt – USA, Australien, Großbritannien, Deutschland, Island, Frankreich und Litauen – betreut wird.

Weltkarte: Wikimedia-Server (ohne Frankreich)
Autor: Sansculotte / Lizenz: CC-BY-SA

Zu Spitzenzeiten verzeichnet die Wikipedia 16.000 Zugriffe pro Sekunde (!). Würden diese alle direkt auf die 12 Datenbank-Server durchgereicht, käme es aufgrund der Überlast unweigerlich zu einem Denial of Service – die Wikipedia würde nicht mehr antworten.

Die Lösung besteht darin, häufige und wiederholte Anfragen in großen Proxy-Caches (Zwischenspeichern) – den Squids – vorzuhalten und diese nicht an die Apache-Webserver oder die Datenbank-Server weiterzuleiten.Ein Großteil der Seitenabrufe nicht-angemeldeter Benutzer wird von den Squids bedient: Momentan liegt die “hit-rate” (eine Anfrage wird aus dem Cache bedient) bei etwa 75 Prozent. Besonders bei Ereignissen wie z.B. der Fussball-Weltmeisterschaft bringen die Squids eine enorme Lasterleichterung.

Hier sieht man aber gleich das nächste große Problem, wenn man Zugriffsstatistiken erfassen möchte – da die durch die Proxy-Server bedienten Abfragen gar nicht mehr bis zur Datenbank durchkommen, können Sie auch einen dort aktiven Artikelzugriffszähler nicht erhöhen.

Eine Möglichkeit wäre nun, zusätzlich auf den Squids Abfragestatistiken zu erfassen und diese über die Gesamtzahl der Rechner zu aggregieren. Auch dies ist aus Performance-Gründen keine Option.

Eine clevere Idee – wenn auch inspiriert durch die russischsprachige Wikipedia – hat vor zwei Wochen Leon Weber umgesetzt. Sein Tool WikiCharts ist seit heute allgemein zugänglich. Eine Ankündigung und Diskussion findet sich in der Mailingliste der deutschsprachigen Wikipedia.

Durch eine Ergänzung der für alle Benutzer verwendete JavaScript-Vorlage um einen Pagecounter-Teil wird der Name des aufgerufenen Artikels (das Lemma) an den Toolserver übergeben und dort gespeichert. Diese Vorgehensweise belastet die Wikimedia-Server kaum und berücksichtigt fast alle Artikelaufrufe – auch solche, die durch die Squids bedient werden.

Um eine Überlastung des Toolservers zu vermeiden wird nicht jeder einzelne Artikelaufruf gelogged, sondern nur jeder 750ste. Nach zwei Wochen kann man sich nun erste Ergebnisse der Top 100 aufgerufenen Artikel ansehen.

Leider löst das Tool von Leon immer noch nicht das Problem, zu einem gegebenen Artikel eine ungefähre Schätzung der Aufrufe zu bekommen, wenn sich dieser nicht in den Top 100 befindet.

Die folgende Grafik zeigt gestrige Anfragen an die Wikipedia in bits/s (die Zeiteinteilung ist UTC – man muss also zwei Stunden addieren):

Gelb dargestellt ist der YASEO-Cluster – das sind die Rechner von Yahoo! in Seoul. Grün sind die Rechner von KennisNet in Amsterdam und blau die Rechner von Powermedium in Tampa, Florida.

Während die Amis weniger interessiert sind, fällt der Traffic zum Anstoss sowohl in Asien, als auch in Europa um 100 MBit/s ab.

Im folgenden Bild sind noch einmal explizit 1) Anstoss, 2) Beginn 2. Halbzeit und 3) Elfmeterschießen eingezeichnet:

Schön zu beobachten ist auch der Anstieg in der Halbzeit.

(Olaf bloggt einfach schneller als ich.)