Der Artikel wurde ursprünglich im Journal of American History Volume 93, Number 1 (June, 2006): page 117-46 veröffentlicht. Rosenzweig schreibt über die Sicht und den Nutzen der Wikipedia aus dem Blickwinkel von Historikern.

Leider bin ich zur Zeit sehr eingespannt, so dass ich nicht näher auf den Text eingehen kann, aber im folgenden wenigstens ein paar Worte und einige Zitate, die ich gerne wiederholen möchte.

Rosenzweig startet mit einer Beschreibung, was die Wikipedia ist und beschreibt ihre Geschichte und die Entwicklung zum heutigen Stand, sowie die Grundlagen, wie dem Ziel, eine Enzyklopädie zu schreiben, den neutralen Standpunkt einzuhalten, keinen Original Research zu betreiben und die zugrundeliegende Lizenz.

Um zu testen ob sich die Wikipedia als Quelle für historische Informationen eignet, hat Rosenzweig neben allgemeinem Querlesen in der Wikipedia zur amerikanischen Geschichte, bei dem er auch viel Unsinn fand, 25 Biographien von historischen Persönlichkeiten mit den jeweils zugehörigen Artikeln in der Online-Version von Microsofts Encarta und dem Fachwerk der Oxford University Press American National Biography Online verglichen.

Grob zusammengefasstes Ergebnis:

Wikipedia, then, beats Encarta but not American National Biography Online in coverage and roughly matches Encarta in accuracy.

Nachdem der Autor unter anderem auch auf die Artikelqualität eingeht und die Probleme, die bei Wikipedia-unerfahrenen Besuchern auftauchen können (Verlässlichkeit, Erkennen von Vandalismus) anspricht, gibt er auch Vorschläge für Verbesserungsmöglichkeiten:

Indeed, simply taking information buried on the “History” page and making it more public would enhance Wikipedia — for example, the “Article” page might say, “This article has been edited 350 times since it was created on May 5, 2002, including 30 times in the past week.” It could even add that “very active Wikipedians” (those with more than one hundred edits this month) contributed 52 percent of those edits. Such information could be automatically generated, and it would give the reader additional clues to the quality of the entry.

oder auch

Another possible improvement would have readers rate the quality of individual Wikipedia entries, an approach used by a number of popular Internet sites, including Amazon.com (which enjoins visitors not just to review and rate books but also to answer the question “Was this review helpful to you?”) and Slashdot (which has a complex system of “moderation” that rates the quality of posted comments). During the Seigenthaler controversy, Wales announced that Wikipedia would be adding this feature soon.

Die Bewertungs-Möglichkeit kommt jetzt übrigens wirklich bald – laut Brion Vibber – dem CTO von Wikimedia – wird sie in den nächsten Tagen an den Start gehen.

Schön ist auch der Absatz, in dem Rosenzweig die unkritische Nutzung der Wikipedia-Inhalte durch Schüler und Studenten aufgreift, sowie das Zitieren von Wikipedia-Texten in Hausarbeiten. In den vergangenen Tagen war ja wieder viel Unsinn zu einem Zitat von Jimbo Wales in (deutschen) Zeitungen zu lesen – hier ein Paradebeispiel eines schlechten Artikels der Netzzeitung. Diese Meldungen gehen auf einen Artikel in “The Wired Campus” zurück, in dem Jimbo zitiert wird:

For God sake, you’re in college; don’t cite the encyclopedia.

Rosenzweig versteht dieses Zitat natürlich richtig und schreibt:

Teachers have little more to fear from students’ starting with Wikipedia than from their starting with most other basic reference sources. They have a lot to fear if students stop there. To state the obvious: Wikipedia is an encyclopedia, and encyclopedias have intrinsic limits. Most readers of this journal have not relied heavily on encyclopedias since junior high school days. And most readers of this journal do not want their students to rely heavily on encyclopedias—digital or print, free or subscription, professionally written or amateur and collaborative—for research papers.

Weitere Themen die angesprochen werden, sind die – besonders auch auf der in der letzten Woche stattgefundenen Wikipedia-Academy (über die ich leider auch keine Zeit gefunden habe zu bloggen) Expertenfeindlichkeit der Wikipedia und Open Access und dessen Nutzen gegenüber bestehenden Modellen im Allgemeinen – dazu passend das Abschlusszitat:

If historians believe that what is available free on the Web is low quality, then we have a responsibility to make better information sources available online. Why are so many of our scholarly journals locked away behind subscription gates? What about American National Biography Online—written by professional historians, sponsored by our scholarly societies, and supported by millions of dollars in foundation and government grants? Why is it available only to libraries that often pay thousands of dollars per year rather than to everyone on the Web as Wikipedia is? Shouldn’t professional historians join in the massive democratization of access to knowledge reflected by Wikipedia and the Web in general?55 American National Biography Online may be a significantly better historical resource than Wikipedia, but its impact is much smaller because it is available to so few people.

Jakob betrachtet die Unterschiede der Klassifikationssysteme (“Flache Struktur” bei Folksonomies vs. “Hierarchien” bei Wikipedia-Kategorien und hierarchischen Klassifikationen) und weist auf Probleme wie die in der Wikipedia verwendeten Polyhierarchien (“nicht strikte” Hierarchien) hin.

Im folgenden untersucht Jakob statistisch die Verteilung von Deskriptoren pro Eintrag und Einträgen pro Deskriptor unter anderem für die DDC, die englischsprachige Wikipedia und die Folksonomy des Social-Bookmarking-Dienstes del.icio.us, sowie die Level der Deskriptoren in der Hierarchie bei DDC und Wikipedia.

In seinem Posting bei Wikimetrics nennt Jakob kurz gewonnene Erkenntnisse:

I found some basic properties in structural distributions of classification, thesaurus and flat collaborative tagging:

• The number of tags per record (categories per article) is distributed exponentially with a power law tail. This also applies for the number of supercategories per category
• The level (depth) of des[c]riptors in hierarchical systems is normally distributed
• The number of records per tag (articles per category) follows a power law

(An der Uhrzeit seines Postings erkennt man den wahren Forscher…)

In einem auf der Hauptseite der Encyclopedia Britannica verlinkten Paper (PDF) vom 22. März nimmt diese Stellung zu Natures Veröffentlichung:

In its December 15, 2005, issue, the science journal Nature published an article that claimed to compare the accuracy of the online Encyclopædia Britannica with Wikipedia, the Internet database that allows anyone, regardless of knowledge or qualifications, to write and edit articles on any subject. Wikipedia had recently received attention for its alleged inaccuracies, but Nature’s article claimed to have found that “such high-profile examples [of major errors in Wikipedia] are the exception rather than the rule” and that “the difference in accuracy [between Britannica and Wikipedia] was not particularly great.”

Die Evaluierung von Nature und die Aussage, dass Wikipedia “fast so gut” wie die Encyclopedia Britannica sei, wurde von zahlreichen Medien weltweit aufgegriffen. Ob Süddeutsche Zeitung, Die Zeit, Stern oder Spiegel – alle berichteten über das wahlweise überraschend gute Abschneiden der Wikipedia oder unerwartet schlechte Abschneiden der Encyclopedia Britannica.

That conclusion was false, however, because Nature’s research was invalid. As we demonstrate below, almost everything about the journal’s investigation, from the criteria for identifying inaccuracies to the discrepancy between the article text and its headline, was wrong and misleading. Dozens of inaccuracies attributed to the Britannica were not inaccuracies at all, and a number of the articles Nature examined were not even in the Encyclopædia Britannica. The study was so poorly carried out and its findings so error-laden that it was completely without merit. We have produced this document to set the record straight, to reassure Britannica’s readers about the quality of our content, and to urge that Nature issue a full and public retraction of the article.

Vergleich von Enzyklopädien
Fünf Jahre Wikipedia
Elisabeth Bauer; Lizenz: GFDL

Die Wikipedianer ihrerseits begrüßten die Untersuchung, die schon lange ausstand. Die Qualität der Encyclopedia Britannica galt jeher als anzustrebendes Ziel und oft wurde ein direkter Vergleich gewünscht. Nature hat diesen als erste in Angriff genommen. Im Gegensatz zu den Medien (inklusive Blogs) waren aber auch Wikipedianer die einzigen, die die Vorgehensweise kritisch betrachteten. So werden beispielsweise im Thread Details der Nature-Untersuchung sowohl vom wikiweisen Ulrich Fuchs, als auch vom aktiven Wikipedia-Vertreter Mathias Schindler Probleme angesprochen, die auch der Text der Encyclopedia Britannica nun nennt.

Nature rearranged and re-edited Britannica articles. In some cases reviewers were sent patchworks of text taken from two or more articles and pieced together in a way that made a mockery of the original entries. The “article” on “aldol reaction” that the journal sent its reviewer consisted of passages taken selectively from two different Encyclopædia Britannica articles and joined together with text evidently written by Nature’s editors. This was dishonest, and it completely misrepresented Britannica’s published coverage of the subject.

Grundsätzlich problematisch an Natures Vorgehensweise war, dass die zugrundeliegenden Daten nicht veröffentlicht wurden. Nach Nachhaken von interessierten Wikipedianern und Medien wurde kurze Zeit später nachgebessert: Die Liste der untersuchten Artikel und nachfolgend die komplette Fehlerliste (DOC) wurden zugänglich gemacht.

Zur Zeit wird seitens der Wikipedia eine Pressemitteilung Sammlung von Fakten zum Thema verfasst – deutlich interessanter als die Reaktion der kritischen und Kritik gewohnten Wikipedianer dürfte allerdings die Reaktion von Nature auf die hart formulierten Vorwürfe der Encyclopedia Britannica sein.

PS: Mir ist bewusst, dass der korrekte Name Encyclopædia Britannica lautet – auf die Ligatur habe ich im Artikel aufgrund der Einfachheit und Auffindbarkeit verzichtet.

(via Mathias Schindler)

Thema des Tests war “Editing Information in the German Wikipedia” – Ziel war die Überprüfung der Benutzerfreundlichkeit beim Editieren.

Der Test, der anhand der Beobachtung von 10 Benutzern mit unterschiedlichem Wikipedia-Vorwissen durchgeführt wurde, identifiziert Probleme und gibt Verbesserungsvorschläge, die jetzt seitens der Wikipedianer beurteilt und entsprechend umgesetzt werden. An dieser Stelle weise ich auf den kommenden Wikipedia Workshop Köln hin, der vom 7. bis 9. April stattfindet – eine der Arbeitsgruppen beschäftigt sich mit dem Thema “Wikipedia:Hilfe bearbeiten und ggf. kürzen”

Der Vollständigkeit halber: Die Ergebnisse des ersten Usability-Tests vom November 2005, der sich mit dem Topic “Finding Information in the German Wikipedia” beschäftigte, können natürlich ebenfalls noch als PDF von der Projektseite heruntergeladen werden.

Update: Ein Podcasting-Interview mit Ellen gibt es bei netzpolitik.org. Einfach mal reinhören.

Das erste Paper Wikipedia’s heritage: vision, pragmatics, and happenstance gräbt ein wenig in der Vergangenheit und greift Visionen und konkrete Projekte auf, die zur Entstehung der Wikipedia geführt haben, sowie die Umstände, die ihren Erfolg ermöglichten.

In seinem zweiten Text Do as I do: leadership in the Wikipedia beschäftigt Joseph sich mit Führungsverhalten in kollaborativen Online-Umgebungen am Beispiel der Wikipedia und ihres wohlwollenden Diktators.

Beide Texte sind sehr interessant zu lesen – viel Spaß dabei.

Die Arbeit bietet – laut Jakob – einen guten Überblick über bisherige Studien über die Wikipedia und vergleicht die Wikipedia mit anderen zivilgesellschaftlichen Aktivitäten von Freiwilligen. Ingo vergleicht die Wikipedia als virtuelle Gemeinschaft mit der Organisationsform “eingetragener Verein” und dem Modell der Bürgerbeteiligung um zum einen das soziale Kapital und zum anderen die Partizipationsintensität zu messen. Diese Untersuchung wird in den Kontext bestehender soziologischer und politikwissenschaftlicher Arbeiten eingeordnet.

Leider fehlt mir gerade – in Hinblick auf die immer näher kommende Klausur – die Zeit, mich näher mit der Arbeit auseinanderzusetzen. Aber aufgeschoben ist ja nicht aufgehoben.

Der Abstract (englisch) und die Diplomarbeit sind als PDF downloadbar, ansonsten gibt es die Diplomarbeit auch im HTML-Format.