Am 14. Dezember 2005 hat die renommierte Fachzeitschrift Nature eine Untersuchung über die Artikelqualität der Encyclopedia Britannica im Vergleich zur Wikipedia im Web veröffentlicht, die einen Tag später im Printmagazin publiziert wurde – im Editorial ruft Nature seine Leser dazu auf, sich an der Wikipedia zu beteiligen. Drei Monate später folgt nun eine geharnischte Kritik an Natures Vorgehen durch die Encyclopedia Britannica.

Im Zuge der Evaluierung wurden nach Angaben von Nature 50 Themen aus einem breitgefächertem Bereich von wissenschaftlichen Disziplinen ausgewählt, die sowohl in der Wikipedia, als auch in der Encyclopedia Britannica behandelt werden. Diese 50 Artikel wurden an Peer-Reviewer verschickt, die auf dem entsprechenden Gebiet als Experten gelten. Diese hatten die Aufgabe, die ihnen vorgelegten Artikel auf faktische Fehler, kritische Auslassungen und irreführende Angaben zu prüfen. Jeder Reviewer begutachtete die beiden Artikel zu einem der ausgewählten Themen, ohne dass ihm die jeweilige Quelle genannt wurde. Insgesamt gingen 42 verwertbare Reviews ein, die von Nature in der Untersuchung verarbeitet wurden.

In einem auf der Hauptseite der Encyclopedia Britannica verlinkten Paper (PDF) vom 22. März nimmt diese Stellung zu Natures Veröffentlichung:

In its December 15, 2005, issue, the science journal Nature published an article that claimed to compare the accuracy of the online Encyclopædia Britannica with Wikipedia, the Internet database that allows anyone, regardless of knowledge or qualifications, to write and edit articles on any subject. Wikipedia had recently received attention for its alleged inaccuracies, but Nature’s article claimed to have found that “such high-profile examples [of major errors in Wikipedia] are the exception rather than the rule” and that “the difference in accuracy [between Britannica and Wikipedia] was not particularly great.”

Die Evaluierung von Nature und die Aussage, dass Wikipedia “fast so gut” wie die Encyclopedia Britannica sei, wurde von zahlreichen Medien weltweit aufgegriffen. Ob Süddeutsche Zeitung, Die Zeit, Stern oder Spiegel – alle berichteten über das wahlweise überraschend gute Abschneiden der Wikipedia oder unerwartet schlechte Abschneiden der Encyclopedia Britannica.

That conclusion was false, however, because Nature’s research was invalid. As we demonstrate below, almost everything about the journal’s investigation, from the criteria for identifying inaccuracies to the discrepancy between the article text and its headline, was wrong and misleading. Dozens of inaccuracies attributed to the Britannica were not inaccuracies at all, and a number of the articles Nature examined were not even in the Encyclopædia Britannica. The study was so poorly carried out and its findings so error-laden that it was completely without merit. We have produced this document to set the record straight, to reassure Britannica’s readers about the quality of our content, and to urge that Nature issue a full and public retraction of the article.

Vergleich von Enzyklopädien
Fünf Jahre Wikipedia
Elisabeth Bauer; Lizenz: GFDL

Die Wikipedianer ihrerseits begrüßten die Untersuchung, die schon lange ausstand. Die Qualität der Encyclopedia Britannica galt jeher als anzustrebendes Ziel und oft wurde ein direkter Vergleich gewünscht. Nature hat diesen als erste in Angriff genommen. Im Gegensatz zu den Medien (inklusive Blogs) waren aber auch Wikipedianer die einzigen, die die Vorgehensweise kritisch betrachteten. So werden beispielsweise im Thread Details der Nature-Untersuchung sowohl vom wikiweisen Ulrich Fuchs, als auch vom aktiven Wikipedia-Vertreter Mathias Schindler Probleme angesprochen, die auch der Text der Encyclopedia Britannica nun nennt.

Nature rearranged and re-edited Britannica articles. In some cases reviewers were sent patchworks of text taken from two or more articles and pieced together in a way that made a mockery of the original entries. The “article” on “aldol reaction” that the journal sent its reviewer consisted of passages taken selectively from two different Encyclopædia Britannica articles and joined together with text evidently written by Nature’s editors. This was dishonest, and it completely misrepresented Britannica’s published coverage of the subject.

Grundsätzlich problematisch an Natures Vorgehensweise war, dass die zugrundeliegenden Daten nicht veröffentlicht wurden. Nach Nachhaken von interessierten Wikipedianern und Medien wurde kurze Zeit später nachgebessert: Die Liste der untersuchten Artikel und nachfolgend die komplette Fehlerliste (DOC) wurden zugänglich gemacht.

Zur Zeit wird seitens der Wikipedia eine Pressemitteilung Sammlung von Fakten zum Thema verfasst – deutlich interessanter als die Reaktion der kritischen und Kritik gewohnten Wikipedianer dürfte allerdings die Reaktion von Nature auf die hart formulierten Vorwürfe der Encyclopedia Britannica sein.

PS: Mir ist bewusst, dass der korrekte Name Encyclopædia Britannica lautet – auf die Ligatur habe ich im Artikel aufgrund der Einfachheit und Auffindbarkeit verzichtet.

(via Mathias Schindler)