Archiv für Dezember 18th, 2019

Der Bestätigungsfehler: Die Erwartung macht das Ergebnis

Im zurückliegenden Jahr haben wir hier im BILDblog wieder viel über Fehler geschrieben. Aber was genau sind das eigentlich: Fehler? Wie häufig passieren sie? Wie entstehen sie? Und was können Redaktionen gegen sie tun? Unser Autor Ralf Heimann hat sich in einer achtteiligen Serie mit all dem Falschen beschäftigt. Heute Teil 3: der Bestätigungsfehler.

***

Der Arzt und Naturwissenschaftler Samuel Morton vermaß Mitte des 19. Jahrhunderts mehrere Tausend Schädel und zog daraus Rückschlüsse auf die Intelligenz von Menschen. Er behauptete, Belege für die Überlegenheit der “weißen Rasse” gefunden zu haben. 140 Jahre später untersuchte der Evolutionsbiologe Stephen Jay Gould die Ergebnisse und urteilte, sie seien ein “Mischmasch aus Pfusch und Mogelei”.

Ulrich und Johannes Frey schildern das Beispiel in ihrem Buch “Fallstricke – die häufigsten Denkfehler in Alltag und Wissenschaft”. Interessant ist es vor allem wegen der Pointe: Gould selbst fand in den Daten keinerlei Beweise für die These, dass Menschen verschiedener “Rassen” unterschiedlich intelligent sein könnten. Mortons Fehler erklärte er nicht durch Vorsatz oder Unaufmerksamkeit, sondern durch “durchgängige, einseitige Verzerrungen”. Später stellte sich allerdings heraus: Fehlerfinder Gould war genau der gleiche Fehler unterlaufen. Auch er hatte sich durchgängig verrechnet. Er selbst führte das auf seine Erwartungshaltung zurück. In einer späteren Auflage seines Buchs schrieb er, der Fehler “veranschaulicht auf meine Kosten das Kardinalprinzip des Buches”.

Und es gibt noch eine Pointe, um die wir den Text nach der Veröffentlichung ergänzt haben (hier in kursiver Schrift – Danke an Marc U. für den Hinweis), denn möglicherweise ist die Tatsache, dass dieses Beispiel sich verbreitet hat, Ergebnis des gleichen Denkfehlers.

Für eine Studie aus dem Jahr 2011, die im Buch von Ulrich und Johannes Frey (3. Auflage, 2011) noch nicht erwähnt ist, haben Wissenschaftler die Schädelsammlung von Samuel Morton neu vermessen und sind zu dem Ergebnis gekommen, dass seine Daten korrekt waren. Sie stellen zwar in Frage, dass seine Erwartungen die Messungen verzerrt haben. Doch in einem Beitrag für das Magazin “New Scientist”, der im gleichen Jahr erschien, schreiben David DeGusta and Jason E. Lewis, zwei der Wissenschaftler, die an der Untersuchung beteiligt waren: “Goulds Studie und seine Ansicht, dass die Wissenschaft unweigerlich voreingenommen ist, wurde zur Konsensversion in der Wissenschaftsforschung. Goulds Behauptungen wurden selten oder nie in Frage gestellt.”

Das zeigt, wie tückisch dieses Phänomen ist: Wenn etwas gut ins Bild passt, werden wir schnell unkritisch. So schwer wäre es nicht gewesen, die Studie aus dem Jahr 2011 zu finden. Sie ist verlinkt in Samuel Mortons Wikipedia-Eintrag.

Das zugrundeliegende Prinzip nennt sich Bestätigungsfehler (Confirmation bias). Menschen bevorzugen Informationen, die zu ihren Überzeugungen passen. In einem “Geo”-Essay beschreibt Jürgen Schaefer eine Untersuchung des Neurowissenschaftlers Kevin Dunbar, der diese Verzerrung in Gehirnscans sichtbar gemacht hat: Informationen, die zu den eigenen Überzeugung passen, dürfen den frontalen Kortex passieren, alle übrigen werden abgewiesen.

Das führt dazu, dass Menschen immer neue Belege dafür finden, was sie eh schon denken — und sich dieses Wissen verfestigt. Das Phänomen ist unter Journalistinnen und Journalisten bekannt, und genau das ist Teil des Problems. Menschen, die den Bestätigungsfehler kennen, denken, sie wären vor ihm sicher (Bias blind spot). Doch das ist nicht der Fall. Er wirkt auch dann, wenn man ihn kennt. Samuel Morton ist also nicht allein mit dieser Schwäche.

Der Bestätigungsfehler ist allgegenwärtig. In den USA haben Untersuchungen zu verzerrten Darstellungen im Journalismus (Media bias) gezeigt, dass liberale Wissenschaftlerinnen und Wissenschaftler in den Medien tendenziell eher ein Übergewicht von konservativen Positionen ausmachen, während konservative Forscherinnen und Forscher eine Verzerrung hin zu liberalen Ansichten erkennen können.

Der deutliche Effekt der Erwartungshaltung zeigt den großen Einfluss vorgefasster Meinungen auf neutrale Daten

… schreiben Ulrich und Johannes Frey. Die Erwartung beeinflusst das Ergebnis. So funktioniert auch der Placebo-Effekt.

Menschen scheinen zudem eine Präferenz für Vertrautes zu haben. Das beschreibt der Besitztumseffekt (Endowment-Effekt). Wir schätzen den Wert von Gegenständen höher ein, wenn wir sie besitzen. Es deutet einiges darauf hin, dass das bei Informationen ähnlich ist.

Wir bevorzugen vertraute Informationen. Eine vertraute Information wird von uns als “wahre Information” behandelt

… schreiben Frey und Frey. Wenn wir eine neue Information erhalten und diese einer schon vorhandenen widerspricht, legen wir an die neue Information einen höheren Maßstab an als an die uns bekannte. Wir erinnern uns auch länger an all das, was unsere Meinungen stützt. Tests zeigen, “dass jeder Mensch bestätigende Daten bis zu drei Mal häufiger im Gedächtnis behält als falsifizierende”, so Frey und Frey.

Das begünstigt die Tendenz, bei einer Meinung zu bleiben, obwohl längst einiges gegen sie spricht. Im Journalismus verstärkt es die Neigung, an Thesen festzuhalten, wenn schon vieles darauf hindeutet, dass sie so nicht zutreffen können.

Studien zeigen, dass es nicht einmal hilft, Menschen darauf hinzuweisen, dass eine Information falsch ist (Conservatism bias). Unbewusst halten sie trotzdem an ihr fest. Die Chemikerin und Wissenschaftsjournalistin Mai-Thi Nguyen-Kim beschreibt in einem Video ein Experiment, in dem Probandinnen und Probanden Abschiedsbriefe vorgelegt werden. Sie sollen einschätzen, ob die Briefe echt oder gefälscht sind. Unabhängig davon, ob sie wirklich richtig liegen, bekommen einige von ihnen die Rückmeldung, dass sie ein sehr gutes Gespür haben, während man anderen signalisiert, dass sie so gut wie immer falsch lagen. Im Anschluss klären die Versuchsleiter die Teilnehmerinnen und Teilnehmer darüber auf, dass alles nur inszeniert war, und bitten sie, einzuschätzen, wie gut sie wirklich waren. Das Ergebnis ist: Die Probandinnen und Probanden mit den positiven Rückmeldungen halten ihre wirkliche Leistung für überdurchschnittlich gut, die übrigen glauben, sie hätten eher unterdurchschnittlich abgeschnitten.

Das lässt Rückschlüsse auf die journalistische Arbeit zu. Es ist zum Beispiel ein Hinweis darauf, dass falsche Informationen nicht vollkommen dadurch aus der Welt geschafft werden können, dass man sie richtigstellt. Menschen korrigieren ihr Denken nur sehr langsam.

Der Bestätigungsfehler wirkt im Journalismus an vielen Stellen. Es fängt schon mit der Google-Recherche an. Der Medienwissenschaftler Bernhard Pörksen erzählt in seinem Buch “Die große Gereiztheit – Wege aus der kollektiven Erregung” von einer Untersuchung mit dem sperrigen Namen “Personal Web Search in the Age of Semantic Capitalism – Diagnosing the Mechanisms of Personalisation”. Forscher wollten herausfinden, wie der Google-Algorithmus die Recherche-Ergebnisse beeinflusst. Dazu legten sie Profile der Philosophen Immanuel Kant, Friedrich Nietzsche und Michel Foucault an und trainierten Google jeweils mit Begriffen aus deren Büchern. Das Ergebnis:

Google personalisiert schon nach kurzer Zeit ziemlich radikal, vor allem jedoch im Feld der ersten zehn Suchergebnisse, die einem Nutzer angezeigt und aller Wahrscheinlichkeit nach geklickt werden. Im Durchschnitt waren 64 Prozent der Suchergebnisse spezifisch (…).

Personalisierte Suchergebnisse sind allerdings noch nicht einmal nötig, um Menschen zu den Ergebnissen zu führen, die sie suchen. Wer schon mal versucht hat, mithilfe von Google eine bestimmte Krankheit zu diagnostizieren, weiß: Mit so gut wie jedem Symptom lässt sich so gut wie jede Krankheit nachweisen. Und ungefähr so ist es bei der Recherche auch.

Das zeigt sich mitunter auch im Ergebnis. Die Medienwissenschafter Hans Mathias Kepplinger und Richard Lemke haben untersucht, wie Medien die Reaktorkatastrophe von Fukushima dargestellt haben (PDF). Eines ihrer Ergebnisse ist:

Je negativer sich Journalisten in den Meinungsformen äußerten, (…) desto eher kamen dort Politiker und Experten zu Wort, die die Kernenergie ablehnten und einen Ausstieg aus der Kernenergie verlangten.

Der Bestätigungsfehler wirkt natürlich auch beim Publikum, und das verstärkt den Effekt. Menschen sind zugänglicher für Nachrichten, die ihren Erwartungen entsprechen. Der Fehler ist eine Erklärung für den Erfolg von “Fake News”, Falschmeldungen oder falsch verstandenen Meldungen.

Das war zum Beispiel im April dieses Jahres zu beobachten, als die Nachricht “Die meisten Messerangreifer heißen Michael” aufgrund eines Missverständnisses die Runde machte. Die AfD hatte im saarländischen Landtag eine Anfrage gestellt, um zu erfahren, ob es auffällige Häufungen von bestimmten Vornamen bei Verdächtigen im Zusammenhang mit Messerattacken gibt. Es sah so aus, als hätte die Partei sich bei dem Versuch, ein rassistisches Vorurteil zu belegen, selbst entlarvt: Auf Platz 1 der Liste stand kein arabischer Name, sondern “Michael”. Viele teilten die Nachricht, weil sie wiederum AfD-Gegnern sehr gut ins Bild passte.

Später wies Stefan Niggemeier bei “Übermedien” darauf hin, dass es in der Liste nur um die Namen der deutschen Verdächtigen ging. Das stand zwar mitunter in den Meldungen. Aber viele hatten nur die Überschrift gelesen oder die Information ignoriert. Der Wunsch, die eigene Überzeugung bestätigt zu sehen, war stärker als der Zweifel.

Die Frage ist: Was kann man gegen den Bestätigungsfehler machen?

Zuallererst: sich bewusst machen, dass man ihm ausgeliefert ist. Sich zwingen, Dinge zu überprüfen, auch wenn sie offensichtlich erscheinen. Zweifeln. Der Philosoph und Publizist Daniel-Pascal Zorn schlägt vor:

Um der “Confirmation Bias” zu entgehen, muss man darauf achten, die eigene Vorannahme als Annahme und nicht schon als Tatsache zugrunde zu legen. Eine Annahme kann sich immer noch als falsch erweisen — eine Tatsache nicht mehr.

Für Journalistinnen und Journalisten bedeutet das: Sie sollten sich auch während ihrer Recherche immer wieder die Frage stellen: Stimmt meine These überhaupt? Kann es nicht auch anders sein? Und sie sollten bewusst auch nach Argumenten suchen, die gegen die Vermutung sprechen.

Immer wieder das eigene Handeln zu hinterfragen, schaltet den Bestätigungsfehler zwar nicht vollkommen aus, aber in vielen Fällen kann es Fehlschlüsse verhindern. Und für den Fall, dass der Bestätigungsfehler sich trotzdem durchsetzt, können Journalistinnen und Journalisten noch etwas anderes machen: offenlegen, was zu einer Verzerrung führen könnte. Kritische Verbindungen verraten. Dafür sorgen, dass Transparenz besteht.

***

Teil 1 unserer “Kleinen Wissenschaft des Fehlers” gibt es hier. Und Teil 2 hier.

Höckes ZDF-Aus, “Stern” schwärzt sich selbst an, Kollegah verliert

1. AfD-Rechtsaußen Björn Höcke darf in keine ZDF-Talkshow mehr
(tagesspiegel.de, Joachim Huber)
Laut Aussagen des ZDF-Chefredakteurs Peter Frey wird der AfD-Politiker Björn Höcke zukünftig zu keiner ZDF-Talkshow eingeladen. Laut einer Vorabmeldung der “Zeit” habe Frey erklärt: “Wir Medien haben niemanden zu erziehen. Aber wir müssen zeigen, wo die Grenzen demokratischer Gesinnung verlaufen.”

2. Digitalseiten geschwärzt
(sueddeutsche.de, Quentin Lichtblau)
Der “Stern” hat aus Sorge vor einem Prozess drei Seiten seiner Digitalausgabe geschwärzt. Betroffen sei die Reportage eines “Stern”-Journalisten, der ein Trump-Hotel in Washington besucht hat. Das Blatt habe den Text zwar juristisch prüfen lassen, aber bei einer Klage der anderen Seite würden selbst im Erfolgsfall erhebliche Verfahrenskosten drohen.

3. Die große Talkshow-Auswertung 2019: Annalena Baerbock ist die neue Talkshow-Königin, Markus Feldenkirchen meisteingeladener Journalist
(meedia.de, Jens Schröder)
Der Journalist und Datenspezialist Jens Schröder hat erneut die TV-Talkshows des zurückliegenden Jahres ausgewertet und interessante Daten zutage gefördert: Im vergangenen Jahr sei der Grünen-Bundesvorsitzende Robert Habeck der häufigste Gast bei “Anne Will”, “Hart aber fair”, “Maischberger” beziehungsweise “maischberger. die woche” und “maybrit illner” gewesen. Dieses Jahr sei es seine Kollegin, die Grünen-Bundesvorsitzende Annalena Baerbock. Der meistgefragte Journalist sei Markus Feldenkirchen vom “Spiegel” gewesen.

4. 8 Thesen zur Beobachtung von Publikumsinteressen im Journalismus
(medium.com, Laurenz Paul Schreiner)
Laurenz Paul Schreiner hat in seiner Masterarbeit die Auswirkungen von Echtzeit-Tools auf die journalistische Praxis untersucht. Schreiner hat dazu drei Newsrooms besucht und sich die Werkzeuge angeschaut, mit denen Online-Journalisten und -Journalistinnen die Interessen des Publikums in Echtzeit analysieren können. Seine Beobachtungen münden in acht daraus abgeleiteten Thesen.

5. Der SWR verlost Flugreisen
(swr.de, Kai Gniffke)
Der Radiosender SWR3 hat Flugreisen nach Thailand verlost und ist dafür kritisiert worden. Teilweise aus dem eigenen Haus: SWR-Intendant Kai Gniffke berichtet von einer Mail einer Kollegin, die es “höchst problematisch fände, dass wir solche CO2-intensiven Reisen auch noch promoten”. Gniffke habe der Kollegin geantwortet und breitet seine Argumentation auf erstaunlich unterkomplexe Weise in seinem Blog aus: “Gehört es zu unserem journalistischen Auftrag dazu, Menschen von Flugreisen abzubringen? Meine Antwort: Nein.”

6. Kollegah verliert Rechtsstreit gegen BR
(faz.net)
Das Münchner Landgericht hatte dem Rapper Kollegah in seiner Klage gegen den Bayerischen Rundfunk (BR) noch recht gegeben. Nun kippte das Oberlandesgericht die Entscheidung: Der BR darf bei seinen in einem Podcast getätigten Aussagen über das “Alpha-Mentoring-Programm” des Rappers bleiben.