Statistik ist, was du draus machst

4

Zum Vor­wurf an die Markt­for­schung gehört der schlim­me Satz, man sol­le kei­ner Sta­tis­tik glau­ben, die man nicht selbst gefälscht habe. Nun, mir ist (dank Rai­ner Mey­er bei Face­book) eine Sta­tis­tik über den Weg gelau­fen, die sicher­lich sach­lich nicht falsch ist, aber eben auch zeigt, wie man Daten so inter­pre­tie­ren kann, dass man maxi­ma­le Auf­merk­sam­keit gene­riert.

Im vor­lie­gen­den Fall geht es um einen Anbie­ter von IQ-Tests im Inter­net. Die­se selbst­aus­zu­fül­len­den Tests sind natür­lich weder gül­ti­ge IQ-Tests, noch erlau­ben sie in irgend­ei­ner Form eine Aus­sa­ge über die Intel­li­genz des Aus­fül­len­den – höchs­tens über den Durch­hal­te­wil­len, um ein ste­tig bes­se­res Ergeb­nis zu errei­chen.

Statistiken biegen

Was der Anbie­ter Fabul­abs in einer aktu­el­len Pres­se­mit­tei­lung macht, aus der die fol­gen­de Gra­fik stammt, ist in zwei­er­lei Hin­sicht mani­pu­la­tiv.

Sechs verschiedenfarbige Balken mit den Ergebnissen (durchschnittlicher IQ): Union: 101 - SPD: 100 - AfD: 93 - FDP: 103 - Linke: 105 - Grüne: 99
Quel­le: obs/fabulabs GmbH/Mein-wahres-Ich.de

Punkt 1: Die Dar­stel­lung der Gra­fik erreicht durch Ver­kür­zung der Ska­la auf der Y-Achse, dass die Unter­schie­de­ne zwi­schen AfD-Wählern und dem Rest enorm erscheint. Tat­säch­lich sind die Unter­schie­de gar nicht so groß. Ver­mut­lich lie­gen sie sogar noch in der sta­tis­ti­schen Schwan­kungs­brei­te.

Die gleichen Daten wie zuvor, aber auf einer Achse, die bei 0 und nicht bei 90 beginnt.
Eine nor­mier­te Ach­se zeigt die Unter­schie­de in einem rea­lis­ti­sche­ren Ver­hält­nis (eige­ne Abbil­dung)

Punkt 2: Apro­pos Schwan­kungs­brei­te. Es gilt natür­lich in der Sta­tis­tik, dass je mehr Daten vor­han­den sind, des­to genau­er die Ergeb­nis­se wer­den. Die in der Pres­se­mit­tei­lung genann­ten 100.000 aus­ge­füll­ten Tests sol­len ver­mit­teln: Das sind so vie­le Ergeb­nis­se, wir könn­ten auf die drit­te Nach­kom­ma­stel­le genau benen­nen, wie klug ein AfD-Wähler ist. Dabei wer­den zwei Din­ge gewis­sent­lich ver­schwie­gen: Zum einen die Pro­ble­ma­tik Selbst­aus­fül­lungs­tests im Inter­net (sie­he oben).

Repräsentativ ist das alles vermutlich nicht

Zum ande­ren ist das Ergeb­nis nicht durch Mas­se reprä­sen­ta­tiv für die Gesamt­be­völ­ke­rung. Was in der Pres­se­mit­tei­lung näm­lich nicht steht: Nach wel­chen Kri­te­ri­en wird die Reprä­sen­ta­ti­vi­tät gemes­sen? Wie wur­den die Teil­neh­mer aus­ge­wählt? Wie groß sind die Teil­neh­mer der ein­zel­nen Wäh­ler­grup­pen? Das alles wären wich­ti­ge Indi­ka­to­ren, um die Zuver­läs­sig­keit der Daten beur­tei­len zu kön­nen.

Ich ver­mu­te, dass es um die sta­tis­ti­schen Kennt­nis­se von Fabul­abs aller­dings nicht so gut bestellt ist, dass es über eine auf­merk­sam­keits­hei­schen­de Pres­se­mit­tei­lung hin­aus­geht. Dafür spricht schon das:

Der IQ Test erreicht seit 2015 rund 6.000.000 Teil­neh­mer. Er dien­te unter ande­rem als Grund­la­ge für eine bun­des­wei­te IQ-Studie. Die Ergeb­nis­se gel­ten auf­grund der hohen Grund­ge­samt­heit als reprä­sen­ta­tiv.

Grundlegende Statistikkenntnisse fehlen

Die Grund­ge­samt­heit ist die Men­ge aller zu beob­ach­ten­den Ele­men­te. Die kann man nicht mit mehr Daten erhö­hen, die ist ein­fach da. Und – ich wie­der­ho­le mich – Reprä­sen­ta­ti­vi­tät wird nicht durch Mas­se erreicht, son­dern durch eine reprä­sen­ta­ti­ve (!) Aus­wahl der Teil­neh­men­den. Die macht man mit einer Zufalls­stich­pro­be oder wenigs­tens mit einem Quo­ten­ver­fah­ren, das anhand ver­schie­de­ner Merk­ma­le ver­sucht, die Grund­ge­samt­heit abzu­bil­den. Und Mehr­fach­teil­nah­me soll­te natür­lich auch aus­ge­schlos­sen sein. Ich bezweif­le stark, dass die­se Vor­aus­set­zun­gen gege­ben sind.

Aber, immer­hin: Die Über­schrift brach­te mich zum Kli­cken, ich schrei­be einen gan­zen Blog­bei­trag über eine kur­ze Pres­se­mit­tei­lung – der Sinn der Akti­on hat sich also schon erfüllt.


Gefällt dir, was du hier liest? Ich freue mich, wenn du mei­ne Arbeit mit einer klei­nen Spen­de unter­stützt. Vie­len Dank und ganz vie­le Herz­chen im Vor­aus!

4 KOMMENTARE

  1. Aspekt Inter­pre­ta­ti­on: Karl Lau­ter­bach (SPD) hat die Gra­fik ver­brei­tet, wohl aus Begeis­te­rung dar­über, dass die AfD-Anhänger düm­mer sind als die SPD-Anhänger. Ein bos­haf­ter Twit­te­rer hat dage­gen ver­mu­tet, die schlau­en Wäh­ler hät­ten der SPD den Rücken gekehrt und wähl­ten jetzt Die Lin­ke.

  2. Das Ver­trau­ens­in­ter­vall von dia­gnos­tisch ein­ge­setz­ten Intel­li­genz­tests (!) liegt unter kon­trol­lier­ten Bedin­gun­gen (!) bei +-5 Punk­ten.

KOMMENTIEREN

Please enter your comment!
Please enter your name here