Statistik ist, was du draus machst

Zum Vor­wurf an die Markt­for­schung gehört der schlim­me Satz, man sol­le kei­ner Sta­tis­tik glau­ben, die man nicht selbst gefälscht habe. Nun, mir ist (dank Rai­ner Mey­er bei Face­book) eine Sta­tis­tik über den Weg gelau­fen, die sicher­lich sach­lich nicht falsch ist, aber eben auch zeigt, wie man Daten so inter­pre­tie­ren kann, dass man maxi­ma­le Auf­merk­sam­keit generiert.

Im vor­lie­gen­den Fall geht es um einen Anbie­ter von IQ-Tests im Inter­net. Die­se selbst­aus­zu­fül­len­den Tests sind natür­lich weder gül­ti­ge IQ-Tests, noch erlau­ben sie in irgend­ei­ner Form eine Aus­sa­ge über die Intel­li­genz des Aus­fül­len­den – höchs­tens über den Durch­hal­te­wil­len, um ein ste­tig bes­se­res Ergeb­nis zu erreichen.

Statistiken biegen

Was der Anbie­ter Fabulabs in einer aktu­el­len Pres­se­mit­tei­lung macht, aus der die fol­gen­de Gra­fik stammt, ist in zwei­er­lei Hin­sicht manipulativ.

Punkt 1: Die Dar­stel­lung der Gra­fik erreicht durch Ver­kür­zung der Ska­la auf der Y-Achse, dass die Unter­schie­de­ne zwi­schen AfD-Wählern und dem Rest enorm erscheint. Tat­säch­lich sind die Unter­schie­de gar nicht so groß. Ver­mut­lich lie­gen sie sogar noch in der sta­tis­ti­schen Schwankungsbreite.

Punkt 2: Apro­pos Schwan­kungs­brei­te. Es gilt natür­lich in der Sta­tis­tik, dass je mehr Daten vor­han­den sind, des­to genau­er die Ergeb­nis­se wer­den. Die in der Pres­se­mit­tei­lung genann­ten 100.000 aus­ge­füll­ten Tests sol­len ver­mit­teln: Das sind so vie­le Ergeb­nis­se, wir könn­ten auf die drit­te Nach­kom­ma­stel­le genau benen­nen, wie klug ein AfD-Wähler ist. Dabei wer­den zwei Din­ge gewis­sent­lich ver­schwie­gen: Zum einen die Pro­ble­ma­tik Selbst­aus­fül­lungs­tests im Inter­net (sie­he oben).

Repräsentativ ist das alles vermutlich nicht

Zum ande­ren ist das Ergeb­nis nicht durch Mas­se reprä­sen­ta­tiv für die Gesamt­be­völ­ke­rung. Was in der Pres­se­mit­tei­lung näm­lich nicht steht: Nach wel­chen Kri­te­ri­en wird die Reprä­sen­ta­ti­vi­tät gemes­sen? Wie wur­den die Teil­neh­mer aus­ge­wählt? Wie groß sind die Teil­neh­mer der ein­zel­nen Wäh­ler­grup­pen? Das alles wären wich­ti­ge Indi­ka­to­ren, um die Zuver­läs­sig­keit der Daten beur­tei­len zu können.

Ich ver­mu­te, dass es um die sta­tis­ti­schen Kennt­nis­se von Fabulabs aller­dings nicht so gut bestellt ist, dass es über eine auf­merk­sam­keits­hei­schen­de Pres­se­mit­tei­lung hin­aus­geht. Dafür spricht schon das:

Der IQ Test erreicht seit 2015 rund 6.000.000 Teil­neh­mer. Er dien­te unter ande­rem als Grund­la­ge für eine bun­des­wei­te IQ-Studie. Die Ergeb­nis­se gel­ten auf­grund der hohen Grund­ge­samt­heit als repräsentativ.

Grundlegende Statistikkenntnisse fehlen

Die Grund­ge­samt­heit ist die Men­ge aller zu beob­ach­ten­den Ele­men­te. Die kann man nicht mit mehr Daten erhö­hen, die ist ein­fach da. Und – ich wie­der­ho­le mich – Reprä­sen­ta­ti­vi­tät wird nicht durch Mas­se erreicht, son­dern durch eine reprä­sen­ta­ti­ve (!) Aus­wahl der Teil­neh­men­den. Die macht man mit einer Zufalls­stich­pro­be oder wenigs­tens mit einem Quo­ten­ver­fah­ren, das anhand ver­schie­de­ner Merk­ma­le ver­sucht, die Grund­ge­samt­heit abzu­bil­den. Und Mehr­fach­teil­nah­me soll­te natür­lich auch aus­ge­schlos­sen sein. Ich bezweif­le stark, dass die­se Vor­aus­set­zun­gen gege­ben sind.

Aber, immer­hin: Die Über­schrift brach­te mich zum Kli­cken, ich schrei­be einen gan­zen Blog­bei­trag über eine kur­ze Pres­se­mit­tei­lung – der Sinn der Akti­on hat sich also schon erfüllt.