Neue Aufregung um Wahlumfragen

von Hubertus Hofkirchner -- Wien, 30 Sep 2022

Nach den Tiroler Landtagswahlen stehen die Medien und die traditionelle Wahlforschung wieder einmal wegen der Veröffentlichung falscher Wahlprognosen gehörig in der Kritik. Die ÖVP wurde zuletzt bei 28 Prozent gesehen (ORF), erhielt aber tatsächlich 35 Prozent. Der mittlere absolute Fehler (MAF) betrug blamable 2,3 Prozent. “Einige Umfragen waren methodischer Schrott”, erklärte Medienliebling und Politexperte Peter Filzmaier in der ZiB 2 am Sonntag. “Ignorieren, den Schmarrn”, empfahl Wahlforscher Christoph Hofinger im Standard-Chat, wobei die “Poll of Polls” seines SORA-Instituts mit 1,9 Prozent MAF selbst nur knapp unter der 2 Prozent Grenze vorbei schrammte.

Einfach falsch oder Wahlbeeinflussung?

Die Sache hat demokratische Sprengkraft, denn einige Stimmen stellen sogar taktische Wahlbeeinflussung durch “freundliche” Prognosen in den Raum. Der Vorwurf ist schwer zu entkräften, Erinnerungen an die letzte Regierungskrise durch gefakte Umfragen werden wach. Dabei sind Wahlprognosen eigentlich der Goldstandard, der die wahre Leistungskraft der Umfrageinstitute transparent macht. Nichts ist öffentlicher, objektiver und besser überwacht als reale Wahlergebnisse. Am Spiel steht auch die Glaubwürdigkeit von weniger leicht überprüfbaren Umfragen, etwa Marktstudien, Befragungen für die Innovations- und Produktforschung von Unternehmen oder die Meinungsforschung zu politischen Sachthemen.

“Die Medien haben die Macht, bessere Umfragen zu erzwingen”, meint der Medienberater Peter Plaikner in den Salzburger Nachrichten, und moniert, dass die zwei österreichischen Marktforschungsverbände, der VdMI und der VMÖ, kein System der freiwilligen Selbstregulierung geschaffen hätten. Daher müssten jetzt die Medien Qualitätskriterien einfordern, um ihre Glaubwürdigkeit zu retten.

Know-how vorhanden

Selbstverständlich sind aber die Verbände am Thema aktiv und besitzen vor allem das unerlässliche methodische Know-how dafür. Selbstregulierung ist jedoch, wie so vieles, weniger eine Frage des Ob, sondern mehr des Wie und des Geldes. Zudem gibt es zwischen den beiden Verbänden fundamentale Unterschiede. Der VdMI hat 28 Mitglieder aus meist alteingesessenen Instituten, der VMÖ hat über 300 Mitglieder, dort sind auch Betriebsmarktforscher, unabhängige Marktforscher sowie junge innovative Unternehmen vertreten.

Der VdMI hat seit vielen Jahren eine Richtline, welche die Qualität der Wahlforschung durch eine Definition der Vorgangsweise festschreiben soll. n=800 Befragte seien für Qualität erforderlich, steht darin zu lesen, reine Online Studien seien ungeeignet, maximal die Beimischung von Online Sample sei erlaubt. Letztes Jahr schloss der VdMI das OGM Institut von Wolfgang Bachmayer regelkonform von der Mitgliedschaft aus, weil sie eine rein online statt im vorgeschriebenen Mix-Mode durchgeführte Wahlumfrage veröffentlichte, obwohl deren Genauigkeit sogar im Spitzenfeld lag.

Qualitätsmessung: An der Genauigkeit oder der "Einhaltung einer Leitlinie"?

Es fragt sich, ob die Richtlinie noch zeitgemäß ist. Es scheint vordringlich, auf das gewünschte Ergebnis abzustellen - nämlich akkurate Wahlprognosen - und nicht auf bestimmte Umfragemethoden, denn diese basieren auf einem bestimmten Stand der Technik, welche im Zuge des rasanten digitalen Fortschritts veralten können. Heutzutage sind z.B. 95% der österreichischen Haushalte online. Das wahre Qualitätskriterium, das letztlich zählt, ist die absolute Prognosegenauigkeit, die geringste Abweichung vom objektiven Ergebnis.

Der Irrtum solcher prozeduraler Qualitätskriterien lässt sich anhand der letzten Wahlprognosen in Tirol belegen (Tabelle 1). Eine mögliche neue Methode sind zum Beispiel Prognosemärkte. Im Vergleich zum eingangs genannten MAF von 2,3 Prozent weist etwa der unabhängige Prognosemarkt Wahlfieber einen MAF von nur 1,1 Prozent auf, war also doppelt so genau. Der Wert ist kein Einzelfall, denn ähnlich gute MAFs weist die Plattform für Wahlen in Deutschland und der Schweiz aus.

Dieses Faktum widerspricht den bisherigen vermeintlichen Qualitätskriterien, denn erstens finden Prognosemärkte rein online statt und zweitens benötigen sie keine n=800 Befragte: für akkurate Prognosemärkte reicht eine Community aus knapp zwei Dutzend ausgesiebter “Superforecaster”, die sich bereits in früheren Prognosemärkten bewiesen haben. Eine beliebig größere Teilnehmerzahl erhöht die Vorhersagequalität nicht weiter. Prognosemärkte basieren auf Bayes’scher Statistik, in der nicht für eine - in Wahrheit elusive - Repräsentativität rekrutiert werden muss sondern nach Meinungsvielfalt und Prognosetalent.

Methodenfreiheit sichert Fortschritt

Um nicht falsch verstanden zu werden: Frequentistische Umfragen haben definitiv nach wie vor ihre Rolle, nur ist wegen der großen Vielfalt von neuen Methoden und Ansätzen in der modernen Markt- und Wahlforschung die Bestimmung oder gar Vorgabe von Qualitätskriterien nach einer einzigen Umfragemethode zu eng gesetzt und daher obsolet.

Der VMÖ berät intern bereits über einen neuen Qualitätsstandard für Wahlumfragen, der die gebotene Offenheit für Innovation und Fortschritt in der Branche schafft. Qualität soll künftig - wie es dem Geburtsland von Karl Popper gebührt - an der empirischen Genauigkeit der Wahlprognosen gemessen werden. Nachgedacht wird auch über Möglichkeiten, den Medienkonsumenten eine unabhängige Bewertung von Wahlprognosen im Zeitablauf vor und nach der Wahl zu ermöglichen. In einem zweiten Schritt wird der Vorschlag dann an die verschiedenen Stakeholder herangetragen und verfeinert. Auch die Finanzierung muss bedacht werden, denn Qualität erhöht den Umfragepreis. Wenn alle Beteiligten ins Boot gebracht werden können, könnte bereits für die Nationalratswahlen 2024 eine moderne, objektive Qualitätskontrolle die Arbeit aufnehmen.

Erläuterung:
Mittlerer absoluter Fehler aus Prognosen für ÖVP, SPÖ, FPÖ, Grüne, FRITZ, NEOS, MFG, Sonstige

• Zurück zum Management by Predictions Blog

• Abonnieren Sie mit einem Klick oben rechts auf der Leitseite diesen Blog für neue Stories, druckfrische Fallstudien, laufende Erkenntnisse und praktische Anleitungen zu Management by Predictions.