Wie sehr Argumente überzeugen wird in der angewandten Forschung oftmals erforscht, indem Umfrageteilnehmerinnen danach gefragt werden, wie sehr sie einem Argument zustimmen. Bei Argumententests für Abstimmungen werden Antworten auf diese Frage dann oftmals noch mit der Stimmabsicht korreliert. Dieses Vorgehen ist zumindest aus zwei Gründen problematisch: Erstens dürften die Antworten vieler Befragten eher ausdrücken wie sehr sie dieses Argument als mit ihrer Stimmabsicht in Übereinstimmung sehen als wie sehr sie tatsächlich dem Inhalt des Arguments zustimmen («Postrationalisierung»). Zweitens misst die Korrelation zwischen der Zustimmung mit Argumenten und der Stimmabsicht den Effekt zwischen den beiden nicht sauber, weil die Zustimmung mit den Argumenten mit anderen Variablen, die für den Wahlentscheid wichtig sind (z.B. Parteiidentifikation), korrelieren («omitted variable bias»).
Aus den oben genannten Gründen werden die Effekte von Argumenten auf Abstimmungsverhalten in der Grundlagenforschung mittlerweile meistens experimentell untersucht. Dabei werden den Respondenten Argumente für und gegen eine Vorlage zufällig zugeteilt. Im Anschluss an diese «Treatments» wird nach der Stimmabsicht gefragt. Die Unterschiede in den Stimmabsichten können dann direkt als Effekte der Argumente auf Stimmabsicht interpretiert werden.
Im Rahmen einer Umfrage für Blue News haben wir einen entsprechenden Argumententest für die Feuerwerksinitiative gemacht. Diese Initiative will Feuerwerke in der Schweiz einschränken. Gemäss Webseite wurden dafür aktuell 66’594 Unterschriften gesammelt. Um die Effekte unterschiedlicher Argumente zu testen, haben wir ein Gegenargument und vier Proargumente einer Kontrollgruppe und einer Placebogruppe gegenübergestellt. Die Frage, die wir gestellt haben, lautet folgendermassen: «Kommen wir nun zu einer Volksinitiative, über die Sie in Zukunft wahrscheinlich abstimmen werden: Das Komitee der Feuerwerksinitiative will, dass die Bundesverfassung den Verkauf und die Verwendung von Feuerwerkskörpern, die Lärm verursachen, verbietet. [Argument] Wenn die Abstimmung über die Volksinitiative “Für eine Einschränkung von Feuerwerk” morgen stattfinden würde, wie würden Sie abstimmen?
Beim Gegenargument wurde gesagt, dass Feuerwerk ein Teil von Kultur und Tradition darstelle. Die Proargumente bestanden aus Hinweisen auf die negativen Effekte mit Bezug auf Stress durch Lärm für bestimmte Bevölkerungsgruppen, Beeinträchtigung der Tierwelt, Feuerwerks-Unfälle und Verschmutzung. Bei der Kontrollgruppe gab es keinen zusätzlichen Text während bei der Placebo-Gruppe der Text ähnlich lange wie bei den Treatments gemacht wurde, indem darauf hingewiesen wurde, dass 100’000 Unterschriften gesammelt werden müssen.
Für die Auswertungen beschränken wir uns auf Personen, die mehr als fünf Minuten für die ganze Umfrage aufgewendet haben. Denn nur von Personen, die eine gewisse Dauer für die Beantwortung gebraucht haben, können wir davon ausgehen, dass sie die Argumente auch tatsächlich gelesen haben. Mit dieser Einschränkung können wir immer noch die Antworten von 2’655 Personen untersuchen.
Die Abbildung oben zeigt die Effekte der Argumente auf die Stimmabsichten. Demnach verringert das Gegenargument die Zustimmung gegenüber der Kontrollgruppe um mehr als 7% und gegenüber der Placebogruppe um ca. 1%. Ähnliche Werte finden sich auch für die Proargumente, dass Feuerwerk bei bestimmten Personengruppen Stress auslöst (66,8% Ja) beziehungsweise Verschmutzung verursacht (68,1% Ja). Deutlich positivere Werte finden wir für das Treatment, dass die Tiere unter dem Feuerwerk leiden (73,4% Ja). Die tiefste Zustimmung finden wir unter Personen, die das Argument, dass Feuerwerk zu Unfällen führt, erhalten haben (57,0%).
Wie sollen diese Werte interpretiert werden? Zuerst zeigt sich, dass bei reiner Information über die Initiative, die Zustimmung hoch ist (Kontrollgruppe). Dies passt zur in der Politikwissenschaft bekannten Beobachtung, dass Volksinitiativen zuerst auf grosse Unterstützung stossen, weil sie ein Problem benennen. Entsprechend schwierig ist es mit Argumenten die Zustimmung weiter zu steigern. Denn typischerweise sinkt mit der Auseinandersetzung mit einer Initiative die Zustimmung. Dies scheint mit Bezug auf diese Vorlage klar der Fall zu sein. Egal ob mit Gegenargument, einem wenig überzeugenden Proargument oder neutraler zusätzlicher Information: Was immer die Respondenten dazu bewegt sich länger mit der Initiative zu beschäftigen, desto geringer die Zustimmung. Im Fall des Arguments, dass Feuerwerk wegen Feuerwerksumfällen eingeschränkt werden soll, scheint das Argument sogar einen kontraproduktiven Effekt zu haben. Gleichzeitig verfängt auch das Argument der Gegner, wonach die Einschränkung abzulehnen ist, weil Feuerwerk Teil von Kultur und Tradition ist, nicht. Das Argument mit den besten Chancen einen Unterschied zu machen ist, «dass Feuerwerk Haus-, Nutz- und Wild-Tiere, v.a. Vögel, in Panik versetzt und zahlreiche von ihnen an Stress sterben lässt».