Automatisch benachteiligt? Was Betroffene über den Einsatz von KI bei der Bewilligung von Sozialleistungen denken

(openPR) Vor einigen Jahren testete die Stadt Amsterdam das KI-Programm Smart Check, das potenziellen Sozialhilfebetrug aufdecken sollte. Anstatt Anträge nach dem Zufallsprinzip zu prüfen, durchforstete das System zahlreiche Datenpunkte aus kommunalen Registern – beispielsweise Adressen, Familienkonstellationen, Einkommen, Vermögen und frühere Leistungsanträge –, um einen „Risikowert“ zu ermitteln. Anträge mit hohem Risiko wurden als überprüfungswürdig eingestuft und an die Sachbearbeiter*innen zur weiteren Kontrolle weitergeleitet. In der Praxis traf dies jedoch unverhältnismäßig häufig vulnerable Gruppen wie etwa Migrant*innen, Frauen oder Eltern, oft ohne nachvollziehbare Begründung oder effektive Möglichkeit zum Widerspruch. Wachsende Kritik von Interessenverbänden, Jurist*innen sowie Forschenden führte Anfang des Jahres zur Aussetzung des Programms; eine jüngste Evaluation bestätigte erhebliche Mängel.

Dieser Fall verdeutlicht ein zentrales Dilemma beim Einsatz von KI in der Sozialverwaltung: Solche Systeme versprechen zwar mehr Effizienz und schnellere Entscheidungen, bergen aber zugleich die Gefahr, Vorurteile zu verstärken, Vertrauen zu untergraben und vulnerable Gruppen unverhältnismäßig stark zu belasten. Vor diesem Hintergrund untersuchen Forschende nun, wie direkt Betroffene den zunehmenden Einsatz von KI bei der Verteilung von Sozialleistungen bewerten.

In einer in Nature Communications veröffentlichten Studie führten Forschende des Max-Planck-Instituts für Bildungsforschung und der Toulouse School of Economics drei groß angelegte Umfragen mit über 3.200 Teilnehmenden in den USA und im Vereinigten Königreich durch. Ziel war es herauszufinden, wie Menschen den Einsatz von KI bei Entscheidungen über Sozialleistungen einschätzen. Im Mittelpunkt stand ein realistisches Dilemma: Würden sie schnellere Entscheidungen durch eine Maschine akzeptieren, auch wenn dadurch mehr Anträge ungerechtfertigt abgelehnt würden? Das zentrale Ergebnis: Während viele Bürger*innen bereit sind, kleinere Genauigkeitseinbußen zugunsten kürzerer Wartezeiten in Kauf zu nehmen, zeigen Leistungsempfänger*innen deutlich größere Vorbehalte gegenüber KI-gestützten Entscheidungen.

„Bedenklicherweise wird bei politischen Entscheidungen davon ausgegangen, dass die Durchschnittsmeinung die Realität aller Betroffenen widerspiegelt“, erklärt Erstautorin Mengchen Dong. Sie ist Wissenschaftlerin im Forschungsbereich Mensch und Maschine des Max-Planck-Instituts für Bildungsforschung und beschäftigt sich mit ethischen Fragen des KI-Einsatzes. Tatsächlich zeigt die Studie eine klare Trennlinie: Sozialleistungsempfänger*innen lehnen KI-gestützte Entscheidungen deutlich häufiger ab als Personen, die keine Leistungen empfangen, selbst wenn die Systeme eine schnellere Bearbeitung versprechen.

Hinzu kommt, dass Nicht-Empfänger*innen systematisch überschätzen, wie groß die Bereitschaft Betroffener ist, KI zu vertrauen. Das gilt selbst dann, wenn sie für eine realistische Einschätzung der anderen Gruppe finanziell belohnt werden. Vulnerable Gruppen verstehen die Sichtweise der Mehrheitsgesellschaft also besser als umgekehrt.

Methodik: simulierte Entscheidungsdilemmata und Perspektivwechsel
Die Forschenden präsentierten den Teilnehmenden realistische Entscheidungsszenarien: Sie konnten wählen zwischen einer Bearbeitung durch menschliche Sachbearbeiter*innen mit längerer Wartezeit (z. B. acht Wochen) oder einer schnelleren Entscheidung durch KI, verbunden mit einem um 5 bis 30 Prozent höheren Risiko für eine fehlerhafte Ablehnung.
Die Teilnehmenden sollten entscheiden, welche Option sie bevorzugen würden – entweder aus ihrer eigenen Perspektive oder im Rahmen eines gezielten Perspektivwechsels, bei dem sie sich in die Lage der jeweils anderen Gruppe (Leistungsempfänger*innen oder Nicht-Empfänger*innen) versetzen sollten.

Während die US-Stichprobe repräsentativ für die Bevölkerung war (etwa 20 Prozent der Befragten bezogen aktuell Sozialleistungen), war die britische Studie gezielt auf ein 50/50-Verhältnis zwischen Bezieher*innen von Universal Credit – einer Sozialleistung für einkommensschwache Haushalte – und Nicht-Empfänger*innen ausgelegt. So konnten Unterschiede zwischen den Gruppen systematisch erfasst werden. Auch demografische Faktoren wie Alter, Geschlecht, Bildung, Einkommen und politische Orientierung wurden berücksichtigt.

Ist ein Perspektivwechsel von Vorteil – und hilft ein Widerspruchsrecht?
Die britische Teilstudie untersuchte zudem, ob finanzielle Anreize die Fähigkeit verbessern konnten, die Perspektive der anderen Gruppe realistisch einzuschätzen. Teilnehmende erhielten Bonuszahlungen, wenn ihre Einschätzungen nahe an den tatsächlichen Meinungen der jeweils anderen Gruppe lagen. Trotz der Anreize hielten die systematischen Fehleinschätzungen an – insbesondere bei denjenigen, die keine Sozialleistungen empfingen.

Auch ein weiterer Versuch, Vertrauen in KI zu stärken, zeigte nur begrenzten Erfolg: Einige Teilnehmende wurden darüber informiert, dass es eine hypothetische Möglichkeit gebe, KI-Entscheidungen bei menschlichen Sachbearbeiter*innen anzufechten. Zwar erhöhte diese Information das Vertrauen leicht, änderte aber wenig an der grundsätzlichen Bewertung des KI-Einsatzes.

Folgen für das Vertrauen in Staat und Verwaltung
Laut der Studie hängt die Akzeptanz von KI im Sozialwesen eng mit dem Vertrauen in staatliche Institutionen zusammen. Je stärker Menschen den Einsatz von KI bei Entscheidungen über Sozialleistungen ablehnen, desto geringer ist ihr Vertrauen in die Regierungen, die diese Systeme nutzen – unabhängig davon, ob sie selbst Leistungen beziehen oder nicht. Im Vereinigten Königreich, wo der geplante Einsatz von KI bei der Bewilligung von Universal Credit untersucht wurde, gaben viele Teilnehmende an, dass sie menschliche Sachbearbeiter*innen bevorzugen würden, selbst wenn KI bei Geschwindigkeit und Genauigkeit gleichauf wäre. Auch der Hinweis auf ein mögliches Widerspruchsverfahren änderte daran wenig.

Appell für eine partizipative Entwicklung von KI-Systemen
Die Forschenden warnen davor, KI-Systeme zur Bewilligung von Sozialleistungen allein nach dem Willen der Mehrheit oder auf Basis aggregierter Daten zu entwickeln. „Wenn die Perspektiven vulnerabler Gruppen nicht aktiv berücksichtigt werden, drohen Fehlentscheidungen mit realen Konsequenzen – etwa ungerechtfertigte Leistungsentzüge oder falsche Beschuldigungen“, sagt Co-Autor Jean-François Bonnefon, Direktor der Abteilung Sozial- und Verhaltenswissenschaften an der Toulouse School of Economics.

Das Autor*innenteam fordert daher eine Neuausrichtung bei der Entwicklung öffentlicher KI-Systeme: weg von rein technischen Effizienzkennzahlen und hin zu partizipativen Prozessen, die die Perspektiven vulnerabler Gruppen ausdrücklich einbeziehen. Andernfalls drohen Fehlentwicklungen, die langfristig das Vertrauen in Verwaltung und Technologie untergraben. Aufbauend auf den Ergebnissen aus den USA und dem Vereinigten Königreich soll eine laufende Kooperation mithilfe der Infrastruktur von Statistics Denmark vulnerable Bevölkerungsgruppen in Dänemark einbeziehen und ihre Sichtweisen auf Verwaltungsentscheidungen erfassen.

Auf einen Blick:
• Groß angelegte Umfragen: Befragungen mit mehr als 3.200 Teilnehmenden zu Einstellungen gegenüber KI-gestützten Entscheidungsprozessen bei der Bewilligung von Sozialleistungen in den USA und im Vereinigten Königreich.
• Unterschiede zwischen Leistungsempfänger*innen und Nicht-Empfänger*innen: Sozialleistungsempfänger*innen sind skeptischer gegenüber KI-gestützten Entscheidungen als Nicht-Empfänger*innen; Nicht-Empfänger*innen überschätzen systematisch das Vertrauen, das Betroffene in KI haben – selbst bei finanziellen Anreizen für eine realistische Einschätzung.
• Vertrauensbildende Maßnahmen: Maßnahmen wie ein hypothetisches Widerspruchsrecht erhöhen das Vertrauen in KI nur geringfügig und ändern nichts an der grundsätzlichen Ablehnung durch Betroffene.
• Gestaltung von KI-Systemen: Die Studienergebnisse zeigen deutlich, dass Entwicklungsprozesse für KI-Systeme partizipativ gestaltet und die Perspektiven vulnerabler Gruppen aktiv einbezogen werden sollten. Andernfalls droht ein Vertrauensverlust in Staat und Verwaltung.

Originalpublikation:
Dong, M., Bonnefon, J.-F., & Rahwan, I. (2025). Heterogeneous preferences and asymmetric insights for AI use among welfare claimants and non-claimants. Nature Communications, 16, Artikel 6973. https://doi.org/10.1038/s41467-025-62440-3