Content

Lena Ulbricht, Algorithmen und Politisierung in:

Andreas Schäfer, David Meiering (Ed.)

(Ent-)Politisierung?, page 253 - 278

Die demokratische Gesellschaft im 21. Jahrhundert

1. Edition 2020, ISBN print: 978-3-8487-6301-6, ISBN online: 978-3-7489-0407-6, https://doi.org/10.5771/9783748904076-253

Bibliographic information
Algorithmen zwischen Ent- und Repolitisierung Lena Ulbricht Algorithmen und Politisierung Einleitung Im Zuge der Digitalisierung übernehmen Algorithmen zunehmend Funktionen der sozialen Ordnungsbildung: Sie dienen etwa der Steuerung von Verkehr, der Allokation von humanitären Hilfsgütern oder Sozialleistungen, der Festlegung des Strafmaßes bei Angeklagten, der Einschätzung der Kreditwürdigkeit von Konsument*innen oder der Bewertung von Beschäftigten. Konzepte wie algorithmische Regulierung, algorithmische Governance und algorithmisches Management versuchen, die soziale Ordnungsfunktion von Algorithmen zu bestimmen. Algorithmen werden im Kontext dieses Artikels verstanden als computergestützte Verfahren der Wissensproduktion, die sich durch eine besondere Komplexität auszeichnen. Was als besonders komplex gilt, variiert je nach Kontext: Komplexität kann entstehen, wenn Daten verarbeitet werden, die als besonders groß oder neuartig gelten. Eine besondere Komplexität kann auch im Analyseverfahren angelegt sein. So gilt der Einsatz von maschinellem Lernen in vielen Bereichen als besonders komplexe Form der Wissensgenerierung. Wichtig ist, dass es keine bereichsübergreifende Definition davon gibt, ab wann computergestützte Verfahren als Algorithmen gelten.1 Der hier verwendete Algorithmen-Begriff ist breiter definiert als es in der Informatik üblich ist,2 um nicht allein eng abgesteckte Artefakte zu bezeichnen, sondern auch deren gesellschaftliche Zuschreibungen zu umfassen. Dass immer mehr soziale Bereiche digitalisiert werden und somit durch Algorithmen geprägt sind, findet in der öffentlichen Debatte zunehmend Aufmerksamkeit. Welche gesellschaftlichen Folgen daraus entstehen, wird dabei kontrovers diskutiert. So gibt es technikfreundliche Deutungen, die in erster Linie positive gesellschaftliche Wirkungen sehen, da sie etwa davon ausgehen, dass gesellschaftliche Koordination durch Algorithmen zunehmend effektiv, effizient und inklusiv wird. Entsprechende Narrative werden in erster Linie durch Unternehmen und unternehmensnahe Stiftungen propagiert,3 durch internationale Organisationen 1. 1 So umfasst der sogenannte Facebook-Algorithmus etwa große Datenmengen, unstrukturierte Daten und maschinelles Lernen. Das automatisierte Verfahren zur Bewertung der Arbeitsmarktchancen von arbeitslosen Personen in Österreich verwendet wiederum weder besonders große noch unstrukturierte Daten, gilt aber aufgrund des maschinellen Lernens als Algorithmus. 2 Eine klassische Informatik-Definition versteht Algorithmen als die regelgeleitete rechnerische Umwandlung eines Inputs in einen Output unter den Bedingungen von Bestimmtheit, Einfachheit und Endlichkeit. Jede Software beruht auf Algorithmen, doch umfasst eine Software mehr als einen Algorithmus (Dourish 2016). 3 O'Reilly 2013. Leviathan, 48. Jg., Sonderband 35/2020, S. 255 – 278 wie etwa die OECD4 sowie durch einen Strang der public policy Forschung.5 Demgegenüber stehen technikskeptische Interpretationen, die Algorithmen dafür kritisieren, unter dem Deckmantel einer vorgetäuschten Objektivität depolitisierend zu wirken, Machtstrukturen zu verschleiern und soziale und politische Ungleichheiten zu verfestigen.6 Unter Politisierung versteht dieser Beitrag den Prozess, einen sozialen Sachverhalt in zwei Hinsichten zu konstruieren: erstens als kontingent und zweitens als prinzipiell zugänglich für kollektiv bindende Entscheidungen. Kontingenz bedeutet in diesem Zusammenhang die Einsicht, dass ein sozialer Gegenstand auch anders gestaltet sein könnte.7 De- oder Entpolitisierung ist im Gegensatz dazu die Konstruktion eines sozialen Sachverhalts als erstens unveränderbar und/oder zweitens nicht zugänglich oder relevant für kollektiv bindende Entscheidungen. Dabei betonen gegenwärtige Theoretisierungen von Politisierung und Depolitisierung, dass die entsprechenden Zuschreibungen, Wahrnehmungen, Praktiken und Regeln beständig reproduziert und aufrechterhalten werden müssen.8 Gesellschaftliche Transformationen wie etwa die Digitalisierung bringen somit Impulse, die bestehende Deutungen sozialer Sachverhalte als politisch oder unpolitisch entweder verändern oder auch verfestigen können. Der Beitrag widmet sich also der Frage, in welchem Verhältnis Algorithmen und Prozesse der De- und (Re-)Politisierung stehen. Diese Arbeit entwickelt hierfür die Unterscheidung zwischen einer (De-)Politisierung durch Algorithmen und einer (De-)Politisierung von Algorithmen. Die Politisierung durch Algorithmen betrifft in erster Linie soziale Normen; Algorithmen bieten lediglich den Anlass, diese zu politisieren. Politisierung von Algorithmen zielt stattdessen direkt auf den Algorithmus, also die Art und Weise, wie er gestaltet ist und in welchem Kontext er eingesetzt wird. Die zentrale These des Beitrags ist, dass Algorithmen anders als in Pauschalurteilen nicht per se depolitisierend wirken. Stattdessen führt die De-Politisierung sozialer Normen durch Algorithmen auch zu Politisierungsprozessen von und durch Algorithmen: Soziale Normen, die unwidersprochen waren, werden (erneut) infrage gestellt, und die konkrete Gestaltung von Algorithmen und ihrer Nutzung wird problematisiert. Das folgende Kapitel fasst den wissenschaftlichen Diskurs zusammen, der sich der ordnungsbildenden Funktion von Algorithmen widmet und arbeitet die kontroverse, aber dennoch dominante Bewertung von Algorithmen heraus, die diese als eine Form technokratischen Regierens und somit als grundlegend depolitisierend ansieht. Das dritte Kapitel entwickelt einen Analyseansatz, der Algorithmen als eine Formalisierung und Quantifizierung gesellschaftlicher Normen und Verfahrensregeln konzeptualisiert. Auf dieser Grundlage arbeiten vier Fallstudien he- 4 OECD 2015. 5 Schintler, Kulkarni 2014. 6 Algorithm Watch und Bertelsmann Stiftung 2019; Dencik et al. 2018; Tactical Tech 2019. 7 Hay 2013; Haunss, Hofmann 2015. 8 Selk 2011. 256 Lena Ulbricht raus, wie Algorithmen Anlass für und Gegenstand von Politisierungsprozessen wurden. Die Fälle stammen aus dem staatlichen Herrschaftsbereich (Rechtsprechung und Sozialpolitik) sowie aus dem privatwirtschaftlichen Bereich (Beschäftigtenkontrolle und Bonitätsprüfung). Das vierte Kapitel arbeitet aufbauend auf den Fallstudien und unter Einbeziehung technikwissenschaftlicher Konzepte heraus, welche Eigenschaften von Algorithmen diese zum Anlass der Politisierung sozialer Normen machen, etwa Quantifizierung, Nachvollziehbarkeit und Intelligibilität. Das Fazit fasst die Befunde zusammen und diskutiert sie mit Blick auf den Diskurs über die Regulierung von Algorithmen. Algorithmen und Depolitisierung Anders als im täglichen Sprachgebrauch, in dem Depolitisierung negativ konnotiert ist, muss man aus sozialwissenschaftlicher Perspektive festhalten, dass Depolitisierung ein notwendiger Bestandteil demokratischer Gesellschaften ist. So sind demokratische Entscheidungen meist Antworten auf Gestaltungsanforderungen, die für eine gewisse Zeit Bestand haben, selbst wenn damit verbundene politische Konflikte nicht aufgelöst werden. Moderne Gesellschaften wären damit überfordert, alle sozialen Sachverhalte beständig zu politisieren; der Koordinationsaufwand wäre unermesslich. Darüber hinaus benötigen gesellschaftliche Strukturen eine gewisse Stabilität, um ihre (durchaus veränderlichen) Zwecke zu erfüllen. Trotz dieses prinzipiell normfreien Verständnisses von Depolitisierung gibt es auch im akademischen Diskurs kritische Deutungen, die eine übermäßige Depolitisierung für gesellschaftliche Ungleichheiten und Demokratieverfall verantwortlich machen. An diese Narrative schließt die sozialwissenschaftliche Auseinandersetzung mit Algorithmen an, die diese als Vehikel für depolitisierende Formen der Ordnungsbildung ansieht. Algorithmen und Ordnungsbildung Dass Computersysteme in zahlreichen gesellschaftlichen Bereichen eine Funktion der sozialen Ordnungsbildung haben, ist kein neues Thema wissenschaftlicher Auseinandersetzung. Es reicht vielmehr bis in die frühe Zeit der Entwicklung der ersten Großcomputer zurück9 und wurde etwa in den verschiedenen Phasen des Kybernetikdiskurses immer wieder virulent.10 Im Zuge einer immer umfassenderen Digitalisierung spätmoderner Gesellschaften seit den 1990er Jahren sind zahlreiche wissenschaftliche Konzepte entstanden, die der Ordnungsbildungsfunktion von Computerprogrammen Rechnung tragen wollen und sie zu spezifizieren suchen. Dazu zählt etwa die Beobachtung des Rechtswissenschaftlers Lawrence Lessig, dass ein Computercode eine ähnlich einflussreiche (aber andersartige) Form der gesellschaftlichen Gestaltung ist wie Recht – zusammengefasst in der vielzitier- 2. 2.1 9 Medina 2014; Pickering 2011. 10 August 2018; Seibel 2016. Algorithmen und Politisierung 257 Leviathan, 48. Jg., Sonderband 35/2020 ten Formel »code is law«.11 In den letzten zehn Jahren wurde der Gedanke weiterentwickelt und hat Konzepte wie algorithmic governance,12 algorithmic regulation13 und algorithmic management14 hervorgebracht. Im Vergleich zu älteren Konzepten sind sie stärker sozialwissenschaftlich fundiert und gehen zudem auf die Besonderheiten von Computerprogrammen an der Schwelle und zu Beginn des 21. Jahrhunderts ein. Obwohl die Konzepte von algorithmischer Regulierung und Governance unterschiedliche Definitionen und Schwerpunkte haben, weisen sie Gemeinsamkeiten auf: Ihr Gegenstand sind die Prozesse und Strukturen sozialer Ordnungsbildung, die unter Verwendung computerbasierter Berechnungsverfahren entstehen.15 Sie betonen zudem bestimmte technische Aspekte der algorithmischen Wissensproduktion: Dazu zählt etwa die Strukturierung sozialer Wirklichkeit mithilfe mathematischer Modelle, denen häufig Wahrscheinlichkeitstheorien zugrunde liegen;16 ein Fokus auf Mustererkennung (zulasten theoretischer Fundierung);17 Risikoanalysen; Inferenzrechnungen sowie maschinelles Lernen.18 Zu den Besonderheiten algorithmischer Governance gehören neben den benannten epistemischen Praktiken auch bestimmte Weltbilder und Normen, die bestimmte Gestaltungsansprüche und Anwendungspraktiken befördern. So zeichnet sich algorithmische Governance häufig durch starke zukunftsorientierte Gestaltungsansprüche aus und beansprucht, vorbeugend (»präemptiv«) tätig zu werden.19 Weitere Erwartungen, die mit algorithmischer Governance verbunden werden, sind die höhere Objektivität, Neutralität und Validität algorithmischer Berechnungen gegenüber Berechnungen und Bewertungen, die durch Menschen durchgeführt werden.20 Wie im Folgenden dargelegt wird, sehen kritische Analysen Algorithmen entsprechend als Instrument, das Regieren technokratischer macht. Algorithmen und technokratisches Regieren Zahlreiche Autor*innen, die sich jüngst den Besonderheiten der Ordnungsbildung durch Algorithmen gewidmet haben, betonen, dass diese – entgegen anderslautender Versprechen – de facto einer technokratischen Regierungsweise Vorschub leistet und Depolitisierung fördert. Zwar galten das Internet und digitale Technologien in den 1990er und frühen 2000er Jahren als ermöglichende Faktoren für ge- 2.2 11 Lessig 1999. 12 Just, Latzer 2016; Katzenbach, Ulbricht 2019; König 2018. 13 Yeung 2018. 14 Lee et al. 2015. 15 Für einen Überblick über die drei Konzepte und ihre empirischen Forschungsgegenstände siehe Katzenbach, Ulbricht 2019 und Eyert, Irgmaier, Ulbricht 2020. 16 MacKenzie 2015. 17 Anderson 2008. 18 Kitchin 2013. 19 Anderson 2010. 20 boyd, Crawford 2012. 258 Lena Ulbricht sellschaftliche Inklusion und politische Partizipation.21 Doch obwohl diese Versprechen nicht verstummt sind, weisen Meta-Studien über das partizipatorische Potenzial von digitalen Technologien darauf hin, dass viele der entsprechenden Hoffnungen enttäuscht wurden.22 Kelty verurteilt das Versprechen der Partizipation durch digitale Technologien sogar als motiviert und zynisch,23 da es Machtasymmetrien verschleiere und Bürger*innen zudem responsibilisiere, indem sie über die Maßen für Prozesse verantwortlich gemacht würden, die außerhalb ihres Einflusses lägen.24 Im starken Kontrast zum Partizipations-Versprechen identifiziert Vincent August digitale Technologien vielmehr als zentralen Stützpfeiler technokratischen Regierens, der seit 40 Jahren dominanten Herrschaftsform.25 Digitale Technologien sind hier Elemente einer Form des kybernetisch inspirierten Regierens, das auf Expertise und Repräsentation bei geringer Responsivität setzt. Zahlreiche gesellschaftstheoretische Deutungen der Digitalisierung beschreiben die Ausprägungen der Verbindung zwischen Digitalisierung, technokratischer Herrschaft und Depolitisierung. Dazu zählen etwa die durch digitale Technologien beförderte Individualisierung, die Abnahme kollektiver und ideologischer Bindungen,26 die zunehmende Ansprache von Bürger*innen als Konsument*innen und die damit einhergehenden ökonomischen (und nicht politischen) Subjektivierungen.27 Die technokratische Prägung digital gestützter Herrschaft beruht zudem darauf, dass transnationale Technologieunternehmen immer weniger sozial eingebettet sind und politisch (noch) wenig kontrolliert werden. Angesichts ihrer häufig oligo- oder gar monopolistischen Marktmacht entstehen Kritiker*innen zufolge Herrschaftsräume bar jeder Volkssouveränität.28 Deren zunehmender gesellschaftlicher Einfluss wird jedoch durch vielfältige Formen der Opazität verschleiert. Die Intransparenz betrifft Unternehmensstrukturen, public-private partnerships, datenbezogene Praktiken und nicht zuletzt Algorithmen.29 Auch für die Autor*innen, die das Konzept der algorithmischen Governance beziehungsweise Regulierung geprägt haben, ist dessen Depolitisierungspotenzial ein zentrales Motiv: Evgeny Morozov analysiert das aus dem Silicon Valley inspirierte Politikverständnis, das gesellschaftlichen Konsens durch technisch erzeugte Objektivität und Validität herstellen will und politischen Konflikt zu vermeiden 21 Schrape 2019. 22 Boulianne 2015. 23 Wenn formal digitale Partizipationswege eröffnet werden, die faktisch aber kaum beschritten werden können, interpretieren herrschende Eliten dies als mangelnden Willen zur Partizipation beziehungsweise als Zustimmung zu den bestehenden gesellschaftlichen Strukturen. 24 Kelty 2017. 25 August 2018. 26 Reckwitz 2008. 27 Maxton-Lee 2020; Ulbricht 2020; Staab 2019. 28 Zuboff 2019. 29 Pasquale 2015; Ananny, Crawford 2017. Algorithmen und Politisierung 259 Leviathan, 48. Jg., Sonderband 35/2020 sucht. Regieren wird mit effektiver Problemlösung gleichgestellt – ein undemokratisches Politikverständnis, wie er kritisiert.30 Auch Pascal König charakterisiert algorithmische Governance als inhärent autonomiegefährdend und technokratisch.31 Zahlreiche Einzelstudien zu bestimmten Formen algorithmischer Ordnungsbildung stützen das Technokratie-Narrativ: Sie arbeiten heraus, dass algorithmische Verfahren zur Bewertung von Bürger*innen die jeweils geltenden Normen und Verfahrensregeln verschleiern,32 das Primat der Kosteneffizienz und Rationalisierung stärken33 und zudem politische Kommunikation Markt- und Marketingprinzipien unterordnen.34 Fleur Johns fasst pointiert zusammen, dass bei der Entwicklung algorithmischer Systeme die zentralen politischen Fragen bezüglich der Ziele und Nutznießer von Regulierung (Who gets what, when and how35) nur selten im Zentrum stehen und sich die Entwicklung vielmehr um die Optimierung von Zielfunktionen und die Validität dreht.36 Lena Ulbricht schließlich sieht algorithmische Verfahren, die durch politische Eliten zur Evidenzgewinnung über Bevölkerungen eingesetzt werden, als eine Praxis, die nicht nur technokratisches Regieren stützt und zu Depolitisierung beiträgt, sondern letztlich zahlreiche Trends füttert, die als Treiber der post-demokratischen Transformation gelten.37 Allerdings haben sich auch Widerstände gegen algorithmische Verfahren gezeigt38 und Algorithmen werden durchaus als Instrumente politischen Widerstands genutzt.39 Zudem haben sich in den letzten vier Jahren die interdisziplinären Forschungsfelder der critical algorithm studies sowie der FAccT-ML (fairness, accountability and transparency in machine learning) entwickelt, die die konkrete Gestaltung von Algorithmen problematisieren. Vor diesem Hintergrund gilt es zu analysieren, wie genau das Verhältnis zwischen (De-)Politisierung und Algorithmen charakterisiert werden kann, um pauschale Bewertungen von Algorithmen als Treiber der Depolitisierung abzulösen. Algorithmen und Politisierung Will man das Verhältnis zwischen Algorithmen und Politisierung verstehen, kann man Algorithmen erstens nicht holistisch betrachten, also als für sich stehende Artefakte. Man kann sie auch nicht als Werkzeug oder autonome Agenten verstehen: 3. 30 Morozov 2014. 31 König 2018. 32 Algorithm Watch und Bertelsmann Stiftung 2019. 33 Dencik et al. 2018. 34 Tactical Tech 2019. 35 Lasswell 1936. 36 Johns 2017. 37 Ulbricht 2020. 38 Milan 2018. 39 Karpf 2016. 260 Lena Ulbricht Maschinen sind nicht reines Werkzeug der Menschen und Menschen wiederum nicht Vollstrecker maschineller Entscheidungen. Entsprechende Lesarten führen zu pauschalisierten Urteilen von Algorithmen als Instrumenten der Depolitisierung (oder seltener: des Widerstands). Für eine differenzierte Analyse ist hingegen ein technikwissenschaftlicher Zugriff hilfreich, der Algorithmen in Anlehnung an Bruno Latour vielmehr als Elemente in komplexen sozio-technischen Systemen40 versteht, die sich aus menschlichen und maschinellen Agenten zusammensetzen und die zahlreiche Verschränkungen aufweisen. Aufbauend auf Arbeiten, die Algorithmen als Institutionen ansehen,41 und Arbeiten, die die Einbettung von Algorithmen in Organisationen und Verwaltungsprozesse unterstreichen,42 werden Algorithmen im Folgenden von mir als technische Formalisierung und Quantifizierung von Verfahrensregeln verstanden, aus denen sich gesellschaftliche Normen beziehungsweise Organisationsnormen ablesen lassen. Dieser Zugang lenkt den Blick auf die zahlreichen Komponenten algorithmischer Verfahren und Praktiken, etwa die Datenbasis, die Berechnungsverfahren, die Interpretation von Informationen, die Transparenz des gesamten Systems etc. Aus dieser Sicht lassen sich Kontroversen über Algorithmen als Politisierung gesellschaftlicher Normen verstehen, wie im Folgenden anhand von Fallstudien expliziert wird. Die Fälle wurden nicht mit Blick auf Repräsentativität ausgewählt, sondern vielmehr mit dem Ziel, wichtige Kontroversen im deutsch- und englischsprachigen Raum abzubilden. Leitend war hierbei der Anspruch, dass es sich um Fälle handelt, die eine gesamtgesellschaftliche Tragweite haben; was zum Ausschluss von Fällen führte, in denen in erster Linie individuelle Konsequenzen von Algorithmen thematisiert wurden. Darüber hinaus wurden Beispiele aus dem staatlichen wie aus dem privatwirtschaftlichen Herrschaftsbereich untersucht, die zudem unterschiedliche Herrschaftsfunktionen umfassen: Sanktion und Redistribution im staatlichen Bereich; Mitbestimmung und Marktteilnahme im privatwirtschaftlichen Bereich. Die Beispiele umfassen je eine kurze Charakterisierung des algorithmischen Verfahrens, dann eine Beschreibung der umstrittenen Ordnungsstrukturen – unter Berücksichtigung der gesellschaftlichen Normen, die anhand von Algorithmen problematisiert werden und mit Blick auf die Eigenschaften der jeweiligen algorithmischen Verfahren, die kritisiert werden. Schließlich werden in allen Fällen die geäu- ßerten politischen Forderungen beschrieben. Politisierung von Algorithmen im staatlichen Herrschaftsbereich Anhand des weiter unten beschriebenen COMPAS Scores lässt sich untersuchen, wie anhand von Algorithmen komplexe und sensible Entscheidungen über die Bewertung des gesellschaftlichen Risikos von Angeklagten und deren Sanktionierung de- und re-politisiert werden. Zentrale Normen, die hier verhandelt wurden, wa- 3.1 40 Latour 1990. 41 Orwat et al. 2010; Napoli 2014; Katzenbach 2017; Ulbricht et al. 2018. 42 Totaro, Ninno 2014; Caplan, boyd 2018. Algorithmen und Politisierung 261 Leviathan, 48. Jg., Sonderband 35/2020 ren rassistische Diskriminierung und Armut im Zusammenhang mit der Gleichheit vor dem Recht. Rechtsprechung (COMPAS) Ein Fall von algorithmischer Regulierung im staatlichen Herrschaftsbereich, zu dem bereits viel Forschung vorliegt, ist der Einsatz von Algorithmen in der Rechtsprechung, wie er in den USA üblich ist. Konkret werden in entsprechenden Verfahren individuelle Risiken der Strafrückfälligkeit von Angeklagten berechnet und in Risikoscores aggregiert, die Richter*innen bei der Urteilsfindung zur Verfügung stehen. Zwar gibt es unterschiedliche Befunde darüber, in welchem Ausmaß Richter*innen ihre Urteile auf Scores stützen, doch bedeutet der Score selbst bereits eine Kontingenzschließung der komplexen Bewertung des gesellschaftlichen Risikos, das von einer angeklagten Person ausgeht. Die konkreten Verfahren variieren je nach Bundesstaat und es gibt unterschiedliche Softwares. Zwei weit verbreitete sind etwa der LSI (level of service inventory) sowie der COMPAS Score. Letzterer gab im Jahr 2016 Anlass zu einer großen öffentlichen Kontroverse, nachdem Journalist*innen nach einer aufwändigen Analyse zum Ergebnis kamen, dass der Score rassistisch diskriminiert, indem er unterschiedliche Fehlerquoten für weiße und schwarze Angeklagte generiert, zu Ungunsten letzterer.43 Die entsprechende mediale und wissenschaftliche Kontroverse betraf zahlreiche Aspekte des algorithmischen Systems: Zum einen wurde zum ersten Mal in Mainstream-Medien ausführlich problematisiert, dass Algorithmen das Versprechen der Objektivität nicht einlösen können, solange sie auf Datensätzen operieren, die gesellschaftliche Ungleichheiten aufweisen und in denen Straffälligkeit nach race ungleich verteilt ist. Eine wichtige Erkenntnis über algorithmische Systeme, die öffentlich intensiv diskutiert wurde, war, dass es nicht ausreicht, offensichtlich diskriminierungsrelevante Informationen aus Datensätzen auszuschließen. Denn weitere Informationen, die auf den ersten Blick nicht diskriminierungsrelevant erscheinen, etwa der Wohnort, die berufliche Laufbahn oder eben die Strafgeschichte, können als Indikatoren (proxies) für sensible Informationen wie Geschlecht und ethnischer Hintergrund auftreten und zu diskriminierenden Ergebnissen führen.44 Dass vermeintlich neutrale Risikoscores die subjektiven und möglicherweise rassistisch diskriminierenden Einstellungen von Richter*innen korrigieren können, steht seitdem zur Disposition. In einem zweiten Schritt wurden jedoch noch weitere Aspekte der Verwendung algorithmischer Scores in der Rechtsprechung problematisiert, wie etwa die Ausweitung auf immer mehr Anwendungskontexte, etwa von der Wahl zwischen Sicherheitsverwahrung und Freilassung auf Kaution hin zu Entscheidungen über das Strafmaß oder die Höhe einer etwaigen Kaution. Dies wurde als Zweckentfremdung kritisiert, die nicht valide sei (function creep) und soziale Ungleichheiten zementiere, da arme Populationen weniger Möglichkeiten haben, Kautionsgebühren zu zahlen. Dieser Konflikt bezüglich der allgemeinen Aus- 43 Angwin et al. 2016; Larson et al. 2016. 44 Barocas, Nissenbaum 2014. 262 Lena Ulbricht weitung von Kautionszahlungen besteht nicht allein im Zusammenhang mit algorithmisch generierten Risikoscores, wurde anhand dieser jedoch neu ausgetragen. Darüber hinaus wurde infrage gestellt, dass Risikoscores wie intendiert tatsächlich die Inhaftierungsrate verringern, indem Richter*innen verstärkt Resozialisierungsmaßnahmen verhängen. Auch dieses Versprechen der algorithmischen Risikoberechnungen scheint sich bislang nicht zu erfüllen. Schließlich hat die Politisierung des COMPAS-Scores zu einer grundsätzlichen Auseinandersetzung mit der Frage geführt, welchen Rationalitäten die Rechtsprechung folgt und wie zwischen verschiedenen Zielen, etwa Sanktion und Resozialisierung oder individueller versus gruppenbezogener Fairness, abgewogen wird. So wurde etwa kritisiert, dass der Einsatz von Risikovorhersagesoftware den Blick von Richter*innen verstärkt auf die Zukunft richtet, weg vom vergangenen Verhalten von Angeklagten. Eine derart veränderte Schwerpunktsetzung führt in der Praxis zu einer Neubewertung des sozioökonomischen Status von Angeklagten: In einer retrospektiven Rechtsprechung war Armut etwa ein mildernder Faktor; durch eine prospektive Linse wird sie jedoch zum belastenden Faktor.45 Der Konflikt zwischen verschiedenen Fairness-Maßen legt wiederum offen, dass möglichst präzise individuelle Vorhersagen zu gruppenspezifischen Benachteiligungen führen können.46 Die Forderungen in der Kontroverse über Risikoscores in der Rechtsprechung beziehen sich in erster Linie darauf, Diskriminierung und soziale Benachteiligung zu erkennen und zu reduzieren, indem entweder die Algorithmen verändert werden oder indem sie für bestimmte Zwecke gar nicht eingesetzt werden. Sozialpolitik (AMS) Ein weiterer staatlicher Bereich, in dem Algorithmen häufig Einsatz finden, ist die Bewertung der Empfänger*innen von Sozialleistungen. Ziel ist meist, Leistungen effektiver, effizienter und/oder gerechter zuzuweisen sowie Betrug zu bekämpfen. Ein Beispiel, das im deutschsprachigen Raum eine heftige Kontroverse über Geschlechterdiskriminierung auf dem Arbeitsmarkt und die Ausrichtung des Solidarprinzips ausgelöst hat, war der sogenannte AMS-Algorithmus. Dieser bezeichnet die softwaregestützte Beurteilung der Arbeitsmarktchancen von Arbeitslosen durch den österreichischen Arbeitsmarktservice (AMS). Im Zentrum der Kontroversen stand zum einen die Frage, ob die Zuweisung von Sozialleistungen eher einer Logik der Kosteneffizienz folgen sollte, wie sie der AMS-Algorithmus verfolgt, oder vielmehr einer Logik der Bedürftigkeit unterworfen sein müsste.47 Dies lief in der Debatte auf die Frage hinaus, ob bei begrenzten Fördermitteln eher besonders arbeitsmarktnahe oder vielmehr arbeitsmarktferne Populationen gefördert werden sollen. Denn die Software teilt arbeitslose Personen in drei Gruppen ein, die sich nach den vorhergesagten Chancen der erneuten Arbeitsmarktintegra- 45 Skeem, Scurich, Monahan 2019. 46 Dwork et al. 2012. 47 Cech et al. 2019. Algorithmen und Politisierung 263 Leviathan, 48. Jg., Sonderband 35/2020 tion unterscheiden: hohe, mittlere und niedrige Chancen.48 Die mittlere Gruppe erhält ab 2020 die meisten Förder-Ressourcen. Das Argument des AMS ist, dass die Angehörigen der Gruppe mit hohen Integrationschancen eigenständig einen Job finden könnten und dass jene mit niedrigen Chancen kaum vermittelbar seien.49 Eine weitere Kontroverse betraf eine mögliche Benachteiligung von Frauen. In die Berechnung der Integrationswahrscheinlichkeit fließen die Merkmale Geschlecht, Altersgruppe, Staatengruppe, Ausbildung, gesundheitliche Beeinträchtigung, Betreuungspflichten und Berufsgruppe ein. Anders als im Fall des COM- PAS-Scores, in dem ethnische Merkmale nicht explizit im Datensatz enthalten sind, sondern vielmehr latent in Erscheinung treten, wird das Merkmal Geschlecht, das nach deutschem und österreichischem Antidiskriminierungsrecht relevant ist, explizit in die Berechnung aufgenommen. Da das weibliche Geschlecht zu einem schlechteren Integrationswert beiträgt, wurde der AMS-Algorithmus als diskriminierend kritisiert. Der AMS wehrte sich gegen diesen Vorwurf mit dem Verweis, nicht der Algorithmus sei sexistisch, sondern der Arbeitsmarkt.50 Da das Modell mit Daten über Arbeitsmarktintegration der vergangenen vier Jahre entwickelt wurde, spiegele es lediglich bestehende soziale Ungleichheiten wider, ohne diese jedoch normativ zu unterstützen. Kritiker*innen zufolge ist es aber nicht legitim, entsprechende Benachteiligungen durch Software zu zementieren51 und auch nicht zulässig, in der Sozialpolitik Einzelfallentscheidungen auf der Grundlage von statistischen Wahrscheinlichkeiten zu treffen.52 Selbst wenn es durchaus möglich ist, dass AMS-Mitarbeiter*innen in der Vergangenheit ähnliche Rationalitäten in der Entscheidungsfindung angewendet haben, sehen Kritiker*innen in ihrer algorithmischen Formalisierung eine andere Qualität und stellen infrage, dass Versicherungslogiken und die Priorisierung von Kosten-Nutzen-Rechnungen auf die Sozialpolitik übertragen werden. Eine Forderung, die wie im COMPAS- Fall auch mit Blick auf den AMS-Algorithmus mehrfach geäußert wurde, war, dass die Effekte des Algorithmus auf vulnerable Populationen besser erforscht und öffentlich gemacht werden müssten. Andernfalls seien verdeckte Formen der Diskriminierung möglich und Betroffene könnten sich nicht wehren. 48 In die H(och)-Gruppe werden arbeitslose Personen eingeteilt, die einen berechneten Integrationschancen-Wert (IC-Wert) von über 66% besitzen – dieser Wert gibt die Wahrscheinlichkeit aus einer kurzfristigen Perspektive an, nach der eine Person innerhalb der nächsten sieben Monate 90 Beschäftigungstage aufweisen kann. In die N-Gruppe (mit niedrigen Chancen) werden arbeitslose Personen eingeteilt, bei denen die Wahrscheinlichkeit aus einer langfristigen Perspektive weniger als 25% beträgt, 180 Beschäftigungstage (6 Monate) in 2 Jahren aufweisen zu können (Holl, Kernbeiß, Wagner-Pinter 2018). 49 Holl, Kernbeiß, Wagner-Pinter 2018. 50 Wimmer 2018. 51 Ebd. 52 Cech et al. 2019. 264 Lena Ulbricht Politisierung von Algorithmen im privatwirtschaftlichen Herrschaftsbereich Zwei privatwirtschaftliche Anwendungsbereiche von algorithmischer Regulierung, die in Deutschland, aber auch in anderen Ländern, für besonders große Kontroversen sorgen, sind die algorithmisch gestützte Steuerung von Mitarbeiter*innen und die algorithmisch gestützte Bonitätsprüfung von Konsument*innen. Beschäftigtenkontrolle (Zonar) Unternehmen nutzen zunehmend Software, um ihre Beschäftigten zu bewerten. Ein Beispiel ist der Modevertrieb Zalando, der das System »Zonar« einsetzt, um die Leistung seiner Mitarbeiter*innen zu bewerten und auf dieser Grundlage Entscheidungen über deren Karriereentwicklung und Entlohnung zu treffen. Dies hat zur De- und Re-Politisierung mit Blick auf betriebliche Mitbestimmung und Lohngerechtigkeit geführt. Ein zentrales Element der Software ist die Extraktion und Kombination horizontaler Bewertungsdaten (worker-coworker-ratings) und deren automatisierte Verarbeitung zu individuellen Scores als Basis für eine Dreiteilung der Belegschaft.53 Aus Sicht der Unternehmensleitung ist die Bewertung von Mitarbeiter*innen nun fairer als früher, da sie nicht mehr nur durch die unmittelbaren Vorgesetzten, sondern unter Einbeziehung von mehr Perspektiven, etwa von Kolleg*innen, Kund*innen und Führungskräften und auf Grundlage eines breiteren Sets an Indikatoren vorgenommen wird.54 Eben jene algorithmische Formalisierung der komplexen Bewertung von Mitarbeiter*innen gab in Deutschland jedoch den Anlass, die firmeninternen Bewertungsmechanismen von Zalando zu hinterfragen. Gewerkschaften kritisierten die Software als einseitig manipulierbar durch die Geschäftsleitung, als intransparent und als benachteiligend. Zonar sei so entworfen, »dass es die von Seiten des Managements gewünschten Ergebnisse produziert«,55 beispielsweise indem Kategorien strategisch gesetzt würden. Zonar sei zudem darauf angelegt, »eine spezifische Struktur sozialer Ungleichheit innerhalb der Belegschaft herzustellen, die (…) das Entgeltgefüge im Unternehmen strukturiert.«56 So werde die Anzahl der Top-Performer gering gehalten (max. 2-3%).57 Kritik gab es auch an der andauernden Überwachung, Kontrolle und gegenseitigen Bewertung am Arbeitsplatz und den damit einhergehenden negativen Folgen für das Betriebsklima. Kritisiert wurden auch die Objektivierung subjektiver Bewertungen sowie die Legitimierung großer Entgeltungleichheiten. Zonar ermögliche eine neue Qualität betrieblicher Herrschaft: »Analytisch formuliert, 3.2 53 Staab, Geschke 2019. Als Datengrundlage dienen »drei Formen hochfrequenter Echtzeitbewertungen«, »umfangreiche periodische Mitarbeiterbeurteilungen« sowie Daten aus der Produktion wie die »Anzahl an abgeschlossenen Tätigkeitsschritten wie die Bearbeitung oder Verarbeitung eines Produktes« (Staab, Geschke 2019, S. 32, 55). 54 Hagelüken, Kläsken 2019. 55 Staab, Geschke 2019, S. 29. 56 Ebd., S. 32. 57 Ebd. Algorithmen und Politisierung 265 Leviathan, 48. Jg., Sonderband 35/2020 wird Arbeitskontrolle in diesem Zusammenhang horizontalisiert und damit wesentlich umfassender, persönlicher, aber zugleich auch abstrakter, da die eigentliche vertikale Herrschaftsbeziehung in den Hintergrund tritt«.58 Neben einer Leistungsvermessung beinhalte Zonar eine Bewertung des gesamten Verhaltens und der ganzen Persönlichkeit.59 Die Gewerkschaft ver.di nutzte die Kontroverse, um darauf aufmerksam zu machen, dass sie in technologiezentrierten Unternehmen wie Zalando und Amazon Beschäftigtenrechte grundlegend gefährdet sehe: »Unternehmen wie Zalando und Amazon müssen endlich begreifen, dass Beschäftigte Rechte haben, die sie respektieren müssen. Dazu gehört das Recht auf einen Tarifvertrag und Tariflöhne, auf humane Arbeitsbedingungen und den Schutz von privaten, sensiblen Daten«.60 Entsprechend forderte ver.di die Beschäftigten von Zalando erneut auf, sich gewerkschaftlich zu organisieren.61 Eine weitere Forderung der Gewerkschaften und der Berliner Datenschutzaufsichtsbehörde war, die Software darauf zu überprüfen, ob sie datenschutzrechtkonform sei.62 Weitere allgemeine Vorschläge waren, entsprechende Software zur Bewertung von Mitarbeiter*innen firmenintern transparenter zu machen und demokratischer zu verankern, indem Datenschutzbeauftragte und Betriebsräte sowie die Belegschaft besser integriert werden – in die Entwicklung der Software, in die Entscheidung diese einzusetzen und in der täglichen Anwendungs- und Interpretationspraxis. Da Zonar in der Debatte auch als Platzhalter für ähnliche Software in anderen Unternehmen diskutiert wurde, gab es den Ruf nach neuen gesetzlichen Bestimmungen, die den Beschäftigtendatenschutz im Kontext von Bewertungsalgorithmen stärken und die Rolle von Betriebsräten im Datenschutz stützen sollen.63 Eine weitere Forderung war, Bewertungssysteme wie Zonar stärker kooperativ und unter Mitwirkung von Beschäftigten und Betriebsräten zu entwickeln, um ihre Akzeptanz zu erhöhen.64 Bonitätsprüfung (Schufa) Ein weiterer gesellschaftlicher Kontext, in dem Algorithmen seit vielen Jahren eine wichtige Rolle spielen, ist die Bewertung von Konsument*innen anhand sogenannter Bonitätsscores und den Implikationen für deren Zugang zu Märkten. Eines der großen Unternehmen, die Scores für den deutschen Markt verkaufen, ist die Schufa Holding AG. Sie verfügt eigenen Angaben zufolge über Informationen zu 66,3 Mio. deutschen Verbrauchern, die sie zu Bonitätsscores verarbeitet und an Firmenkunden verkauft, darunter insbesondere Banken, Kreditkartenunterneh- 58 Ebd., S. 27. 59 Staab, Geschke 2019, S. 16. 60 Ver.di 2019. 61 Ebd. 62 Koenigsdorff 2019. 63 Ebd. 64 Stucke 2019. 266 Lena Ulbricht men, Telekommunikationsanbieter, Versicherungen, Onlinehändler sowie Inkassobüros.65 Nach Unternehmensangaben stehen zur Berechnung von Bonitätsscores insgesamt 200 Einzelvariablen zur Verfügung; in individuelle Scores fließen jedoch nicht alle Variablen ein, sondern stets eine Teilmenge.66 Da der Zugang von Konsument*innen zu wichtigen Dienstleistungen und Produkten, wie etwa Krediten, Handyverträgen und Mietwohnungen, vom Schufa-Score abhängt, hat es immer wieder Versuche gegeben, die Rationalität der Schufa-Scores durch Rechtsklagen öffentlich zu machen. Das letzte Gerichtsverfahren, das die grundlegende Transparenz der Schufa-Scores verhandelte, endete 2014 mit dem Urteil, diese seien ein berechtigtes Geschäftsgeheimnis und die von der Schufa veröffentlichten Informationen über die Art der Daten, die sie verarbeitet, seien ausreichend.67 In den USA, in dem Bonitätsscores sogar über den Zugang zu Krankenversicherungen, Arbeitslosigkeitsversicherungen und Rentenversicherungen bestimmen, gibt es ebenfalls zunehmend Kritik an der mangelnden Transparenz und Kontrolle der Scores sowie die Vermutung, dass diese soziale Ungleichheiten verstärken.68 Und auch in Deutschland ist die Kritik am Schufa-Score nach dem Gerichtsurteil von 2014 nicht verstummt. 2018 lancierte der Verein AlgorithmWatch in Zusammenarbeit mit Spiegel Online die Initiative OpenSCHUFA. Ziel war es, die Rationalität des Scores zu analysieren und mögliche Diskriminierungen offenzulegen. Das Projekt beruhte auf Datenspenden durch Konsument*innen, die dem Projekt ihre Scores zur Verfügung stellten. Aufgrund einer wenig repräsentativen Datenbasis konnte das Projekt nur Befunde von sehr begrenzter Validität liefern. Eine Erkenntnis war, dass die Schufa für Einzelpersonen zum Teil nur auf wenige Informationen zugreifen kann, was als Anlass genommen wurde, die Validität der Scores infrage zu stellen. Schon länger gab es die Kritik mangelnder Validität wegen der Zweckentfremdung von Algorithmen und auch des Schufa-Scores (function creep): Ein Score, der die Wahrscheinlichkeit vorhersagt, eine Kreditrate fristgerecht zurückzuzahlen, könne nicht ohne weiteres umgedeutet werden als Wahrscheinlichkeit, Rechnungen oder Mieten zu bezahlen.69 Ein weiterer Befund der OpenSCHUFA-Initiative war, dass Alter und Geschlecht eine wichtige Rolle für den Score spielen könnten, doch gab es keine belastbaren Ergebnisse.70 Angesichts der mangelnden Validität der Befunde konzentrierte sich die öffentliche Debatte weniger auf materielle Benachteiligungen durch den Schufa-Score, sondern nahm vielmehr strukturelle Faktoren in den Blick. Die langjährige Kritik der mangelnden Transparenz der Schufa Holding gegenüber den betroffenen Konsument*in- 65 Schröder et al. 2014. 66 Ebd. 67 In den letzten Jahren hat es jedoch immer wieder Gerichtsverfahren darüber gegeben, welche Informationen die Schufa berücksichtigen darf und wann diese zu löschen sind. 68 Fourcade, Healy 2016; Brevoort, Grimm, Kambara 2015; Avery, Brevoort, Canner 2012. 69 Lischka, Klingel 2017. 70 OpenSCHUFA 2019. Algorithmen und Politisierung 267 Leviathan, 48. Jg., Sonderband 35/2020 nen wurde durch den Aspekt der mangelnden Rechenschaft ergänzt: So forderten AlgorithmWatch und Spiegel Online, dass die gesetzlich vorgesehene Aufsicht durch die unabhängige Datenschutzbeauftragte in Hessen effektiver gestaltet werden müsse. Darüber hinaus brachte sie den Vorschlag ein, eine unabhängige Behörde mit der Aufsicht der Scores und ihrer gesellschaftlichen Wirkung zu beauftragen. Diese könnte gesellschaftliche Ansprüche auf Fairness und soziale Kohäsion mit dem Schutz von Geschäftsgeheimnissen zusammenbringen. Anders als bisher sollten die Schufa und Unternehmen, die eine ähnlich große gesellschaftliche Bedeutung haben, regelmäßig und umfassend überprüft werden. Eine solche Prüfung müsse sowohl die »mathematische/statistische Korrektheit des Verfahren« als auch die »Datenhaltung und Datenkonsistenz«, die »sozialen Auswirkungen durch mögliche Diskriminierungseffekte« und schließlich die »effektiven Einspruchsmöglichkeiten Betroffener« umfassen.71 Der Sachverständigenrat für Verbraucherfragen schlug ebenfalls eine staatliche Digitalagentur vor, »(...) die unabhängig prüft, wie gut Algorithmen wirklich sind«.72 Zudem wurde eine Änderung des Datenschutzgesetzes gefordert: »Die Regelungslücke, dass die SCHUFA – und ähnliche Unternehmen – ihr Verfahren Betroffenen nicht erläutern muss, sollte geschlossen werden (...) Weil sie aufgrund des von ihrer errechneten Scores selbst keine Entscheidung trifft und/oder keine rein automatischen Entscheidungen aufgrund des Scores getroffen werden, muss das Scoring-Verfahren (Profiling) nicht erläutern werden. Dieser widersinnige Zustand muss behoben werden.«73 Eine ähnliche Forderung formulierte der Sachverständigenrat für Verbraucherfragen: »Scoring-Anbieter sollen den Verbrauchern die für sie wesentlichen Merkmale, auf deren Basis sie gescort werden, sowie möglichst auch deren Gewichtung auf verständliche und nachvollziehbare Weise offenlegen.«74 In allen Fallstudien zeigt sich ein Prozess in drei Schritten: Eine De-Politisierung sozialer Normen durch den Einsatz von Algorithmen (Depolitisierung durch Algorithmen), verstanden als die Schließung von Kontingenzräumen durch eine Formalisierung von Entscheidungen in Form von Algorithmen beziehungsweise Software. Konkret betraf dies Entscheidungen bezüglich der Risikobewertung von Angeklagten, der Chancenbewertung von arbeitslosen Personen, der Leistungsbewertung von Mitarbeiter*innen und der Bonität von Verbraucher*innen. In einem zweiten Schritt wurden sodann die Algorithmen selbst kritisiert, etwa mit Blick auf die verwendeten Daten (verzerrt oder nicht), die Berechnungsverfahren (geeignet oder nicht), den Output (valide oder nicht) und deren Interpretation als Entscheidungsgrundlage (legitim oder nicht); dies ist die Politisierung von Algorithmen. In einem dritten Schritt (und meist parallel zum zweiten) erfolgt dann eine Kritik der sozialen Normen, die den jeweiligen Algorithmen zugrunde liegen, also 71 OpenSCHUFA 2019. 72 Schnuck, Zierer 2018. 73 OpenSCHUFA 2019. 74 Schnuck, Zierer 2018. 268 Lena Ulbricht die (Re-)Politisierung durch Algorithmen. Entsprechende umstrittene Normen waren etwa Gleichheit vor dem Recht, Solidarprinzip, Mitbestimmung, Lohngerechtigkeit und verschiedene Dimensionen sozialer Ungleichheit. Kurz gefasst bedeutet dies also den Dreischritt De-Politisierung durch Algorithmen, Politisierung von Algorithmen, Re-Politisierung durch Algorithmen. Die daran anknüpfenden politischen Forderungen betrafen die Transparenz von Algorithmen, die Erforschung ihrer gesellschaftlichen Implikationen sowie Mitbestimmung und Aufsicht (Tabelle 1). Tabelle 1: Prozesse der De- und Re-Politisierung durch und von Algorithmen anhand der Fallbeispiele, eigene Darstellung De-Politisierung durch Algorithmen (depolitisierte Entscheidungen) Re-Politisierung durch Algorithmen (umstrittene soziale Normen) Politisierung von Algorithmen (Datenbasis, Berechung, Output) Forderungen COM- PAS Risikobewertung von Angeklagten Diskriminierung, Armut Verzerrter Datensatz Transparenz, gesellschaftliche Implikationen AMS Chancenbewertung von arbeitslosen Personen Geschlechterdiskriminierung auf dem Arbeitsmarkt, Solidarprinzip Verzerrter Datensatz Transparenz, gesellschaftliche Implikationen Zonar Leistungsbewertung von Mitarbeiter*innen Hierarchie, Mitbestimmung, Lohngerechtigkeit Validität Transparenz, Mitbestimmung, Aufsicht Schufa Bonität von Ver-braucher*innen soziale Ungleichheit Validität Transparenz, Aufsicht Besonderheiten der Politisierung von Algorithmen Um die Befunde aus den Fallstudien für die Politisierungstheorie fruchtbar zu machen, arbeitet dieses Kapitel unter Bezug auf Erkenntnisse aus den science and technology studies heraus, weshalb Algorithmen sich als Anlass der Politisierung gesellschaftlicher Normen und Strukturen anbieten. Die Ausweitung digitaler Verfahren auf immer mehr gesellschaftliche Bereiche bedeutet, dass sich die Kontexte, in denen Menschen mit den als angenehm oder irritierend empfundenen Funktionen von Algorithmen in Berührung kommen, etwa im Kontext von willkommenen oder kontraintuitiven Konsumempfehlungen, vervielfältigen.75 Die voranschreitende Digitalisierung allein kann das Politisierungspotenzial von Algorithmen allerdings kaum erklären, schließlich waren digitale Prozesse jahrzehntelang 4. 75 Festic 2020. Algorithmen und Politisierung 269 Leviathan, 48. Jg., Sonderband 35/2020 ähnlich unsichtbar und unwidersprochen wie andere Infrastrukturen.76 Somit kann man davon ausgehen, dass technische Eigenschaften von Algorithmen ein Grund für ihre Politisierung sind. Formalisierung, Quantifizierung und Objektivierung In den Fallstudien wurde deutlich, dass bestimmte Aspekte von Algorithmen in allen Konflikten eine Rolle spielten, nämlich deren inhärente Formalisierung, Quantifizierung und Objektivierung komplexer sozialer Phänomene und Normen. Algorithmen operieren auf Basis einer Vielzahl an Festlegungen bezüglich der Datenbasis, Datenaufbereitung, Berechnung und Interpretation – die wie oben beschrieben zu Kontroversen führen können.77 Algorithmen erfordern zahlreiche Operationalisierungen von Normen, Regeln, Zielen, Standards und Sub-Standards.78 Diese müssen wiederum alle in ein eindeutiges Verhältnis zueinander gesetzt werden, damit Berechnungen möglich sind. Entsprechend bedeuten Algorithmen nicht nur eine Formalisierung, sondern stets auch eine Quantifizierung des Sozialen.79 Quantifizierung wird hier verstanden als die Übersetzung sozialer Sachverhalte in Mathematik. Damit gehen Prozesse der Kommensurabilisierung, der Ordinalisierung80 sowie der Objektivierung politischer Gegenstände, demokratischer Prinzipien und Institutionen einher.81 Formalisierung und Quantifizierung sind zudem umgeben von einer Aura der Objektivität, der Neutralität und des Konsens und bieten für Depolitisierung somit einen furchtbaren Boden. Algorithmen kodifizieren soziale Sachverhalte, die eigentlich politisch gestaltbar sind, und perpetuieren diese. Dennoch können Formalisierung und Quantifizierung Politisierung herausfordern. Denn erst die Formalisierung gesellschaftlicher Normen macht diese für Kritik und Gestaltung zugänglich. Dies geschieht zum Beispiel dann, wenn die Entscheidungsprämissen von Maschinen problematisiert werden, wie es etwa für die Debatte verzerrter Datensätze typisch ist, oder wenn die Validität oder Legitimität der Berechnungsverfahren für einen bestimmten Anwendungszweck infrage gestellt wird. Beschränkte Nachvollziehbarkeit und Intelligibilität von Algorithmen Ein weiterer Aspekt von Algorithmen, der die Politisierung in den untersuchten Fällen begünstigt hat, sind zunehmende Zweifel an der Intelligibilität von maschinellen Verfahren. Prinzipiell wurde Maschinen bislang im Vergleich zu menschlichen Entscheidungen eine vergleichsweise große Nachvollziehbarkeit und Intelligibilität zugeschrieben; Maschinen galten als prinzipiell verstehbar und kohärent, 4.1 4.2 76 Hofmann 2020. 77 Dourish 2016. 78 Eyert, Irgmaier, Ulbricht 2020. 79 Mau 2017. 80 Fourcade, Healy 2017; Heintz 2010; Espeland, Stevens 2008. 81 Ulbricht 2020. 270 Lena Ulbricht da sie Entscheidungen konsequent nach programmierten Regeln treffen. Durch unsupervised machine learning gibt es nun Maschinen, die selbst die Regeln der Entscheidungsfindung festlegen und verändern – zum Teil in einer Weise, die weder durch Entwickler*innen noch durch die Maschine selbst rekonstruiert und erklärt werden können.82 Diese neuartige Opazität von Computern schürt das öffentliche Misstrauen gegenüber maschinell getroffenen Entscheidungen.83 Zwar wird die partielle Opazität von Algorithmen in der Informatik seit Langem thematisiert, doch in der öffentlichen Meinung hat das Thema erst in den letzten fünf Jahren eine erhebliche kritische Würdigung erhalten. So ist auch zu erklären, dass sich die österreichische Arbeitsmarktagentur vehement gegen Aussagen wehrte, der AMS-Algorithmus sei eine Form von Künstlicher Intelligenz und beruhe auf maschinellem Lernen. Sie betonte vielmehr, dass es sich um eine klassische logistische Regression handele84 – ein Versuch, dem System den Anschein der Komplexität und Unkontrollierbarkeit zu nehmen. Eine Folge des Misstrauens gegenüber Algorithmen und ihren möglichen gesellschaftlichen Risiken ist die in allen Fallbeispielen beobachtete Forderung, diese für die Öffentlichkeit, für Forschung und/oder eine unabhängige Kontrollbehörde einsehbar und analysierbar zu machen. Als Ausdruck des gesellschaftlichen Anspruchs, Algorithmen zu verstehen und zu hinterfragen, sind zahlreiche Praktiken entstanden, etwa Anfragen nach dem Informationsfreiheitsgesetz, blackbox testing und reverse engineering.85 Letztere waren früher exklusive Domänen der informationstechnischen Forschung und Entwicklung und sind mittlerweile auch von Aktivist*innen, Journalist*innen und kritischen Forscher*innen übernommen worden.86 Weitere Praktiken des Widerstandes gegen algorithmische Entscheidungen und Überwachung wie Subversion und der Gegenüberwachung (obfuscation, sous-veillance, counter-veillance) konnten im Rahmen der Fallbeispiele nicht beobachtet werden. Fazit Der Beitrag hat das Verhältnis zwischen Algorithmen und De- beziehungsweise (Re-)Politisierung untersucht. Anhand von Fällen, in denen Algorithmen in den vergangenen Jahren eine starke Politisierung erfahren haben, hat sich gezeigt, dass anhand von Auseinandersetzungen über Algorithmen sowohl die materielle Ordnung in Gesellschaften als auch die reflexive Ordnung infrage gestellt wurden. So gab die Formalisierung von Entscheidungsregeln und sozialen Normen in Algorithmen Anlass, wichtige Normen in der Rechtsprechung, der Allokation von So- 5. 82 Pasquale 2015. 83 Mckinlay 2017. 84 Wimmer 2018. 85 Dies sind Verfahren, die die Funktionsweise und Wirkung von Algorithmen zu rekonstruieren suchen. 86 Kitchin 2016. Algorithmen und Politisierung 271 Leviathan, 48. Jg., Sonderband 35/2020 zialleistungen, der Bewertung von Beschäftigten und von Konsument*innen zu hinterfragen. Umstrittene Bewertungs- und Entscheidungsrationalitäten waren etwa eine Ausrichtung an Risiken, das Primat der Kosteneffizienz, horizontale Bewertung in Unternehmen und die Ausbeutung vulnerabler Populationen. Politisierung durch Algorithmen knüpfte in den untersuchten Fällen also stets an größere gesellschaftliche Konflikte an, die jedoch im Vorfeld der Algorithmisierung sozialer Normen schwer greifbar und somit schwer politisierbar waren. Wie Richter*innen, Mitarbeiter*innen in Arbeitsämtern und Personalbeauftragte Bewertungen vornehmen und Entscheidungen treffen, ist durch Algorithmen formalisiert, ermittelbar und somit neu politisiert worden. Natürlich bleiben bei menschlichen Entscheidungsträger*innen auch jetzt noch Bereiche der Entscheidung, die nicht formalisiert wurden. Doch dieser Spielraum scheint durch den Einsatz von Algorithmen kleiner geworden zu sein. Den vier Fallbeispielen ließ sich ein Muster entnehmen: Auf eine De-Politisierung durch Algorithmen folgt eine Politisierung von und durch Algorithmen. Die im Politisierungsprozess geäußerten politischen Forderungen betreffen dabei sowohl die materielle soziale Ordnung, also die direkten gesellschaftlichen Effekte und Folgen von Algorithmen, als auch die reflexive soziale Ordnung, sprich die Meta-Ebene der Strukturen und Verfahren, in denen Algorithmen hergestellt, angewendet und überprüft werden. Diese Unterscheidung ist angelehnt an Unterscheidungen zwischen Regulierung als den konkreten Verfahren und Regeln der Koordination auf der einen Seite und Governance als (Meta-)Regeln der Regelsetzung auf der anderen Seite.87 Die Politisierung der materiellen Ordnung hinterfragt die Normen, die in Technik eingelassen sind, und kritisiert gesellschaftliche Risiken von algorithmischer Ordnungsbildung, wie etwa Diskriminierung und Manipulation. Die Politisierung der reflexiven Ordnung wiederum richtet sich auf die Strukturen und Prozesse der Herstellung von Ordnung durch Algorithmen, also die Entscheidungshoheit über die Gestaltung algorithmischer Systeme, die Zusammensetzung von Entwicklerteams sowie die Verfahren und Instanzen der Kontrolle und Aufsicht über algorithmische Systeme. Dieser Beitrag ergänzt das Narrativ, dass Algorithmen prinzipiell depolitisierend wirken, um die Erkenntnis, dass Algorithmen durchaus politisierend wirken können und über zahlreiche Eigenschaften verfügen, die sich sogar sehr für Politisierung anbieten. Dies ist für den öffentlichen Diskurs wichtig, da die Möglichkeiten der Gestaltung von Algorithmen und der Regulierung transnationaler Technologiekonzerne und staatlicher Behörden mit Blick auf algorithmische Verfahren erst in Anfängen ausbuchstabiert worden sind. Dabei zeigt der Blick auf die Politisierung von Algorithmen, dass in diesem Kontext nicht allein gesellschaftliche Ungleichheit und individuelle Rechtsverletzungen angeprangert werden, sondern auch die (Meta-)Strukturen der Wahrung individueller Rechte und gesellschaftlicher Normen verhandelt werden. Das Argument, gesellschaftliche und politische Mitgestaltung und Kontrolle seien aufgrund mangelnder Ideen außer Reichweite, 87 Hofmann, Katzenbach, Gollatz 2017; Straßheim 2009. 272 Lena Ulbricht erscheint vor diesem Hintergrund hochgradig motiviert. Es spielt jenen in die Hände, die für eine industrielle Selbstregulierung plädieren. Um nicht zur Mystifizierung und Essenzialisierung von Algorithmen beizutragen ist es jedoch wichtig, die beobachtete Politisierung von und durch Algorithmen in einem größeren gesellschaftlichen Kontext zu betrachten, in dem Politisierung nicht allein mit Blick auf Algorithmen stattfindet. So waren in den letzten Jahrzehnten trotz neoliberaler Hegemonie,88 dem technokratischen Zeitalter89 und postdemokratischer Tendenzen90 immer wieder Politisierungsschübe zu beobachten: Beispielsweise gibt es seit den 1990er Jahren Widerstand gegen die Ökonomisierung von immer mehr gesellschaftlichen Bereichen – ein Narrativ, das in allen hier beobachteten Beispielen zu finden ist. Darüber hinaus haben die letzten zehn Jahre eine Pluralisierung von Expertise und epistemischen Autoritäten mit sich gebracht,91 die der Infragestellung der Objektivität und Validität von epistemischen Verfahren wie Big Data und Algorithmen Vorschub leisten. Wenn etablierte epistemische Autoritäten infrage gestellt werden, geht dies mit langen und heftigen Konflikten einher. Es ist also zu erwarten, dass die Autorität von algorithmischen Entscheidungsverfahren sich gegen Widerstände etablieren muss und auch scheitern kann. So gibt es durchaus Fälle, in denen Entscheidungen eine Zeit lang algorithmisch getroffen und sodann wieder menschlichen Entscheider*innen übertragen wurden.92 Unwidersprochen scheint bislang noch die Autorität von quantifizierten Formen des Wissens zu sein: Dass soziale Prozesse in Zahlen übersetzt und berechnet werden können, ist meist unwidersprochen; Kontroversen entstehen allein um spezifische Daten und Berechnungsverfahren. Der Gegenpol zu formalisiertem, quantifiziertem Wissen (téchne) ist James Scott zufolge kontextbezogenes, lokales Wissen (metis).93 Vorsichtige Ansätze einer Kritik von Quantifizierung gibt es dort, wo die Bedeutung menschlicher Intuition und die Notwendigkeit von Einzelfallgerechtigkeit betont werden, etwa mit Blick auf die Entscheidungen von Richter*innen oder Ärzt*innen.94 Entsprechende Narrative haben sich in den Fallbeispielen ansatzweise gezeigt, standen aber nicht im Zentrum der jeweiligen Kontroverse. Neben der Politisierung neoliberal bedingter Ökonomisierungsprozesse gibt es zudem eine Politisierung staatlicher Kontrolle, Gewalt und digital gestützter Überwachungspraktiken, samt der damit einhergehenden Diskriminierung, Ausbeutung und Manipulation vulnerabler Populationen. Digitale Technologien und speziell Algorithmen werden hier als Element der Stabilisierung sozialer und politischer Ungleichheiten kritisiert. Auseinandersetzungen über die Datenbasis, Berechnungsverfahren und Transparenzregeln algo- 88 Mouffe 2000. 89 August 2018. 90 Crouch 2010; Blühdorn 2019. 91 Jasanoff 2007; Straßheim 2013. 92 Mckinlay 2017. 93 Scott 2008 (1998). 94 Binns 2020. Algorithmen und Politisierung 273 Leviathan, 48. Jg., Sonderband 35/2020 rithmischer Verfahren sind also nicht allein methodische Diskussionen, sondern neue soziale Konflikte von politischer Relevanz. Literatur AlgorithmWatch und Bertelsmann Stiftung 2019. Automating Society. Taking Stock of Automated Decision-Making in the EU, https://algorithmwatch.org/wp-content/uploads/2019/0 1/Automating_Society_Report_2019.pdf (Zugriff vom 27.04.2020). Ananny, Mike; Crawford, Kate 2017. »Seeing Without Knowing. Limitations of the Transparency Ideal and its Application to Algorithmic Accountability«, in New Media & Society 33, 4, S. 1-17. Anderson, Ben 2010. »Preemption, Precaution, Preparedness. Anticipatory Action and Future Geographies«, in Progress in Human Geography 34, 6, S. 777-798. Anderson, Chris 2008. »The End of Theory: The Data Deluge Makes the Scientific Method Obsolete«, in Wired, https: / /www.wired.com/2008/06/pb-theory/ (Zugriff vom 27.04.2020). Angwin, Julia; Larson, Jeff; Mattu, Surya; Kirchner, Lauren 2016. »Machine Bias«, in ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-senten cing (Zugriff vom 28.04.2020). August, Vincent 2018. Technologisches Regieren. Der Aufstieg des Netzwerk-Denkens in der Krise der Moderne. Foucault, Luhmann und die Kybernetik. Berlin: Unveröffentlichte Disserationsschrift. Avery, Robert B.; Brevoort, Kenneth P.; Canner, Glenn 2012. »Does Credit Scoring Produce a Disparate Impact?«, in Real Estate Economics 40, 3, S. 65-114. Barocas, Solon; Nissenbaum, Helen 2014. »Big Data’s End Run around Anonymity and Consent«, in Privacy, Big Data, and the Public Good, hrsg. v. Lane, Julia; Stodden, Victoria; Bender, Stefan; Nissenbaum, Helen, S. 44-75. New York: Cambridge University Press. Binns, Reuben 2020. »Human Judgement in Algorithmic Loops; Individual Justice and Automated Decision-Making«, in Regulation & Governance, in Review. Blühdorn, Ingolfur 2019. »The Legitimation Crisis of Democracy: Emancipatory Politics, the Environmental State and the Glass Ceiling to Socio-Ecological Transformation«, in Environmental Politics 20, 10, S. 1-20. Boulianne, Shelley 2015. »Social Media Use and Participation. A Meta-Analysis of Current Research«, in Information, Communication & Society 18, 5, S. 524-538. boyd, danah; Crawford, Kate 2012. »Critical Questions for Big Data«, in Information, Communication & Society 15, 5, S. 662-667. Brevoort, Kenneth P.; Grimm, Philipp; Kambara, Michelle 2015. Data Point: Credit Invisibles. https://files.consumerfinance.gov/f/201505_cfpb_data-point-credit-invisibles.pdf (Zugriff vom 27.04.2020). Caplan, Robyn; boyd, danah 2018. »Isomorphism through Algorithms: Institutional Dependencies in the Case of Facebook«, in Big Data & Society 5, 1, o. S. Cech, Florian; Fischer, Fabian; Human, Soheil; Lopez, Paola; Wagner, Ben 2019. »Dem AMS- Algorithmus fehlt der Beipackzettel«, in futurezone, https://futurezone.at/meinung/dem-am s-algorithmus-fehlt-der-beipackzettel/400636022 (Zugriff vom 27.04.2020). Crouch, Colin 2010. Post-democracy. Cambridge: Polity Press. Dencik, Lina; Hintz, Arne; Redden, Joanna; Warne, Harry 2018. Data Scores as Governance: Investigating Uses of Citizen Scoring in Public Services Project Report. Cardiff University. Dourish, Paul 2016. »Algorithms and their Others: Algorithmic Culture in Context«, in Big Data & Society 3, 2, o. S. Dwork, Cynthia; Hardt, Moritz; Pitassi, Toniann; Reingold, Omer; Zemel, Richard 2012. »Fairness through awareness«, in Proceedings of the 3rd Innovations in Theoretical Computer Science Conference, ACM, S. 214-226. Espeland, Wendy; Stevens, Mitchell 2008. »A Sociology of Quantification«, in European Journal of Sociology 49, 3, S. 401-436. Eyert, Florian; Irgmaier, Florian; Ulbricht, Lena 2020. »Extending the Framework of Algorithmic Regulation. The Uber case«, in Regulation & Governance, 14, im Erscheinen. 274 Lena Ulbricht Festic, Noemi 2020. »Same, Same, but Different! – Qualitative Evidence on How Algorithmic Selection Applications Govern Different Life Domains«, in Regulation & Governance 14, im Erscheinen. Fourcade, Marion; Healy, Kieran 2016. »Seeing Like a Market«, in Socio-Economic Review 15, 1, S. 9-29. Fourcade, Marion; Healy, Kieran 2017. »Categories All the Way Down«, in Historical Social Research 42, 1, S. 286-296. Hagelüken, Alexander; Kläsken, Michael 2019. »So überwacht Zalando seine Mitarbeiter«, in Süddeutsche Zeitung, https://www.sueddeutsche.de/wirtschaft/zalando-ueberwachung-zon ar-1.4688431 (Zugriff vom 27.04.2020). Haunss, Sebastian; Hofmann, Jeanette 2015. »Entstehung von Politikfeldern – Bedingungen einer Anomalie«, in der moderne staat – Zeitschrift für Public Policy, Recht und Management 8, 1, S. 29-49. Hay, Colin 2013. Why We Hate Politics. Cambridge: Polity. Heintz, Bettina 2010. »Numerische Differenz. Überlegungen zu einer Soziologie des (quantitativen) Vergleichs«, in Zeitschrift für Soziologie 39, 3, S. 162-181. Hofmann, Jeanette 2020. »Digitale Infrastrukturen«, in Handbuch Digitalisierung in Staat und Verwaltung, hrsg. v. Klenk, Tanja; Nullmeier, Frank; Wewer, Göttrik. Wiesbaden: VS, i.E. Hofmann, Jeanette; Katzenbach, Christian; Gollatz, Kirsten 2017. »Between Coordination and Regulation: Finding the Governance in Internet Governance«, in New Media & Society 19, 9, S. 1406-1423. Holl, Jürgen; Kernbeiß, Günter; Wagner-Pinter, Michael 2018. Das AMS-Arbeitsmarktchancen-Modell. Dokumentation zur Methode. Wien: Synthesisforschung. Jasanoff, Sheila 2007. Designs on Nature. Science and Democracy in Europe and the United States. Princeton, N.J, Woodstock: Princeton University Press. Johns, Fleur 2017. »Data Mining as Global Governance. UNSW Law Research Paper No. 2015-61«, in Oxford Handbook on the Law and Regulation of Technology, hrsg. v. Brownsword, Roger; Scotford, Eloise; Yeung, Karen. S. 776-798. Oxford: Oxford University Press. Just, Natascha; Latzer, Michael 2016. »Governance by Algorithms. Reality Construction by Algorithmic Selection on the Internet«, in Media, Culture & Society 39, 2, S. 238-258. Karpf, David 2016. Analytic Activism. New York: Oxford University Press. Katzenbach, Christian 2017. Die Regeln digitaler Kommunikation. Governance zwischen Norm, Diskurs und Technik. Wiesbaden: Springer VS. Katzenbach, Christian; Ulbricht, Lena 2019. »Algorithmic Governance«, in Internet Policy Review 8, 4, o. S. Kelty, Christopher M. 2017. »Too Much Democracy in All the Wrong Places. Toward a Grammar of Participation«, in Current Anthropology 58, S15, S. S77-S90. Kitchin, Rob 2013. »Big Data and Human Geography. Opportunities, Challenges and Risks«, in Dialogues in Human Geography 3, 3, S. 262-267. Kitchin, Rob 2016. »Thinking Critically About and Researching Algorithms«, in Information, Communication & Society 20, 1, S. 14-29. Koenigsdorff, Simon 2019. »Datenschützer: Zalando soll auf Zonar vorerst verzichten«, heise online, https://www.heise.de/newsticker/meldung/Datenschuetzer-Zalando-soll-auf-Zonarvorerst-verzichten-4597251.html (Zugriff vom 27.04.2020). König, Pascal D. 2018. »Algorithmen und die Verwaltung sozialer Komplexität: Zur Neukonfigurierung der Idee der Selbstregierung des Volkes«, in Zeitschrift für Politikwissenschaft 28, 3, S. 289-312. Larson, Jeff; Mattu, Surya; Kirchner, Lauren; Angwin, Julia 2016. »How We Analyzed the COMPAS Recidivism Algorithm«, in ProPublica, https://www.propublica.org/article/howwe-analyzed-the-compas-recidivism-algorithm (Zugriff vom 27.04.2020). Lasswell, H. D. 1936. Politics: Who Gets What, When, How. New York, London: Whittlesey House McGraw-Hill Book Co. Latour, Bruno 1990. »Technology is Society Made Durable«, in The Sociological Review 38, S. 103-131. Algorithmen und Politisierung 275 Leviathan, 48. Jg., Sonderband 35/2020 Lee, Min Kyung; Kusbit, Daniel; Metsky, Evan; Dabbish, Laura A. 2015. »Working with Machines: The Impact of Algorithmic and Data-Driven Management on Human Workers«, in Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, S. 1603-1612. Lessig, Lawrence 1999. Code and Other Laws of Cyberspace. New York: Basic Books. Lischka, Konrad; Klingel, Anita 2017. Wenn Maschinen Menschen bewerten. Internationale Fallbeispiele für Prozesse algorithmischer Entscheidungsfindung. Gütersloh: Bertelsmann Stiftung. MacKenzie, Adrian 2015. »The Production of Prediction: What does Machine Learning Want?«, in European Journal of Cultural Studies 18, 4-5, S. 429-445. Mau, Steffen 2017. Das metrische Wir. Über die Quantifizierung des Sozialen. Berlin: Suhrkamp Verlag. Maxton-Lee, Bernice 2020. »Activating Responsible Citizens: Depoliticized Environmentalism in Hegemonic Neoliberalism«, in Democratization, 27, 3, S. 443-460. Mckinlay, Steve T. 2017. »Evidence, Explanation and Predictive Data Modelling«, in Philosophy and Technology 30, S. 461-473. Medina, Eden 2014. Cybernetic Revolutionaries. Technology and Politics in Allende's Chile. Cambridge, Massachusetts, London, England: The MIT Press. Milan, Stefania 2018. »Political Agency, Digital Traces, and Bottom-Up Data Practices«, in International Journal of Communication 12, S. 507-527. Morozov, Evgeny 2014. »The Rise of Data and the Death of Politics«, in The Guardian, https:/ /www.theguardian.com/technology/2014/jul/20/rise-of-data-death-of-politics-evgeny-moro zov-algorithmic-regulation (Zugriff vom 27.04.2020). Mouffe, Chantal 2000. The Democratic Paradox. London: Verso. Napoli, Philip M. 2014. »Automated Media: An Institutional Theory Perspective on Algorithmic Media Production and Consumption«, in Communication Theory 24, 3, S. 340-360. OECD 2015. Data-Driven Innovation. Big Data for Growth and Well-Being. Paris: OECD Publishing. OpenSCHUFA 2019. https://openschufa.de/ (Zugriff vom 27.04.2020). O'Reilly, Tim 2013. »Open Data and Algorithmic Regulation«, in Beyond Transparency. Open Data and the Future of Civic Innovation, hrsg. v. Goldstein, Brett; Dyson, Lauren, S. 289-300. San Francisco: Code for America Press. Orwat, Carsten; Raabe, Oliver; Buchmann, Erik; Anandasivam, Arun; Freytag, Johan-Christoph; Helberger, Natali; Ishii, Kei; Lutterbeck, Bernd; Neumann, Dirk; Otter, Thomas; Pallas, Frank; Reussner, Ralf; Sester, Peter; Weber, Karsten; Werle, Raymund 2010. »Software als Institution und ihre Gestaltbarkeit«, in Informatik-Spektrum 33, 6, S. 626-633. Pasquale, Frank 2015. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, MA: Harvard University Press. Pickering, Andrew 2011. The Cybernetic Brain. Sketches of Another Future. Chicago, Bristol: University of Chicago Press. Reckwitz, Andreas 2008. »Medientransformation und Subjekttransformation«, in Unscharfe Grenzen, hrsg. v. Reckwitz, Andreas, S. 159-176. Bielefeld: transcript. Schintler, Laurie A.; Kulkarni, Rajendra 2014. »Big Data for Policy Analysis: The Good, The Bad, and The Ugly«, in Review of Policy Research 31, 4, S. 343-348. Schnuck, Oliver; Zierer, Maximilian 2018. »Erhöhtes Risiko«, in Bayerischer Rundfunk, https: //web.br.de/interaktiv/erhoehtes-risiko/ (Zugriff vom 27.04.2020). Schrape, Jan-Felix 2019. »The Promise of Technological Decentralization. A Brief Reconstruction«, in Society 56, 1, S. 31-37. Schröder, Michael; Lang, Gunnar; Lerbs, Oliver; Radev, Deyan 2014. »Ökonomische Bedeutung und Funktionsweise von Credit Scoring«, in Scoring im Fokus. Ökonomische Bedeutung und rechtliche Rahmenbedingungen im internationalen Vergleich, hrsg. v. Schröder, Michael; Taeger, Jürgen, S. 8-95. Oldenburg: BIS-Verlag. Scott, James C. 2008 [1998]. Seeing Like a State. How Certain Schemes to Improve the Human Condition Have Failed. New Haven: Yale University Press. Seibel, Benjamin 2016. Cybernetic Government: Informationstechnologie und Regierungsrationalität von 1943–1970. Wiesbaden: Springer VS. 276 Lena Ulbricht Selk, Veith 2011. »Die Politik der Entpolitisierung als Problem der Politikwissenschaft und der Demokratie«, in Zeitschrift für Politische Theorie 2, 2, S. 185-200. Skeem, Jennifer L.; Scurich, Nicholas; Monahan, John 2019. »Impact of Risk Assessment on Judges’ Fairness in Sentencing Relatively Poor Defendants«, in Public Law and Legal Theory Research Paper, 2. Staab, Philipp 2019. Digitaler Kapitalismus: Markt und Herrschaft in der Ökonomie der Unknappheit. Berlin: Suhrkamp. Staab, Philipp; Geschke, Sascha-Christopher 2019. Ratings als arbeitspolitisches Konfliktfeld - Das Beispiel Zalando, https://www.boeckler.de/pdf/p_study_hbs_429.pdf (Zugriff vom 27.04.2020). Straßheim, Holger 2009. »Governance als reflexive Koordination«, in Governance als Prozess. Koordinationsformen im Wandel, hrsg. v. Botzem, Sebastian; Hofmann, Jeanette; Quack, Sigrid; Folke Schuppert, Gunnar; Straßheim, Holger, S. 461-477. Baden-Baden: Nomos. Straßheim, Holger 2013. »Politische Expertise im Wandel. Zur diskursiven und institutionellen Einbettung epistemischer Autorität«, in Wissen und Expertise in Politik und Verwaltung, hrsg. v. Kropp, Sabine; Kuhlmann, Sabine, S. 65-86. Leverkusen: Verlag Barbara Budrich. Stucke, Julius 2019. »Zalando-Mitarbeiter klagen über »Klima der Angst«. Philipp Staab im Gespräch mit Julius Stucke«, in Deutschlandfunk Kultur, https://www.deutschlandfunkkul tur.de/bewertungssystem-zonar-zalando-mitarbeiter-klagen-ueber.2165.de.html?dram:artic le_id=463914 (Zugriff vom 27.04.2020). Tactical Tech 2019. Personal Data: Political Persuasion. Inside the Influence Industry. How it works, https://cdn.ttc.io/s/tacticaltech.org/Personal-Data-Political-Persuasion-How-it-work s.pdf (Zugriff vom 27.04.2020). Totaro, Paolo; Ninno, Domenico 2014. »The Concept of Algorithm as an Interpretative Key of Modern Rationality«, in Theory, Culture & Society 31, 4, S. 29-49. Ulbricht, Lena; Haunss, Sebastian; Hofmann, Jeanette; Klinger, Ute; Passoth, Jan-Hendrik; Pentzold, Christian; Schneider, Ingrid; Straßheim, Holger; Voß, Jan-Peter 2018. »Dimensionen von Big Data. Eine politikwissenschaftliche Systematisierung«, in Big Data und Gesellschaft, hrsg. v. Kolany-Raiser, Barbara; Heil, Reinhard; Orwat, Carsten; Hoeren, Thomas, S. 151-231. Wiesbaden: Springer VS. Ulbricht, Lena 2020. »Scraping the Demos. Digitalization, Web Scraping and the Democratic Project«, in Democratization, 27, 3, S. 426-442. ver.di 2019. »ver.di kritisiert System permanenter digitaler Leistungskontrollen bei Zalando«, https://www.verdi.de/presse/pressemitteilungen/++co++8777f162-0b79-11ea-a0a2-525400 940f89 (Zugriff vom 27.04.2020). Wimmer, Barbara 2018. »Wo Algorithmen bereits versagt haben«, in futurezone, https://future zone.at/netzpolitik/wo-algorithmen-bereits-versagt-haben/400150653 (Zugriff vom 27.04.2020). Yeung, Karen 2018. »Algorithmic Regulation: A Critical Interrogation«, in Regulation & Governance 12, 4, S. 505-523. Zuboff, Shoshana 2019. The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. New York: PublicAffairs. Algorithmen und Politisierung 277 Leviathan, 48. Jg., Sonderband 35/2020 Zusammenfassung: Der Beitrag legt offen, dass Algorithmen, anders als häufig angenommen, nicht prinzipiell depolitisierend sind, sondern auch Anstoß für Politisierungsprozesse geben. Auf der Grundlage von vier Fallbeispielen aus den Bereichen Rechtsprechung, Sozialpolitik, Beschäftigtenkontrolle und Bonitätsprüfung wird dargelegt, dass Algorithmen sowohl zur Politisierung der materiellen sowie der reflexiven gesellschaftlichen Ordnung genutzt werden. Stichworte: Score, Big Data, Rechtsprechung, Sozialpolitik, Beschäftigtenkontrolle, Bonitätsprüfung Algorithms and politicization Summary: This contribution argues that algorithms are not only depoliticizing, but can also serve as vehicles for politicization. Four examples from legal sanctioning, social policy, employee management and credit scoring point out that algorithms have created opportunities to politicize the material as well as the reflexive order of contemporary societies. Keywords: Score, big data, jurisprudence, social policy, employee management, credit scoring 278 Lena Ulbricht

Chapter Preview

References

Abstract

Contradictory trends of depoliticisation and (re-)politicisation seem to characterise current democratic society. Protest movements and populism polarise opinions on both the streets and social media, while anonymous algorithms or scientific expertise threaten to technocratise political decision-making. At the same time, these phenomena raise the question of democratic theoretical standards of evaluation. This special volume provides a conceptual framework for the analysis and interpretation of these processes and relates previously unconnected fields of research. Theoretical perspectives and empirical findings thus form a debate on the understanding as well as the manifestations and dynamics of politics in the 21st century. With contributions by Priska Daphi, Beth Gharrity Gardner, Anna Geis, Samuel Greef, Simon Hegelich, Eva Her-schinger, Fabienne Marco, David Meiering,Michael Neuber, Orestis Papakyriakopoulos, Friedbert W. Rüb, Linda Sauer, Andreas Schäfer, Wolfgang Schroeder, Hanna Schwander, Grit Straßenberger, Jennifer Ten Elsen, Lena Ulbricht and Claudia Wiesner.

Zusammenfassung

Widersprüchliche Tendenzen der Ent- und (Re-)Politisierung prägen die gegenwärtige demokratische Gesellschaft. Protestbewegungen und Populismus polarisieren auf der Straße und in sozialen Medien, während anonyme Algorithmen oder wissenschaftliche Expertise politisches Entscheiden zu technokratisieren drohen. Zugleich werfen diese Phänomene die Frage nach den demokratietheoretischen Beurteilungsmaßstäben auf. Der Sonderband liefert einen konzeptuellen Rahmen für die Analyse und Deutung dieser Prozesse und setzt bisher unverbundene Forschungsfelder in Beziehung. Theoretische Perspektiven und empirische Befunde verbinden sich so zu einer Debatte um das Verständnis sowie die Erscheinungsformen und Dynamiken von Politik im 21. Jahrhundert. Mit Beiträgen von Priska Daphi, Beth Gharrity Gardner, Anna Geis, Samuel Greef, Simon Hegelich, Eva Her-schinger, Fabienne Marco, David Meiering,Michael Neuber, Orestis Papakyriakopoulos, Friedbert W. Rüb, Linda Sauer, Andreas Schäfer, Wolfgang Schroeder, Hanna Schwander, Grit Straßenberger, Jennifer Ten Elsen, Lena Ulbricht und Claudia Wiesner.