Luís Greco, Richterliche Macht ohne richterliche Verantwortung: Warum es den Roboter-Richter nicht geben darf in:

RW Rechtswissenschaft, page 29 - 62

RW, Volume 11 (2020), Issue 1, ISSN: 1868-8098, ISSN online: 1868-8098, https://doi.org/10.5771/1868-8098-2020-1-29

Browse Volumes and Issues: RW Rechtswissenschaft

Bibliographic information
Richterliche Macht ohne richterliche Verantwortung: Warum es den Roboter-Richter nicht geben darf Luís Greco* Einführung .. . . . . . . . . . . . . . . . . . . . . . . . . . .A. 30 Können wir es tun? .. . . . . . . . . . . . . . . . . .B. 32 Vorbemerkungen .. . . . . . . . . . . . . . . .I. 32 Das Ziel: gute richterliche Entscheidungen .. . . . . . . . . . . . . . . . . . . . . . II. 32 Richterliche Entscheidungen .. . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. 32 Die Güte der Entscheidungen .. . . . . . . . . . . . . . . . . . . . . . . . . . . . 2. 32 Von vornherein unerreichbares Ziel? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III. 34 Schlechtes Ergebnis? . . . . . . . . .1. 35 Computer können nicht werten? .. . . . . . . . . . . . . . . . . . . . . . a) 35 Irrende, diskriminierende Computer? . . . . . . . . . . . . . . . . . . . b) 39 Schlechte Begründung .. . . . . . .2. 42 Algorithmen als black boxes (1.0): Begründungslose Entscheidungen .. . . . . . . . a) 42 Algorithmen als black boxes (2.0.): Rationalisierte bzw. unaufrichtige Entscheidungen .. . . . . . . . . . . . . . . . . . . . . . b) 44 Zwischenfazit . . . . . . . . . . . . . . . . . . . . .IV. 46 Sollen bzw. dürfen wir es tun? .. . . . . .C. 46 Positivrechtliche Hindernisse? . . .I. 46 Verfassungsrechtliche Hindernisse? . . . . . . . . . . . . . . . . . . . . . . . 1. 47 Unionsrechtliche Hindernisse? . . . . . . . . . . . . . . . . . . . . . . . . . . 2. 47 Vorpositive Hindernisse: Unvereinbarkeit mit der Natur des Rechts? . . . . . . . . . . . . . . . . . . . . . . . . . . . . II. 47 Rationalisten und Voluntaristen vor der Neuauflage des Subsumtionsautomaten? .. . . . . . . . . . . . . . . . . . . . . . . . . . . 1. 48 Das eigentliche Problem: Rechtsanwendung ohne Verantwortung .. . . . . . . . . . . . . . . . . . 2. 48 Das Argument: rechtliche Unmöglichkeit von Macht ohne Verantwortung .. . . . . . . a) 48 Einwände bzw. Präzisierungen .. . . . . . . . . . . . . . . . . . . . . . . . . . . b) 51 Die Suche nach dem Verantwortlichen .. . . . . . . . . . . . . . . . . . . aa) 51 Programmierer als Verantwortliche? . . . . . . . . . . . . . . . . . . . . (1) 51 Verbände als Verantwortliche? . . . . . . . . . . . . . . . . . . . . . . . . . . . (2) 52 Der Betroffene als Verantwortlicher? . . . . . . . . . . . . . . . . . . . (3) 53 Roboter als Verantwortliche? . . . . . . . . . . . . . . . . . . . . . . . . . . . (4) 55 Zwei philosophische Einwände .. . . . . . . . . . . . . . . . . . . . . . . bb) 59 Menschen ohne Verantwortung .. . . . . . . . . . . . . . . . . . . . . . . . . . (1) 59 Macht ohne persönlichindividuelle Verantwortung? .. . . . . . . . . . . . . . . . . . . . . . . . . (2) 59 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .D. 62 Neue technologische Durchbrüche im Bereich der künstlichen Intelligenz lassen in nicht allzu ferner Zukunft den Roboter-Richter erwarten. Der Beitrag legt dar, weshalb dieser Entwicklung widersprochen werden muss. „Computer können juristische Entscheidungen treffen und psychiatrische Urteile fällen. Sie können auf viel ausgesuchtere Weise Münzen werfen als das geduldigste * Prof. Dr. Luís Greco (LL.M.) ist Inhaber des Lehrstuhls für Strafrecht, Strafprozessrecht, ausländisches Strafrecht und Strafrechtstheorie an der Humboldt-Universität zu Berlin. RW – Heft 1 2020 29 RW 1/2020, DOI: 10.5771/1868-8098-2020-1-29 menschliche Wesen. Der Punkt ist, daß ihnen solche Aufgaben nicht übertragen werden sollten.“1 Einführung Künstliche Intelligenz (KI) ist vielleicht das Thema unserer Zeit.2 Meine Reflexionen möchten untersuchen, ob die rasanten Durchbrüche, die der künstlichen Intelligenz in den letzten Jahren sogar in abgeschiedenen Bereichen des Menschlichen gelungen sind – ich erwähne nur das Duell zwischen dem besten Go-Spieler aller Zeiten, Lee Sedol, und dem Programm AlphaGo, das mit einem Sieg der Maschine über den Menschen endete3 – auch die richterliche Tätigkeit erfassen können, und vor allem erfassen dürfen. Können und dürfen wir in Zukunft Roboter-Richter haben? Wie aus der Überschrift ersichtlich, wird meine Antwort hinsichtlich des Dürfens negativ ausfallen (u. C.). Bezüglich des Könnens sehe ich die Dinge nicht so negativ – leider (u. B.). Die zunehmende Digitalisierung bzw. (Denglisch?) Versmartung aller Bereiche des Lebens4 kann selbstverständlich nicht allein um das Recht einen Bogen machen. KI wird bereits in zahlreichen juristischen Bereichen eingesetzt;5 für deutsche Rechtswissenschaftler sind die algorithmischen Datenbanken Juris und BeckOnline inzwischen so etwas wie das täglich Brot. Der Roboter-Anwalt fängt an, sich zu etablie- A. 1 Weizenbaum, Die Macht der Computer und die Ohnmacht der Vernunft, 1978 (zit. nach der 9. Aufl. 1994), S. 299 f. Zu diesem für die hier entwickelten Thesen wegweisenden Denker, mit dem sich die gegenwärtige KI-Begeisterung unbedingt beschäftigen sollte, nur O. Peters, Kritiker der Digitalisierung, 2012, S. 16 ff., 27: „in der Riege aller Kritiker der Digitalisierung an erster Stelle“. 2 Den Begriff der künstlichen Intelligenz lasse ich im Folgenden undefiniert; die Bemühung stünde in keinem Verhältnis zum Ertrag (hierzu aber Misselhorn, Grundfragen der Maschinenethik, 3. Aufl. 2019, S. 17 ff.; i.S. einer knappen Arbeitsdefinition Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2. Aufl. 2018, S. 3: „Ein System heißt intelligent, wenn es selbständig und effizient Probleme lösen kann.“; s.a. Herberge, „Künstliche Intelligenz“ und Recht, NJW 2018, 2825 ff.). KI ist also, was wir im Alltag darunter verstehen. Zudem: „Würde man nun eher gar nichts mit einem Begriffe anfangen können, als bis man ihn definiert hätte, so würde es gar schlecht mit allem Philosophieren stehen.“ (Kant, Kritik der reinen Vernunft, 1780, A 731/B 759, Fn.). 3 Hierzu Tegmark, Life 3.0. Being Human in the Age of Artificial Intelligence, 2017, S. 86 ff.; Eberl, Smarte Maschinen, 2. Aufl. 2018, S. 109; Ramge, Mensch und Maschine. Wie Künstliche Intelligenz und Roboter unser Leben verändern, 2. Aufl. 2018, S. 40; Du Sautoy, The Creativity Code, London, 2019, S. 18 ff. 4 Brynjolfsson/McAfee, The Second Machine Age, New York, 2016; Tegmark (Fn. 3), S. 82 ff.; Eberl (Fn. 3); Dräger/Müller-Eiselt, Wir und die intelligenten Maschinen, 2019; s.a. den beeindruckenden Prolog in Domingos, The Master Algorithm, 2015, S. XI ff., in dem beschrieben wird, wie unser Alltag bereits von lernenden Maschinen geprägt wird. 5 Überblick: Enders, Einsatz künstlicher Intelligenz bei der juristischen Entscheidungsfindung, JA 2018, 721 (722 f.); Fries, Automatische Rechtspflege, RW 2018, 414 (418 ff.). Ein früher Versuch, auf dem die neuen Bemühungen anscheinend nicht aufbauen, war Haft/Lehmann (Hrsg.), Das LEX-Projekt. Entwicklung eines Expertensystems, 1989; über andere frühe Versuche berichtet Sousa Mendes, Representation of Legal Knowledge and Expert Systems in Law, in: Livro em Homenagem a Amilcar Sernadas, Lissabon, 2020, S. 23 ff.. 30 Luís Greco | Richterliche Macht ohne richterliche Verantwortung ren; das Stichwort heißt hier Legal Tech.6 Auch die Verwaltung digitalisiert sich;7 ein wichtiger Kristallisationspunkt ist der vollständig automatisierte Verwaltungsakt (§ 35a VwVfG).8 Die richterliche Entscheidung bleibt aber vorerst Menschen vorbehalten. Dies könnte sich aber rasch ändern; im Ausland finden sich Zeichen dafür, dass die Fortschritte der KI auch hiervor keinen Halt machen werden. So bestehen in Estland sehr konkrete Pläne, KI in der Rechtspflege einzusetzen: über Tickets für Falschparker, Unterhaltsklagen bis zu 400 € oder Zivilstreitigkeiten bis zu 7.000 € soll in Zukunft zunächst maschinell entschieden werden.9 In den USA kommt das Programm COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) bereits in vielen Bundesstaaten zur Anwendung, um die Rückfallprognose, die für zahlreiche Strafvollzugs- und Vollstreckungsentscheidungen relevant ist, zu beurteilen.10 Und in Deutschland bietet der Beck-Verlag „Familienrechtliche Berechnungen Online“ und „Erbrechtliche Berechnungen Online“, deren Resultate Berichten zufolge von Richtern eher ungeprüft übernommen werden.11 Sind diese Entwicklungen willkommen zu heißen, ist ihre Vertiefung zu fördern, bis zu dem Punkt, an dem der Computer alleine entscheidet und wir ohne biologisch-karbonbasierten Richter auskommen? 6 Hierzu allgemein Ramge (Fn. 3), S. 60 ff.; aus juristischer Perspektive Hartung/Bues/Halbleib (Hrsg.), Legal Tech, 2017; Breidenbach/Glatz (Hrsg.), Rechtshandbuch Legal Tech, 2018; J. Wagner, Legal Tech und Legal Robots, 2018. 7 Aktueller Überblick: Bull, Über die Pläne zur flächendeckenden Technisierung der öffentlichen Verwaltung, CR 2019, 477 (gegen eine Erweiterung auf Gerichtsverfahren, 483). 8 Eingeführt durch das „Gesetz zur Modernisierung des Besteuerungsverfahrens“ v. 18.7.2016 (BGBl. I S. 1679); dazu etwa Martini/Nink, Wenn Maschinen entscheiden. Persönlichkeitsschutz in vollautomatisierten Verwaltungsverfahren, NVwZ 2017, 681; Berger, Der automatisierte Verwaltungsakt NVwZ 2018, 1260. 9 S. nur Niiler, Can AI Be a Fair Judge in Court? Estonia Thinks So, in: https://www.wired.com/story/ can-ai-be-fair-judge-court-estonia-thinks-so/, v. 25.3.2019; und die Meldung „Estland: Roboter als Richter“, in: https://www.mdr.de/nachrichten/osteuropa/land-leute/estland-interview-ki-100.html, v. 26.4.2019; beide abgerufen am 23.7.2019. 10 Hierzu Dräger/Müller-Eiselt (Fn. 4), S. 18 f.; Gless/Wohlers, Subsumtionsautomat 2.0: Künstliche Intelligenz statt menschlicher Richter?, FS Kindhäuser, 2019, S. 147 ff. (154 f.); Höffler, Die Herausforderungen der globalisierten Kriminalität an die Kriminologie – am Beispiel Risikoprognosen, in: Dessecker/Harrendorf/Höffler (Hrsg.), Angewandte Kriminologie – justizbezogene Forschung, 2019, S. 51 ff. (58 ff.). Der Einsatz von COMPAS wurde vom Supreme Court of Wisconsin, State v. Loomis, 881 N.W.2d 749 (Wis. 2016), (Zusammenfassung in: Harvard Law Review 130 [2017], 1530 ff.) für nicht rechtsverletzend erklärt. S.a. Berk/Bleich, Statistical Procedures for Forecasting Criminal Behavior: A Comparative Assessment, in: Criminology & Public Policy 12/3 (2013), 513 ff. Ein Vorschlag i.S.v. KI-gestützten Strafzumessungsentscheidungen findet sich hierzulande bei Rostalski/Völkening, Smart Sentencing, KriPoZ 2019, 265 (271 ff.). 11 Dies behauptet Fries, RW 2018, 422. RW – Heft 1 2020 31 Können wir es tun? Vorbemerkungen Diese Fragestellung ist eher, aber eben nicht durchgehend, technischer Natur. Denn ihr erster Schritt ist die Klärung einer rein normativen Frage, nämlich der nach der Bestimmung des Ziels, das über den Einsatz der Technik erreicht werden soll (u. II.). Erst nach der Festlegung dieses Ziels kann über die denkbaren und realisierbaren Wege zu seiner Erreichung sinnvoll diskutiert werden. Weil die konkrete Gestaltung dieser Wege Aufgabe des Programmierers ist, kann ich als Jurist nur die Frage aufwerfen, ob dieses Ziel nicht aus irgendwelchen Gründen von vornherein unerreichbar ist – ähnlich wie man kein Ingenieur sein muss, um zu wissen, dass man es von Berlin nach Rio nicht mit dem Fahrrad schafft (u. III.). Dabei werden sich die hier entwickelten Überlegungen ausschließlich mit der sog. Rechtsfrage beschäftigen; man stelle sich am besten die Situation vor, in der Tatsachenfragen alle bereits vorab geklärt sind (vielleicht sind wir von einer dystopischen Zukunft, in der alles, was je gewesen ist, mit Gewissheit beweisbar ist, ohnehin nicht so weit entfernt). Das Ziel: gute richterliche Entscheidungen Die Zielvorgabe, bei der ich mit weitgehender Zustimmung rechne, ist, dass unsere Roboter-Richter gute richterliche Entscheidungen hervorbringen. Ich rechne mit dieser Zustimmung nicht zuletzt, weil dieses Ziel weitgehend inhaltsleer ist. Daher sind einige Präzisierungen angezeigt. Richterliche Entscheidungen Die Frage nach dem Roboter-Richter ergibt nur Sinn, wenn man das Ergebnis seiner Arbeitsabläufe noch als richterliche Entscheidung bezeichnen kann. Der in der Fragestellung vorausgesetzte Begriff muss also den Menschen ausklammern. Richterliche Entscheidung soll hier also als ein Akt verstanden werden, der, wenn er von einem Menschen vorgenommen worden wäre, unproblematisch als solche eingeordnet würde. Die Güte der Entscheidungen a) Größere Probleme ergeben sich, wenn man versucht die zweite Komponente meiner weitgehend leeren Umschreibung, also das wertende Prädikat gut, mit Inhalt zu versehen. Wieder ist die Ausgangsfrage zu den Roboter-Richtern die maßgebliche Referenz: wir können eine richterliche Entscheidung als gut bezeichnen, wenn wir ihr dieses Prädikat ebenfalls zuweisen würden, falls sie von einem Menschen getroffen worden wäre. b) Wann bezeichnen wir menschliche richterliche Entscheidungen als gut? Das ist eine große Frage, die, grob gesagt, eine anspruchsvolle und eine bescheidene Antwort zulässt. B. I. II. 1. 2. 32 Luís Greco | Richterliche Macht ohne richterliche Verantwortung aa) Die anspruchsvolle Antwort verknüpft die Güte der Entscheidung mit einer gehaltvollen Vorstellung über die Gerechtigkeit. Weil eine solche Bestimmung das Potential birgt, alles, was Menschen derzeit tun, für schlecht zu erklären, ist sie für das hiesige Anliegen wenig brauchbar. bb) Angemessener dürfte eine bescheidene Bestimmung sein, die in inhaltlicher Hinsicht minimalistisch ist und in erster Linie eine Struktur bietet, an der sich die weitere Reflexion orientieren kann. (1) Der minimale Inhalt erschließt sich zunächst ex negativo: die Güte von richterlichen Entscheidungen ist etwas, was nicht nur anhand quantitativer Maßstäbe bestimmt werden kann. Wir nennen Entscheidungen nicht schon deshalb gut, weil sie schnell getroffen oder kurzgefasst sind. Auch dann, wenn eine späte Entscheidung per se schlecht ist, bedeutet es noch lange nicht, dass Güte sich in Schnelligkeit erschöpft. Versucht man hingegen, die Zielvorgabe positiv zu umschreiben, könnte so etwas wie ein juristischer Turing-Test weiterhelfen. Der originale Test wurde von einem der Vorväter der künstlichen Intelligenz, dem englischen Mathematiker Alan Turing, als Antwort auf die Frage, ob Maschinen denken könnten, konzipiert.12 Er nannte seinen Test das Imitation Game. Daran sollten eine Maschine und ein Mensch als Testperson sowie ein weiterer Mensch als Vernehmender (Interrogator) teilnehmen, die sich miteinander in Textform unterhalten. Aufgabe des Vernehmenden ist, zu erkennen wer der Mensch und wer die Maschine ist. Eine Maschine, die den Vernehmenden täuschen kann, besteht den Test (und kann womöglich stolz darauf sein, dass – und weil – sie denkt). Wir könnten meinen, das Ziel unserer maschinellen richterlichen Entscheidungen wäre es, zunächst Entscheidungen zu fällen, die nicht mehr als maschinell erstellt zu erkennen wären;13 aber darüber hinaus Entscheidungen zu fällen, die als gute menschliche Entscheidungen zu qualifizieren wären, hätte ein Mensch sie getroffen. Mit diesem juristischen Turing-Test wird auch klar, dass sich unsere Fragestellung mit einer relativen bzw. komparativen Güte zufrieden gibt. Wir wollen nämlich wissen, ob der Roboter-Richter sein kann; es ergibt wenig Sinn, ihn aus Gründen für unmöglich zu erklären, denen menschliche Richter ebenso wenig entsprechen könnten. Das heißt natürlich nicht, dass unsere bescheidene Zielbestimmung als Deckelung verstanden werden sollte; es wäre durchaus zu wünschen, dass Maschinen sogar besser entschieden als Menschen, also dass sie sich langsam im Sinne 12 Turing, Computing Machinery and Intelligence, in: Mind Bd. LIX, Nr. 236 (1950), 433 ff.; s. zum Test auch Warwick, Artificial Intelligence. The Basics, London/New York, 2012, S. 76 ff.; Ramge (Fn. 3), S. 29 ff. 13 Vgl. auch Adrian, Der Richterautomat ist möglich, Rechtstheorie 48 (2017), 77 (80 f.). RW – Heft 1 2020 33 einer anspruchsvoll verstandenen Güte (o. aa]) entwickelten.14 Die Frage nach der ideellen Güte von richterlichen Entscheidungen kann aber zunächst bei Seite gelegt werden, damit wir uns allein der dringenderen Frage zuwenden können, nämlich ob die reelle Güte, die wir heute bereits erreicht haben, nicht verloren zu gehen droht. (2) Die Güte kann auch strukturiert, loziert, an unterschiedlichen Bezugspunkten „festgemacht“ werden: denn wir nennen Entscheidungen deshalb gut, weil das Ergebnis und weil die Begründung gut sind. Das erkennt man bereits an der in Deutschland verbreiteten Tätigkeit der wissenschaftlichen Urteilsanmerkungen: sie stimmen den besprochenen Entscheidungen vollumfänglich, oder (häufiger) nur im Ergebnis, oder (seltener) nur in der Begründung zu. Eine gute maschinell erstellte richterliche Entscheidung wäre also eine, die sowohl in ihrem Ergebnis als auch in ihrer Begründung als gute menschliche Entscheidung angesehen werden könnte, wenn sie nur von einem Menschen getroffen worden wäre. Von vornherein unerreichbares Ziel? Die zuletzt dargestellte Struktur, die zwei Dimensionen der Güte einer richterlichen Entscheidung differenziert – eine ergebnis- und eine begründungsbezogene – bietet für die nachfolgende kritische Reflexion eine Gliederung. Das Ziel könnte deshalb unerreichbar sein, weil Roboter-Richter keine guten Ergebnisse zu liefern vermögen (u. 1.) oder weil die von ihnen angebotenen Begründungen unseren Qualitätsanforderungen niemals entsprechen würden (u. 2.). Dass fehlerhafte Ergebnisse oder Begründungen in Einzelfällen nie völlig ausgeschlossen werden können, muss nicht schon per se gegen die Erreichbarkeit des Ziels sprechen. Denn es ist keine Forderung der Rationalität, erst dann im Sinne der Verwirklichung eines Ziels zu handeln, wenn dessen Erreichung in jedem Einzelfall gewiss ist.15 Zudem ist an die komparative Natur unserer Gütebeurteilung zu erinnern (o. B. II. 2. b] bb] [1]): auch bei menschlichen Richtern können Fehler in Einzelfällen niemals völlig ausgeschlossen werden, weshalb das Rechtssystem sog. Rechtsmittel vorsieht. Wann sich das verändert, ab welchem Punkt also fehlerhafte Einzelfallergebnisse die Erreichbarkeit des anvisierten Ziels von vornherein kompromittieren, lässt sich schwer genau sagen. Eine kritische Schwelle wird jedenfalls dort erreicht, wo die Fehler sogar technologiebedingt sind. Denn bei solchen Fehlern liegt zunächst die Vermutung nahe, sie wären von Menschen nicht begangen worden; auf Grundlage unseres komparativen Maßstabs besteht in dieser Konstellation ein Indiz dafür, III. 14 S.a. Wischmeyer, Regulierung intelligenter Systeme, AöR 143 (2018), 1 (45). 15 Greco, Lebendiges und Totes in Feuerbachs Straftheorie, 2009, S. 372 ff. 34 Luís Greco | Richterliche Macht ohne richterliche Verantwortung dass die richterlichen Entscheidungen durch die Automatisierung sogar verschlechtert wurden. Schlechtes Ergebnis? Wir können jetzt die Frage aufwerfen, ob das maßgebliche Ziel, gute richterliche Entscheidungen zu gewinnen, für den Roboter-Richter ebenso unerreichbar ist wie Rio für den berliner Radfahrer. Dies könnte zunächst der Fall sein, wenn die von Robotern erzielbaren Ergebnisse technologiebedingt fehlerhaft wären. In der einsetzenden Diskussion wurden just an dieser Stelle zwei Vorbehalte geltend gemacht. Computer können nicht werten? aa) Der erste Vorbehalt ist technischer Natur, weist aber zugleich über die Technik hinausgehende Elemente auf, die erst u. C. II. aufgegriffen werden sollen. An einem Beispiel: Im Recht geht es nicht allein darum, ob A das siebente Lebensjahr vollendet hat (§ 104 Nr. 1 BGB) bzw. noch nicht vierzehn Jahre alt ist (§ 19 StGB), sondern auch etwa darum, ob eine nicht vorübergehende krankhafte Störung der Geistestätigkeit (§ 104 Nr. 2 BGB) bzw. eine krankhafte seelische Störung (§ 20 StGB) vorliegt. Die zweite Problemgruppe erfordert mehr als Mathematik, Logik und Empirie. M.a.W.: Das Ergebnis vieler Rechtsfragen hänge von Wertungen ab, die der Computer nicht vornehmen könne.16 Rechtsanwendung erfolge nicht rein deduktivistisch-subsumtiv; man müsse sich „weicher Entscheidungsfaktoren“,17 der Intuition oder des Judizes bedienen, also impliziten Wissens18 bzw. des Unbewussten,19 womit Maschinen strukturell überfordert seien. Insbesondere für kulturelle Zusammenhänge, die etwa dazu führen, dass man je nachdem, wo man sich befindet, Rechtsstreitigkeiten völlig unterschiedlich austrägt,20 und vor dem atypischen Fall, der einen Anlass zur Rechtsfortbildung bietet, müsse der Computer scheitern.21 Man könnte zudem daran erinnern, dass auch der Gesetzgeber den vollständig automatisierten Verwaltungsakt nur dann gestattet, wenn kein Ermessen und kein Beurteilungsspielraum besteht (§ 35a VwVfG). 1. a) 16 Hoffmann-Riem, Verhaltenssteuerung durch Algorithmen, AöR 142 (2017), 1 (27 f.); P. Enders, JA 2018, 725; Hähnchen/Bommel, Digitalisierung und Rechtsanwendung, JZ 2018, 335 (338, 340); Gless/Wohlers, FS Kindhäuser, S. 156 ff. Einen ähnlichen Einwand entwickelt Kotsoglu, Subsumtionsautomat 2.0. Über die (Un-)Möglichkeit einer Algorithmisierung der Rechtserzeugung, JZ 2014, 451, gegen den von Raabe/Wacker/Oberle/Baumann/Funk, Recht ex machina, 2012, vorgelegten Versuch, die Rechtsanwendung zu formalisieren. 17 So Hoffmann-Riem, AöR 142 (2017), 30 (vorsichtig); Enders, JA 2018, 725. 18 Ohne Bezug auf das Recht Weizenbaum (Fn. 1), S. 104 f. 19 Weizenbaum (Fn. 1), S. 295. 20 Jetzt ausdrücklich zum unterschiedlichen Stil von japanischen und amerikanischen Richtern Weizenbaum (Fn. 1), S. 298 f.; ders., Computermacht und Gesellschaft, 2001, S. 11 f. 21 Fries, RW 2018, 425; Gless/Wohlers, FS Kindhäuser, S. 160 f. RW – Heft 1 2020 35 bb) Dieser Einwand überzeugt nicht. Er beruht zunächst auf einem technisch überholten Bild von Computern (u. [1]); wenn man dieses Bild korrigiert, wird auch klar, dass zugleich ein unangemessen idealisiertes Bild des Richters vorausgesetzt wird (u. [2]). (1) Computer sind längst mehr als bloße „Rechner“. War etwa der historische Sieg von DeepBlue über Gary Kasparov im Schach noch das Ergebnis der maschinellen brute force, also einer Maschine, die Tausende von Schachzügen auch in ihren jeweiligen Implikationen über äußerst lange Entscheidungsbäume (decision trees) in übermenschlicher Schnelligkeit vorausberechnen konnte,22 beruht AlphaGo23 auf einem völlig anderem Aufbauprinzip: dem deep learning mittels neuronaler Netzwerke.24 Die technischen Details dieser Programmarchitektur müssen uns nicht interessieren; die Idee dabei ist aber, dass sie quasi biologisch inspiriert gerade die Ergebnisse unseres intuitiven Denkens, unseres Denkens nach System 1 im Sinne Kahnemanns25 nachzubilden versucht. Insbesondere erfolgt das Lernverfahren Bottom-Up, und nicht mehr Top-Down, wie noch bei DeepBlue.26 AlphaGo lernte zu spielen dadurch, dass es unzählige Male gegen sich selbst spielte;27 dadurch entwickelte es Fähigkeiten, die man als Intuition, Judiz oder sogar als Kreativität bezeichnen kann, was sich etwa im berühmten Zug 37 des zweiten Spiels gegen Lee 22 Zu DeepBlue Nilsson, The Quest for Artificial Intelligence, Oxford, 2010, S. 481 ff.; Ramge (Fn. 3), S. 39; zu decision trees Nilsson, ebda., S. 402 ff.; Domingos (Fn. 4), S. 85 ff.; Alpaydin, Machine Learning, Cambridge, Massachussetts/London, 2016, S. 77 ff. Kelleher/Tierney, Data Science, Cambridge, Massachussetts/London, 2018, S. 136 ff. Zum Ganzen auch den Bericht von Kasparov selbst, Deep Thinking, London, 2017, v.a. S. 73 ff. 23 Vgl. den technischen Beitrag der Programmierer Silver u.a., Mastering the game of Go with deep neural networks and tree search, in: Nature Bd. 529 (2016), 484; zu AlphaGo auch Kelleher/Tierney (Fn. 22), S. 31 ff.; Tegmark (Fn. 3), S. 83 ff. AlphaGo war nur, wie immer in diesem Bereich, ein vorläufiger Höhepunkt; inzwischen haben dessen Entwickler AlphaGo Zero entwickelt, das ohne jegliches menschliches Vorwissen von sich aus Go und weitere Spiele lernen konnte, vgl. Silver u.a., Mastering the game of Go without human knowledge, in: Nature Bd. 550 (2017), 354; Silver u.a., Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm, ar- Xiv:1712.01815v1 [cs.AI] 5 Dec 2017; s.a. Kasparov (Fn. 22), S. 265 f. 24 Allgemein verständlich zum Ganzen Nilsson (Fn. 22), S. 408 ff.; Warwick (Fn. 12), S. 92 ff.; Alpaydin (Fn. 22), S. 86 ff.; Kelleher/Tierney (Fn. 22), S. 121 ff.; Eberl (Fn. 3), S. 99 ff.; Ramge (Fn. 3), S. 46 ff.; Sejnowski, The Deep Learning Evolution, Cambridge, Massachussetts/London, 2018; technisch Schmidhuber, Deep learning in neural networks: An Overview, in: Neural Networks 61 (2015), 85; Mainzer (Fn. 2), S. 99 ff. und Aggarwal, Neural Networks and Deep Learning: A Textbook, New York, 2018. Zum maschinellen Lernen im Allgemeinen Jordan/Mitchell, Machine Learning: Trends, Perspectives, and Prospects, in: Science Bd. 349, Heft 6245 (2015), 255; aus juristischer Perspektive Surden, Machine Learning and Law, Washington Law Review 89 (2014), 87 ff.; European Commission for the Efficiency of Justice (CEPEJ), European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment, Strasbourg, 2019, S. 35 ff.; sowie – seiner Zeit um Jahrzehnte voraus! – Philipps, Naheliegende Anwendungen neuronaler Netzte in der Rechtswissenschaft, Jur PC 11-12/1990, S. 820 ff. 25 Kahnemann, Thinking, Fast and Slow, London u.a., 2011, S. 20 und passim. 26 Du Sautoy (Fn. 3), S. 67 ff. 27 Ramge (Fn. 3), S. 49. 36 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Sedol manifestierte.28 Ein weiterer Beleg für die Fähigkeiten heutiger Computer ist, dass es schon erste durch KI erstellte Kunstwerke gibt.29 Es gibt keinen Grund, der bereits von vornherein ausschließt, einer Maschine das juristische Werten beizubringen, etwa dadurch – so im Verfahren des sog. supervised learning30 –, dass man sie in einer ersten sog. Trainingsrunde viele von Menschen gefällten Entscheidungen zur Verdauung anbietet („training set“), in einer zweiten Kontrollrunde anhand einer weiteren Gruppe von Entscheidungen prüft, ob die von der Maschine gewonnenen Ergebnisse denen der Menschen entsprechen („validation set“) – ob die Maschinen diese Entscheidungen, im Jargon, vorherzusehen (predict) wussten.31 Dann wird es darum gehen, den Algorithmus auf noch nicht entschiedene Fälle „anzusetzen“ und sein Verhalten zu beobachten. Auch Spamfilter32 oder Spracherkennungssoftware,33 die Erkennung von Kreditkartenmissbräuchen34 und von Bildern35 funktionieren häufig nach demselben Prinzip. Die später begangenen Fehler, die im Rechtsmittelwege von Menschen korrigiert würden, würden als Lernmaterial eingearbeitet, ähnlich wie unsere Spamfilter oder unsere Spracherkennungssoftware mit unserer Benutzung allmählich besser werden. Erste Versuche in dem Sinne, lernende juristische Algorithmen zu entwerfen, liegen bereits vor.36 Nicht einmal Rechtsfortbildung muss notwendigerweise jenseits dessen liegen, was ein Computer leisten kann. Der Einwand von Technologiekritikern, Computer 28 Tegmark (Fn. 3), S. 88 f.; Du Sautoy (Fn. 3), S. 34 f., 219 f. 29 Hierüber Volland, Die kreative Macht der Maschinen, 2018, S. 12 („The next Rembrandt“), S. 27 ff.; Du Sautoy (Fn. 3), S. 126 ff. („The Next Rembrandt“), 195 ff. („Emmy“ als KI-Komponist); bereits 1999 Kurzweil, The Age of Spiritual Machines, New York u.a., 1999, S. 158 ff., mit Beispielen für Musik, Gedichte und Gemälde. – Über die Frage, ob dies überhaupt Kunst sei, Weizenbaum (Fn. 20), S. 98 ff.; ders., in: Weizenbaum/Haefner, Sind Computer die besseren Menschen? Ein Streitgespräch, 1990, S. 86 f. 30 Jordan/Mitchell (Fn. 24), 257; Alpaydin (Fn. 22), S. 38 ff.; Kelleher/Tierney (Fn. 22), S. 99 ff.; Ramge (Fn. 3), S. 48 f. 31 Zum Begriff der Prediction Kelleher/Tierney (Fn. 22), S. 104 f.: „Prediction is the task of estimating the value of a target attribute for a given instance based on the values of other attributes (or input attributes) for that instance.“ s.a. Alpaydin (Fn. 22), S. 39. Es heißt also nicht nur, Entscheidungen im Sinne eines Legal Realism vorherzusehen (hierzu m. Nachw. Surden, Washington Law Review 89 [2014], 102, 108 ff.; Frese, Recht im zweiten Maschinenzeitalter, NJW 2015, 2090 [2092]; Bues, Artificial Intelligence im Recht, in: Hartung/Bues/Halbleib [Fn. 6], S. 275 ff. [280; Rn. 1183 f.]), sondern sie selber zu treffen. Zur Unterscheidung von training set und validation set Kelleher/Tierney (Fn. 22), S. 147; Domingos (Fn. 4), S. 75 ff.; Alpaydin (Fn. 22), S. 155. 32 Kelleher/Tierney (Fn. 22), S. 99, 104 f.; ausführliche, für Juristen geschriebene Explanation bei Surden, Washington Law Review 89 (2014), 90 ff.; s.a. Domingos (Fn. 4), S. 151 f. (der eine andere Architektur beschreibt, naive-bayes). 33 Alpaydin (Fn. 22), S. 67 f.; Kelleher/Tierney (Fn. 22), S. 33. 34 Jordan/Mitchell (Fn. 24), 255. 35 Eberl (Fn. 3), S. 103 ff. 36 Ich nenne nur Ashley, Artificial Intelligence and Legal Analytics, Cambridge, 2017, S. 234 ff., mit zahlreichen weiteren Nachw.; und CEPEJ (Fn. 24), S. 41 ff. RW – Heft 1 2020 37 könnten wahrhaft Neues nie erschaffen,37 wiegt allenfalls in der Kunst schwer, nicht aber im Recht. Keine gute Rechtsfortbildung verkörpert wahrhaft Neues; sie besteht so gut wie immer darin, aus Prämissen, die sonst in der Rechtsordnung bereits Anerkennung gefunden haben, Folgen für einen anderen Sachbereich abzuleiten.38 Wie alles im Bereich der KI, steckt der Teufel im Detail. Aus der Perspektive eines Außenseiters liegt vor allem die Frage nahe, ob die vorhandenen Datensätze groß genug sind, um ein Lernen zu ermöglichen.39 Auch dann, wenn es über 100 BGH- Entscheidungen zum bedingten Tötungsvorsatz gibt,40 sind das gegenüber den Milliarden von E-Mails, die Microsoft, Yahoo oder Google zum Trainieren von Spamfiltern zur Verfügung stellen, verschwindend kleine Zahlen. Es gibt aber Architekturprinzipien für Versuche, mit weniger Daten zu lernen; ich erwähne nur den auf dem Analogiegedanken beruhenden sog. nearest neighbor-Algorithmus, der vielen Empfehlungssystemen (wie wir sie aus Amazon und Netflix kennen) zugrunde liegt.41 Zudem lernen die Algorithmen, die berühmte Maler wie Rembrandt oder die Musik von Bach nachahmen, gerade nicht auf Grundlage einer nahezu unendlich großen Anzahl von Datensätzen.42 Auch die ersten Versuche, Maschinen moralisches Denken beizubringen, gehen von einem beschränkten Datensatz aus.43 Ein relativ erfolgreicher Versuch, Entscheidungen des EGMR vorherzusehen, basiert auf einem Datensatz von 584 Entscheidungen.44 (2) Damit wird zugleich ersichtlich, dass das in dem Einwand vorausgesetzte Bild des Richters unangemessen anspruchsvoll im o. II. 2. b) aa) genannten Sinne ist: denn nicht von allen menschlichen Richtern lässt sich sagen, dass sie immer richtig werten;45 vor allem erkennt man nicht ohne weiteres, weshalb Computer, die Wertungen, Intuitionen und Judiz erlernen können, den menschlichen Richtern notwendigerweise unterlegen sein müssen. 37 Weizenbaum (Fn. 29), S. 88; Welzer, Die smarte Diktatur, 2. Aufl., 2018, S. 142 ff. 38 Vgl. im Einzelnen – aus der älteren Lit. zur Methodenlehre – nur Larenz, Wegweiser zu richterlicher Rechtsschöpfung, FS Nikisch, 1958, S. 275 ff. (281 ff.); ders., Richterliche Rechtsfortbildung als methodisches Problem, NJW 1965, 1 (3); aus der heutigen Lit. nur T. Möllers, Juristische Methodenlehre, 2017, § 13 Rn. 1 ff. 39 Weitere Vorbehalte – insb. die Frage, wie das Lernen in Fällen von Meinungsverschiedenheiten zwischen Gerichten oder zwischen Rspr. und Lit. erfolgen soll – erhebt Enders, JA 2018, 725 f. 40 Ein Systematisierungsversuch findet sich bei Roxin/Greco, AT I, 5. Aufl. 2020, § 12 Rn. 88a ff. 41 Domingos (Fn. 4), S. 175, 177 ff., 184 f. 42 Du Sautoy (Fn. 3), S. 126 ff. (346 Bilder wurden im Projekt „The Next Rembrandt“ dem Computer als Training-Set zur Verfügung gestellt), 211 f. (389 Bach-Choralgesänge). 43 S. die von Misselhorn (Fn. 2), S. 114 ff. berichteten Bemühungen. 44 Aletras/Tsarapatsanis/Preotiuc-Pietro/Lampos, Predicting judicial decisions of the European Court of Human Rights, PeerJ Computer Science 2:e93 https://doi.org/10.7717/peerj-cs.93; dazu auch CE- PEJ (Fn. 24), S. 14 Fn. 7, S. 28 u.a. 45 Gless/Wohlers, FS Kindhäuser, S. 158. 38 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Irrende, diskriminierende Computer? aa) Der zweite Vorbehalt, der bereits allgemein gegen den Einsatz von Algorithmen in vielen Lebensbereichen angeführt wird – von der Kreditvergabe über die Zuweisung von Studienplätzen bis zu der Einladung für Vorstellungsgespräche bei Bewerbungen und nicht zuletzt auch gegen COMPAS – ist, dass Algorithmen irren (u. [1]); schlimmer: sie diskriminieren (u. [2]). (1) Die Irrtumsanfälligkeit von Algorithmen ist in der Literatur nahezu ein Allgemeinplatz;46 um von den Sicherheitsgefahren ganz zu schweigen. Algorithmen neigen zu einer Überinterpretation von Mustern47 – es könnte etwa in den Entscheidungen zum bedingten Tötungsvorsatz einen Zusammenhang geben zwischen den Initialen und einem bestimmten Entscheidungsergebnis, der dann aufgedeckt würde. Gravierender sind die feedback loops,48 die in vielen Lebensbereichen leicht entstehen können: Algorithmen würden dann als „selbsterfüllende Prophezeiungen“49 funktionieren, einen „toxic cycle“50 in Gang setzen. Dies geschieht, wenn die von Algorithmen gewonnenen Ergebnisse ihrerseits als Grundlage für künftige Ergebnisse verwendet werden. „They define their own reality and use it to justify their results. This type of model is self-perpetuating, highly destructive – and very common.“51 „Data, like victims of torture, tells its interrogator what it wants to hear.“52 (2) Schlimmer: Die Irrtümer würden nicht nach einem Zufallsprinzip verteilt, sondern systematisch zulasten der Schwächeren begangen. Algorithmen, so die Kritiker, wirken vielfach diskriminierend:53 „They tend to punish the poor“.54 Dies geschehe weniger deshalb, weil die Algorithmen das Wertesystem ihrer Schöpfer widerspiegeln, sondern wegen der ihnen zugrundeliegenden Mathematik. Denn auch dann, wenn sie zunächst gegenüber „sensiblen“ Merkmalen, wie denjenigen, die in b) 46 Fries, RW 2018, 425; Wischmeyer, AöR 143 (2018), 23 ff., der deshalb meint, KI dürfte „beim strafrechtlichen Schuldvorwurf“ bereits deshalb „aus prinzipiellen Gründen“ nicht zum Einsatz kommen (24; 35); ebenso CEPEJ (Fn. 24), S. 53 ff.; allgemein Pfitzenmaier, Leben auf Autopilot, 2016, S. 18 ff.; Dräger/Müller-Eiselt (Fn. 4), S. 40 ff.; Misselhorn (Fn. 2), S. 134 f. 47 Eberl (Fn. 3), S. 117 f. 48 O’Neil, Weapons of Math Destruction. How Big Data Inceases Inequality and Threatens Democracy, London, 2016, S. 27, 87, 133. 49 Kelleher/Tierney (Fn. 22), S. 192; Dräger/Müller-Eiselt (Fn. 4), S. 46 ff. 50 O’Neil (Fn. 48), S. 27. 51 O’Neil (Fn. 48), S. 7. 52 Foer, World without Mind. Why Google, Amazon, Facebook and Apple Threaten Our Future, London, 2017, S. 71. 53 Eindrucksvoll hierzu insb. O’Neil (Fn. 48), S. 3, 28 ff., die die Bezeichnung „weapons of math destruction“ vorschlägt; Eubanks, Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor, New York, 2018. S.a. Kelleher/Tierney (Fn. 22), S. 190 ff.; Ernst, JZ 2017, 1032 ff.; Wischmeyer, AöR 143 (2018), 26 ff., mit vielen Nachw. Fn. 102; Misselhorn (Fn. 2), S. 80; Orwat, Diskriminierungsrisiken durch Verwendung von Algorithmen, 2019; Webb, The Big Nine. How the Tech Giants & their Thinking Machines Could Warp Humanity, New York, 2019, S. 254 f. 54 O’Neil (Fn. 48), S. 8. RW – Heft 1 2020 39 Art. 3 III GG aufgelistet sind, blind sein mögen; die Verarbeitung einer Vielzahl von weiteren Daten, die mit diesen Faktoren korrelieren, führt dazu, dass die Merkmale sozusagen auferstehen und in den gewonnenen Ergebnissen, vor allem auf der Makroebene, erkennbar werden. So wird COMPAS vielfach für rassistisch erklärt:55 das Programm schreibe Dunkelhäutigen eine prinzipiell höhere Rückfallwahrscheinlichkeit zu. Das geschehe auch dann, wenn es die rassische Zugehörigkeit der Betroffenen nicht explizit berücksichtigt; denn diese korreliert mit Faktoren wie dem Wohnen in einem erhöht kriminell belasteten Stadtviertel, dem Fehlen einer festen Arbeitsstelle, dem Vorhandensein krimineller Bekanntschaften usw., die bei Dunkelhäutigen stärker ausgeprägt seien als bei sonstigen Bevölkerungsgruppen. bb) Die Vorbehalte sind ernst zu nehmen, m.E. aber nicht ausschlaggebend. (1) Das Irrtumsargument lässt sich bereits mit einer altertümlichen Weisheit, wenn nicht widerlegen, so doch weitgehend entkräften: Irren ist menschlich. Es kann deshalb keinen Grund bieten, auf Computer zu verzichten, sondern lediglich eine Mahnung, diese Möglichkeit ernst zu nehmen und ihr mit gehöriger Sorgfalt zu begegnen. Diese muss schon damit beginnen, dass die Datensätze, anhand derer das Programm trainiert wird, sorgfältig zusammengestellt werden;56 wie es unter Programmierern heißt, „Garbage in, garbage out“;57 die Ergebnisse der Algorithmen sind so gut wie die Daten, anhand derer sie trainiert wurden.58 Zudem müssen gegen die beschriebenen feedback loops Vorkehrungen getroffen werden. Die Idee einer bis zum obersten Gericht verlaufenden voll maschinellen Rechtspflege kommt deshalb bereits aus technischen Gründen nicht in Frage. Schon aus technischen Gründen muss ein „human oversight“59 in das System eingebaut werden, was prozessual insbesondere durch die Möglichkeit eines Einspruchs zum menschlichen Richter verwirklicht werden könnte.60 Bei der Gelegenheit ist aber vor einer Einstellung zu warnen, die in der Computerbranche anscheinend verbreitet ist und mit bemerkenswerter Nonchalance immer 55 Angwin/Larson/Mattu/Kirchner, Machine Bias, in: https://www.propublica.org/article/machine-biasrisk-assessments-in-criminal-sentencing, v. 23.5.2016 (abgerufen: 28.7.2019); hierüber berichten Martini, Algorithmen als Herausforderung für die Rechtsordnung,JZ 2017, 1017 (1018); Enders, JA 2018, 726; Dräger/Müller-Eiselt (Fn. 4), S. 44 ff., 148 ff.; Webb (Fn. 53), S. 114 ff.; Martínez Garay, La relación entre culpabilidad y peligrosidad, in: Maraver/Pozuelo (Hrsg.), La culpabilidad, Buenos Aires u.a., 2019, S. 115 ff. (172 ff.); s.a. CEPEJ (Fn. 24), S. 66 f. 56 Nach Kelleher/Tierney (Fn. 22), S. 65 verbringen Programmierer 79% ihrer Zeit mit der Vorbereitung ihrer Datensätze. 57 Kelleher/Tierney (Fn. 22), S. 47; Wischmeyer, AöR 143 (2018), 23. 58 Volland (Fn. 29), S. 70; Dräger/Müller-Eiselt (Fn. 4), S. 135 f. (Problem der „Spirale der schlechten Daten“). 59 Kelleher/Tierney (Fn. 22), S. 34. 60 Auf diese prozessuale Vorkehrung bestehen Gless/Wohlers, FS Kindhäuser, S. 164. In Estland soll sie auch verwirklicht werden, s. die Nachw. o. Fn. 9. 40 Luís Greco | Richterliche Macht ohne richterliche Verantwortung wieder sogar explizit zur Sprache kommt. Diese besteht darin, Fehler als unvermeidbar hinzunehmen, Hauptsache vorwärts. „Just like evolution, machine learning doesn’t get it right every time; in fact, errors are the rule, not the exception. But it’s OK, because we discard the misses and build on the hits, and the cumulative result is what matters“.61 Oder, dem früheren Motto von Facebook nach, „move fast and break things“,62 „fail fast and fail often“. Diese Einstellung, die Kritiker als „build it first, and ask for forgiveness later“63 beschreiben, wäre bei der Rechtspflege, wo das, was zerbrochen wird, die Lebensgestaltung von Bürgern sein kann, fatal. (2) Auch das Diskriminierungsargument ist überwindbar. Dafür muss man weder – mit einem rechtsliberalen bzw. libertären Optimisten – die diskriminierenden Wirkungen von Algorithmen in Frage stellen, ebensowenig – mit dem linksliberalen bzw. sozialdemokratischen Optimisten – der Verheißung das Wort sprechen, Algorithmen könnten so geschrieben oder korrigiert werden, dass die festgestellten Probleme überhaupt nicht mehr auftreten. Selbst wenn Algorithmen diskriminieren würden und selbst wenn sich dies nicht völlig vermeiden ließe – also selbst bei pessimistischer Einschätzung der Lage – sprächen zwei Gründe dagegen, dass man von ihrem Einsatz absieht. (a) Zunächst darf man nicht unerwähnt lassen, dass auch menschliche Richter vor derartigen Gefahren nicht gefeit sind; man könnte sogar fragen, ob sie ihnen nicht in einem noch stärkeren Maße ausgeliefert sind. Denn auch dann, wenn sich in den von der Maschine gewonnenen Ergebnissen ungute Muster widerspiegeln, kann immerhin mit Sicherheit ausgeschlossen werden, dass diese Ergebnisse bezweckt, dass sie also planmäßig herbeigeführt werden – was bei Menschen allenfalls gehofft werden kann. Deshalb ist nicht unverständlich, wenn die Hoffnung geäußert wird, „Robojudges could in principle ensure that, for the first time in history, everyone becomes truly equal under the law.“64 (b) Zudem trifft die angesprochene Technologiekritik ihre Zielscheibe, also die Technologie, nur indirekt; in erster Linie ist und bleibt sie Gesellschaftskritik. In einer ungerechten Gesellschaft werden Algorithmen die vorhandenen Ungerechtig- 61 Domingos (Fn. 4), S. 65. 62 Hierzu (krit.) Taplin, Move Fast and Break Things: How Facebook, Google and Amazon Have Cornered Culture and Undermined Democracy, New York, 2017, der das Motto Facebook-Begründer Mark Zuckerberg zuschreibt; Webb (Fn. 53), S. 53 f. (krit.; dort entnehme ich den folgenden wörtlich zitierten Satz). 63 Webb (Fn. 53), S. 54. Ähnl. Kritik bei Lanier, You Are Not a Gadget, London u.a., 2010, S. 51, der sich über den „lack of intellectual modesty in the computer science community“ beklagt: „An aeronautical engineer would never put a passenger in a plane based on an untested, speculative theory, but computer scientists commit analogous sins all the time.“. 64 Tegmark (Fn. 3), S. 105; s.a. Wallach/Allen, Moral Machines. Teaching Robots Right from Wrong, Oxford, 2009, S. 71; Misselhorn (Fn. 2), S. 89. RW – Heft 1 2020 41 keiten widerspiegeln; aber genauso wird es sich bei Universitäten und Krankenhäusern verhalten, ohne dass sich hieraus ein Imperativ ergäbe, sie abzuschaffen bzw. nicht erst einzuführen, weil sie vorrangig der privilegierten Bevölkerungsgruppe zugute kämen und vorhandene Ungerechtigkeiten sogar perpetuieren würden. Dass Symptome auf Ursachen zurückzuwirken und sogar zu stärken vermögen, macht die Sachlage etwas schlimmer, ändert aber nichts daran, dass von einer bloßen Symptombekämpfung keine wirkliche Heilung erwartet werden kann. Schlechte Begründung Entscheidungen könnten aber deshalb schlecht sein, weil ihre Begründung schlecht ist. Das Erfordernis einer guten Begründung ist keine Selbstverständlichkeit, sondern hängt mit einer bestimmten Vorstellung über das Wesen des Rechts zusammen, wozu wir u. C. II. zurückkehren werden. Denn es erschiene denkbar, Entscheidungen bereits als gut zu akzeptieren, weil sie vom Richtigen, vom Berufenen gefällt werden. Eine autoritätsorientierte Rechtsauffassung kann auf eine Begründung verzichten; sie interessiert sich nur für das Wer, nicht für das Warum. Für eine rationalitätsorientierte Rechtsauffassung ist die Begründung für die Rechtlichkeit der Entscheidung hingegen konstitutiv; erst sie legt dar, weshalb die Entscheidung mehr ist als ein Ausdruck von Macht. Wir interessieren uns für Begründungen, wir unterscheiden Recht und Macht, Recht und Willkür, Richter und Orakel, weshalb ich der Ansicht bin, dass das rationalistische Konzept unseren Vorstellungen über das Wesen des Rechts besser entspricht.65 Bereits aus formell-struktureller, d.h. von jeglichem Inhalt abstrahierender Perspektive lassen sich zwei Anforderungen an die Güte einer Begründung aufstellen: sie muss erstens per se nachvollziehbar sein; zweitens muss sie gerade im Verhältnis zum Ergebnis nachvollziehbar sein. Denn wir nennen eine Entscheidung nicht allein dann schlecht begründet, wenn in ihrer Begründung Fehler jeglicher Art vorkommen, wenn sie also etwa Widersprüche, Unklarheiten, Fehlschlüsse u.a. aufweist. Auch dann, wenn sich die Begründung nachvollziehbar liest, kann es sein, dass sie das Ergebnis nicht zu tragen vermag, dass dieses buchstäblich in der Luft hängt. Jeweils mit diesen Aspekten der Güte einer Begründung haben die zwei nachfolgend zu untersuchenden Einwände zu tun. Algorithmen als black boxes (1.0): Begründungslose Entscheidungen Bereits die erste Qualitätsanforderung an eine Begründung, dass sie für sich genommen nachvollziehbar ist, erscheint nach heutigem Stand der Technik schwer erreichbar. Gerade unsere leistungsstärksten Algorithmen, die auf der o. 1. a) bb) (1) beschriebenen Architektur neuronaler Netzwerke aufbauen, bringen häufig Ergebnisse hervor, ohne darüber Auskunft geben zu können, wieso und warum sie 2. a) 65 Greco, Strafprozesstheorie und materielle Rechtskraft, 2015, S. 44 f. 42 Luís Greco | Richterliche Macht ohne richterliche Verantwortung dies schaffen. Sie stellen insofern undurchsichtige black boxes dar.66 Ähnlich wie der Schachspieler oder der Boxer, der über sein System 1 einfach spürt, wie er sich zu bewegen hat, ohne seinem Gefühl später in Wortform Ausdruck verleihen zu können, ähnlich wie sogar Kleinkinder bereits wissen, ob ein Tier ein Hund oder eine Katze ist, obwohl der Zwergspitz an sich einer Perserkatze ähnlicher sieht als einem Windhund, scheinen Algorithmen zu funktionieren. Sie wissen es einfach. Hierin liegt in der Tat ein großes Problem, dessen Lösung jeder Versuch, den Roboter-Richter einzuführen, vorausgehen muss. Denn insofern Algorithmen als black boxes funktionieren, verweigern sie dem Betroffenen die Begründung für das Ergebnis, das ihn benachteiligt. Im Klartext heißt es, man verweigert ihm also gerade das, was die Rechtlichkeit des ihn betreffenden Ergebnisses ausmacht, was es von einem Machtspruch allein unterscheiden könnte. Denn es reicht nicht aus, dem Betroffenen mitzuteilen, sein Antrag werde deshalb zurückgewiesen, weil das System, das an Daten hinreichend trainiert wurde, sich so und nicht anders entschieden habe.67 Die bereits vielfach erhobenen Forderungen algorithmischer Transparenz68 bzw. einer explainable AI69 erhalten im rechtlichen Kontext eine besondere, von der Sache „Recht“ selbst vorgegebene Bedeutung. Dennoch erscheint mir das Problem lösbar. Man müsste transparente Algorithmen schreiben; wobei Transparenz hier lediglich heißt, dass man ihnen die Fähigkeit beibringen müsste, nicht erst das Richtige zu treffen, sondern auch die richtigen Gründe dafür anzugeben.70 Ich sehe nicht, weshalb es einem Computer von vornherein unmöglich sein sollte, eine Begründung zu formulieren, zumal juristische 66 Aus juristischer Perspektive Hoffmann-Riem, AöR 142 (2017), 29 f.; Enders, JA 2018, 726; Martini, JZ 2017, 1018; allgemein Pasquale, The Black Box Society. The Secret Algorithms That Control Money and Information, Cambridge, Massachusetts/London, 2015; O’Neil (Fn. 48), S. 8 f. („dictates from the algorithmic gods“), 29; Misselhorn (Fn. 2), S. 80; Webb (Fn. 53), S. 111; insb. zu Bots und Nachrichten-Software Kurz/Rieger, Autonomie und Handlungsfähigkeit in der digitalen Welt, in: Augstein (Hrsg.), Reclaim Autonomy. Selbstermächtigung in der digitalen Weltordnung, 2017, S. 85 ff. (91 f.); technisch Mainzer (Fn. 2), S. 245 ff. 67 Tegmark (Fn. 3), S. 106 f. 68 Aus juristischer Perspektive Martini, JZ 2017, 1020 ff.; Wischmeyer, AöR 2018, 22 (der an die Informationspflichten nach Art. 13 II lit. f und Art. 14 Abs. 2 lit. g DSGVO und an den Auskunftsanspruch nach Art. 15 Abs. 1 lit. H DSGVO erinnert), 42 ff. (sehr differenziert); aus philosophischer Perspektive Bostrom/Yudkowsky, The Ethics of Artificial Intelligence, in: Frankish/Ramsey (Hrsg.), The Cambridge Handbook of Artificial Intelligence, Cambridge, 2014, S. 316 ff. (316 ff.); Nida-Rümelin/Weidenfeld, Digitaler Humanismus, 3. Aufl., 2018, S. 77 f.; aus der populärwissenschaftlichen Lit. O’Neil (Fn. 48), S. 214 und passim; Dräger/Müller-Eiselt (Fn. 4), S. 182 ff. (dort auch zu Pionierbemühungen in diesem Sinne, S. 13 ff.). 69 Vgl. die Strategie Künstliche Intelligenz der Bundesregierung, BT-Drs. 19/5880, S. 13, 16, 32, 39 f.; s.a. Husain, The Sentient Machine, New York u.a., 2017, S. 44 ff.; Wischmeyer, AöR 143 (2018), 61; Deeks, The Judicial Demand for Explainable Artificial Intelligence, Columbia Law Review 119 (2019), 1829; Gaede, Künstliche Intelligenz – Rechte und Strafen für Roboter?, 2019, S. 27; Strandburg, Rulemaking and Inscrutable Automated Decision Tools, Columbia Law Review 119 (2019), 1851. 70 Ebenso Wischmeyer, AöR 143 (2018), 54 ff. RW – Heft 1 2020 43 Texte häufig Textbausteine enthalten, und es von Computern geschriebene Romane bereits gibt.71 Algorithmen als black boxes (2.0.): Rationalisierte bzw. unaufrichtige Entscheidungen aa) Das Problem könnte woanders liegen, nicht in der Begründung, sondern im Verhältnis der Begründung zum Ergebnis. Auf den Punkt gebracht: selbst dann, wenn der Computer Gründe anzuführen vermag; wie können wir uns sicher sein, dass es sich hierbei um seine Gründe handelt? So kann man den Einwand von Gless und Wohlers verstehen, dass dem Computer, auch dann, wenn er eine Begründung (nach-)liefert, kein „Nachvollziehen einer derartigen Auskunft“ möglich sei.72 Das Verhältnis von Begründung und Ergebnis lässt sich genauer betrachtet in zweierlei Hinsicht verstehen, zum einem als logisches Verhältnis, in dem Sinne, dass sich das Ergebnis aus den Prämissen unter Beachtung der logischen Denkgesetze ergibt; zum anderen als psychologisches Verhältnis, nämlich als Verursachung des Entscheidungsergebnisses durch die in Motive verwandelten Prämissen. Die rechtstheoretisch rezipierte, auf die Wissenschaftstheorie zurückgehende Unterscheidung zwischen einem Begründungs- und einem Entdeckungszusammenhang beschreibt zum Teil auch diesen Unterschied.73 Wir müssen uns hier nicht vertiefen. Für unsere Zwecke reicht die Feststellung, dass die Entsprechung von logischer und psychologischer Beziehung das Ideal darstellt, in dem die Gründe für die Entscheidung auch die Motive zur Entscheidung bilden, in dem also der Richter sich nur von Erwägungen bewegen lässt, die er auch offen als solche angeben kann. Entscheidungen, bei denen sich diese Entsprechung findet, nennen wir nicht nur „gut“ – denn bei diesem Begriffsgebrauch handelt es sich um eine anspruchsvolle Vorstellung von Güte, s.o. II. 2. b) aa) – sondern besser aufrichtig. Entscheidungen, die aus Motiven gefällt werden, die nicht zu Gründen werden können oder sogar dürfen, werden – mit einer wohl der Tiefenpsychologie entlehnten Bezeichnung74 – als Rationalisierungen kritisiert. Das Phänomen wird sogar bereichsweise dogmatisch untersucht, vor allem im Recht der Untersuchungshaft, wo man die Begrifflichkeit der sog. apokryphen Haftgründe kreiert hat.75 b) 71 Zu diesen Volland (Fn. 29), S. 27 ff. 72 Gless/Wohlers, FS Kindhäuser, S. 159 ff. 73 Grdl. Reichenbach, On Probability and Induction, in: Philosophy of Science Bd. 5 Heft 1 (1938), 21 (36); zur gegenwärtigen Diskussion Schickore/Steinle (Hrsg.), Revisiting Discovery and Justification, Dordrecht, 2006; aus (straf-)rechtstheoretischer Perspektive Hassemer, Einführung in die Grundlagen des Strafrechts, 2. Aufl., 1990, S. 116 ff. (mit der Unterscheidung von „Herstellung“ und „Darstellung“ einer Entscheidung). 74 S. nur Elhardt, Tiefenpsychologie: Eine Einführung, 18. Aufl. 2016, S. 59 ff. 75 Statt aller Paeffgen, SK-StPO, 5. Aufl., 2016, § 112 Rn. 21c. 44 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Der Einwand beklagt sich also über eine weitere black box-artige Struktur: der Roboter-Richter vermag zwar Gründe anzugeben (anders als bei der black box 1.0.), aber man könne nie wissen, ob er sie wirklich zu seinen Motiven gemacht hat (deshalb black box 2.0.). bb) Auch dieses Problem darf nicht überbewertet werden, und dies aus zwei Erwägungen. (1) Erstens sind aufrichtige Begründung und Rationalisierung bereits beim menschlichen Richter kaum zu unterscheiden. 76 „Auch Menschen sind für andere Menschen – und für sich selbst – ‚black boxes‘.“77 Solange wir nicht in den Kopf des entscheidenden Einzelrichters hineinschauen können und das Beratungsgeheimnis des Richterkollegiums nicht relativieren wollen, ebenso lange wird die Aufdeckung von Rationalisierungen schwer bis unmöglich sein. Dies wird erst dann nicht mehr der Fall sein, wenn die Motive sogar auf die Weise über die Gründe die Oberhand gewinnen, dass sich in die Begründung Fehler einschleichen, deren Begehung den Verdacht verdeckter Motive erkennen lässt. Dann erscheint die Motivsuche auch nicht mehr erforderlich, da es den äußerlich erkennbaren Fehler bereits gibt. (2) Dies führt nahezu direkt zur nächsten Erwägung: Wenn überhaupt, dann wird die Unterscheidbarkeit von Begründung und Rationalisierung bei Computern aussichtsreicher sein als bei Menschen. Man müsste sich nur die Mühe machen, Programme zu entwerfen, die nicht nur Ergebnisse und Begründungen fertig auswerfen, sondern auch jeden Arbeitsschritt dokumentieren. Ob man sich hiergegen durch eine Berufung auf Geschäftsgeheimnisse sperren kann, muss an dieser Stelle nicht geklärt werden.78 Von der Frage abgesehen, ob sich der Staat überhaupt hierauf berufen dürfte, ließe sich hiergegen ein viel stärkeres Argument aufbauen als in sonstigen Zusammenhängen (etwa bei der SCHUFA):79 wer sich vornimmt, Algorithmen für rechtliche Entscheidungen zu schreiben, habe bereits mit diesem Anliegen auf das Geheimnis verzichtet, dessen Preisgabe erst den Unterschied zwischen Richterspruch und Orakelweisheit begründet. Man stellt nämlich keine Coca-Cola her,80 sondern Recht. Die eigentliche Frage wäre, ob die Forderung, Rechtsentscheidungen müssten nicht nur gut be- 76 Wischmeyer, AöR 143 (2018), 44 f., 54, in seiner Auseinandersetzung mit dem black box-Argument. 77 Wischmeyer, AöR 143 (2018), 54. 78 Vgl. BGHZ 200, 38 (Rn. 26 ff.) bzgl. der sog. Scoreformel der SCHUFA; krit. zum Geschäftsgeheimnis bei belastenden algorithmischen Entscheidungen Kurz/Rieger (Fn. 66), S. 92, 96 f.; O’Neil (Fn. 48), S. 29; Wischmeyer, AöR 143 (2018), 64 f., mit spezifisch die Strafjustiz betreffenden w. Nachw. in Fn. 260. 79 S. die vorherige Fn. 80 S.a. Bartlett, The People vs. Tech, London, 2018, S. 31, der die Geschäftsgeheimnisse als „modern equivalent of the recipe for Coca-Cola“ bezeichnet. RW – Heft 1 2020 45 gründet, sondern auch aufrichtig sein, eine rechtliche und nicht nur moralische Forderung verkörpert, was hier nicht geklärt werden kann. Zwischenfazit Gegen die Machbarkeit des Roboter-Richters sprechen keine unüberwindbaren Bedenken. Es sind keine Gründe ersichtlich, weshalb er nicht zum Zweck der Gewinnung guter richterlicher Entscheidungen eingesetzt werden könnte. Alle bisher gegen den Computer erhobenen Vorbehalte dürften entweder technisch überwindbar sein, oder lassen sich gleich oder sogar verstärkt gegenüber Menschen geltend machen. Sollen bzw. dürfen wir es tun? Damit kommen wir zur zentralen Frage, die nicht eine des Könnens, sondern eine des Sollens oder sogar des Dürfens ist.81 An dieser Stelle brauchen wir keinen Grund mehr, den Roboter-Richter einzuführen; dieser Grund wird sich aus der Tauglichkeit ergeben, das o. B. I. genannte Ziel zu verwirklichen, gute richterliche Entscheidungen herbeizuführen, was eine überwiegend technische Frage ist. Uns geht es jetzt um Gründe, etwas nicht zu tun, obwohl es gute richterliche Entscheidungen fördern würde; denn nicht alles, was zweckmäßig ist, ist auch erlaubt. Rechtliche Hindernisse könnten sich auf zwei Ebenen ergeben: auf einer positivrechtlichen (u. I.) und einer vorpositiven (u. II.). Positivrechtliche Hindernisse? In Deutschland dürfte der Roboter-Richter erst im Wege eines novellierenden Gesetzes eingeführt werden, nicht nur wegen des Vorhandenseins etlicher Vorschriften in den einschlägigen Gesetzen (ich erwähne nur § 9 Nr. 1 DRiZ),82 sondern auch wegen der Anforderungen der Wesentlichkeitstheorie.83 Ein solches Gesetz müsste mit höherrangigem Recht vereinbar sein, wogegen man sowohl aus verfassungs- (u. 1.) als auch aus europarechtlicher Perspektive (u. 2.) Zweifel anmelden könnte. IV. C. I. 81 Nachdrücklich gegen die Einstellung, „aus jedem Problem ein technisches zu machen“, Weizenbaum (Fn. 1), S. 239 (Zitat), 274 ff., 300. Ähnl. – bzgl. einer anderen Frage – Tegmark (Fn. 3), S. 159. Wohl auch Gless/Wohlers, FS Kindhäuser, S. 161. 82 „In das Richterverhältnis darf nur berufen werden, wer 1. Deutscher im Sinne des Artikels 116 des Grundgesetzes ist, 2. ….“; Deutscher ist, wer die deutsche Staatsangehörigkeit besitzt, Art. 116 I Var. 1 GG, § 1 StAG; dazu gehören nur natürliche Personen, s. BGH NJW 2018, 2742. Weitere Vorschriften werden von Enders, JA 2018, 723 genannt. 83 Zu dieser Lehre statt aller Grzeszick, in: Maunz/Dürig, Grundgesetz-Kommentar (Stand: Dez. 2007, Lfg. 51), Art. 20 Rn. 105 ff; Schulze Felitz, in: Dreier, Grundgesetz Kommentar Band II, 3. Aufl. 2015, Art. 20 Rn. 113 ff. 46 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Verfassungsrechtliche Hindernisse? Eine verfassungsrechtliche Hürde stellt Enders auf: gesetzlicher Richter i.S.v. Art. 101 I 2 GG könne nur eine natürliche Person sein.84 Man könnte auch an Art. 92 GG denken, der bestimmt, dass die rechtsprechende Gewalt „den Richtern“ anvertraut ist. So wie das Argument formuliert ist, verkörpert es wenig mehr als eine Behauptung85 bzw. eine zirkelhafte Hülse: der Roboter-Richter dürfe deshalb nicht sein, weil Richter i.S.d. GG nur Menschen seien; Gründe für diesen Sprachgebrauch, die über historisch-zeitbedingte Kontingenzen hinausgehen, gibt man dadurch aber nicht an. Dies wird wohl erst auf einer vorpositiven Ebene möglich sein, auf die wir uns sogleich (u. II.) begeben werden. Ich nehme vorweg, dass die dort zu gewinnenden Überlegungen den Rückweg in das positive Verfassungsrecht finden und den bisher nur behaupteten Verstoß gegen Art. 101 I 2 GG teilweise bestätigen werden. Unionsrechtliche Hindernisse? Einschlägig erscheint zudem das Verbot aus Art. 22 I DSGVO (s.a. Art. 11 RL 2016/680), das gelegentlich als „Grundregel des Datenschutzrechts“ angesehen wird:86 „Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“ Das Problem ist aber, dass dieses Recht in Absatz 2 sofort wieder ausgehöhlt wird: „Absatz 1 gilt nicht, wenn die Entscheidung … b) aufgrund von Rechtsvorschriften der Union oder der Mitgliedstaaten, denen der Verantwortliche unterliegt, zulässig ist und diese Rechtsvorschriften angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten oder c) …“ Eine Hürde gegen den mittels nationalen Rechtsvorschriften einzuführenden Roboter-Richter bestünde also nicht. Vorpositive Hindernisse: Unvereinbarkeit mit der Natur des Rechts? Das positive Recht lässt somit alle Spielräume noch offen. Das befreit aber nicht von der Aufgabe, darüber zu reflektieren, ob es rechtliche, aber der Positivität vorausgehende Überlegungen gibt, die an den bisher gewonnenen, durchaus KIfreundlichen Ergebnissen etwas zu verändern vermögen. 1. 2. II. 84 Enders, JA 2018, 723. Aus dem Grund möchte er nicht einmal Entscheidungen durch KI (ohne Übernahmeuatomatismus) vorbereiten lassen – im Erg. zu Recht, wie wir gleich sehen werden (2. b] aa][2]). 85 So ganz deutlich in Enders, JA 2018, 723, dessen ganze Begründung sich so liest: „Dabei steht fest, dass gesetzlicher Richter im Sinne dieser Norm eine natürliche Person ist.34“ In der anschließenden Fn. 34 werden nach den einleitenden Worten „So völlig selbstverständlich bei …“ zwei GG-Kommentare zitiert. 86 Bull, Sinn und Unsinn des Datenschutzes, 2015, S. 83, mit weiteren Nachw. zu Vorgängerformen dieser Regel. RW – Heft 1 2020 47 Rationalisten und Voluntaristen vor der Neuauflage des Subsumtionsautomaten? Das o. B. III. 1. a) zurückgewiesene Argument, Computer würden nicht werten können, lässt sich, wie bereits angedeutet, nicht allein als Hinweis auf technische Beschränkungen verstehen, sondern auch als These über das Wesen des Rechts: Bestimmte Kerneigenschaften dessen, was wir als Recht anerkennen, seien durch Maschinen nicht zu verwirklichen. Die Idee des Roboter-Richters sei eine Neuauflage des rationalistischen Traums des Richters als Subsumtionsautomat – ein Traum, aus dem man seit ca. zwei Jahrhunderten erwacht sei. In der Tat wird sich ein Rechtsrationalist als Anhänger der These, dass nicht in der Autorität einer Voluntas, sondern in der Überzeugungskraft der Ratio der Kern des Rechts zu erblicken sei – in deren Sinne auch ich mich o. B. III. 2. geoutet habe – vom Traum des Subsumtionsautomaten, wenn überhaupt, nur ungern verabschieden. Er wird deshalb dem Versprechen, den Traum mithilfe der neueren Technik zu verwirklichen, grundsätzlich aufgeschlossener gegenüber stehen, als jemand, der Recht zunächst als Ausdrucksform von Autorität oder Voluntas versteht. Dies wird vor allem dann der Fall sein, wenn die maschinell gewonnenen Entscheidungen nicht nur im o. B. II. 2. genannten Sinne so gut sind, wie die menschlichen, sondern wenn es nicht fernliegend erscheint, zu erwarten, dass diese Roboter-Urteile mit dem Fortschritt der Technik die menschlichen in Güte sogar übertreffen. Trotz der verschiedenen Ausgangspunkte müssen beide Auffassungen aber nicht zwingend woanders ankommen. Denn auch der Voluntarist, der vom Vorrang der Autorität und der Voluntas gegenüber der Ratio ausgeht, wird sich zwar erst in einem zweiten Schritt, aber am Ende durchaus seinem Gegner anschließen können – und sogar müssen. Der zweite Schritt erfolgt nämlich dann, wenn die Autorität, also derjenige, auf dessen Voluntas es ankommt, nachdem (oder auch ohne dass) er die Kritik am Subsumtionsautomaten gehört hat, sich doch für Roboter-Richter entscheidet. Spätestens hier muss sich der Voluntarist mit seinen Vorbehalten auf eine unbeachtliche, weil bloß politisch-unverbindliche Ebene zurückziehen und, nolens volens, akzeptieren dass der Roboter-Richter zum Recht gehört. Das eigentliche Problem: Rechtsanwendung ohne Verantwortung Das Argument: rechtliche Unmöglichkeit von Macht ohne Verantwortung Vielleicht war das gerade gewonnene Urteil, das keinen Widerspruch zwischen den Robotern als Richtern und der Idee des Rechts festzustellen vermochte, bedingt durch eine Dichotomisierung, an deren Verwendung ich mich gewöhnt habe, die aber das eigentliche Problem erst indirekt erfasst. Dieses scheint nämlich darin zu liegen, dass beim Einsatz von Robotern in der Rechtspflege eine andere, wahrscheinlich genauso grundlegende Dimension dessen negiert wird, was wir mit dem Recht verbinden: die Dimension der Verantwortung. 1. 2. a) 48 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Der Verantwortungsgedanke ist derart fundamental, dass er sogar über dem Gegensatz von Voluntas und Ratio87 zu schweben scheint. Für den Voluntaristen liegt das auf der Hand, denn etwas anderes hat er nicht; jede Autorität bürgt mit sich selbst für das, was sie will; sie kann sich nicht verstecken, ansonsten verliert die Entscheidung ihre Grundlage. Hingegen scheint der Rationalist sich auf den ersten Blick hinter den Gründen verstecken zu können. Selbst er kann sich aber nicht davor verschließen, dass die von ihm angeführten Gründe, trotz des in ihnen verkörperten Anspruchs universeller Geltung, zunächst einmal nur seine Gründe sind, für deren Güte er ebenfalls bürgen muss. Man könnte auch versuchen eine über diese Überlegungen hinausgehende Begründung für die fundamentale Rolle der Verantwortungsidee zu liefern, oder sie immerhin skizzieren. Dies ergibt sich bereits dann, wenn man Recht irgendwie als Gegensatz zu nackter Macht versteht; da es aber Macht immer geben wird, findet sich das Recht damit ab, unter der Bedingung, dass Macht immer mit Verantwortung verknüpft wird. Diese Verknüpfung durchläuft die Geschichte der Reflexion über das Verhältnis nicht nur von Staat und Bürger, sondern vor allem von Beamten und Bürgern. Der Staat versucht, sich über verschiedene Rechtfertigungsmuster von der großen Räuberbande abzuheben;88 an dieser Stelle sind weniger diese Rechtfertigungen erheblich, als der Umstand, dass nach einer Rechtfertigung überhaupt gefragt und vom Schuldner als geschuldet anerkannt wird. Der Beamte rechtfertigt seine Stellung durch die Idee des Amts als Officium, als Dienst, als Handeln für andere, das ihm sogar Pflichten auferlegt, die sich auf sein „gesamtes Verhalten“ beziehen (§ 60 I 3 BBG). Die Verknüpfung von Macht und Verantwortung scheint der Struktur der moralischen Wirklichkeit zu entsprechen, denn sie geht sogar über das Recht hinaus. Man erkennt dies am Theodizeeproblem, das nichts anders als die Frage ist, wieso aus der Allmacht nicht eine Allverantwortung folgen soll; und erklärt zugleich die in der christlichen Heilsgeschichte verkörperte Problemlösung, nämlich die Menschenwerdung Jesu: die Gemeinsamkeitserfahrung ist es erst, die eine Verantwortungsübernahme überhaupt glaubwürdig erscheinen lässt. An dieser Stelle liegt der entscheidende und nicht zu überwindende Einwand gegen den Roboter-Richter: anders als der menschliche Richter, steht er nicht hinter seinen Entscheidungen, weil es einen Er im eigentlichen Sinne nicht gibt. Er bürgt nicht für seine Entscheidungen, umso weniger für seine Gründe.89 Er kann dem 87 Zu diesem Gegensatz in der Geschichte des Rechtsdenkens (immer noch unübertroffen) Welzel, Naturrecht und materiale Gerechtigkeit, 4. Aufl. 1962. 88 Augustinus, Vom Gottesstaat [De civitate Dei], Buch IV, Kap. 4, DTV Ausgabe, übersetzt v. Thimme, 2007, S. 173 f. 89 S.a. Nida-Rümelin/Weidenfeld (Fn. 68), S. 83 ff.: Handeln nicht nach eigenen Gründen. RW – Heft 1 2020 49 Adressaten seiner Macht nicht in die Augen schauen,90 ihm nicht menschlich begegnen,91 ihn nicht verstehen, weil er nichts versteht,92 um so weniger Respekt entgegenbringen,93 sondern all dies allenfalls simulieren,94 weil die black box (3.0.?) nicht nur undurchschaubar, sondern leer ist.95 In den Diskussionen über die Frage, ob Maschinen denken oder verstehen können, ob ihnen ein Bewusstsein zukommt, zu denen wir auch noch zurückkehren werden (u. aa] [4]), kommt eher zu kurz, dass es nicht erst um diese Fähigkeiten, sondern um etwas Banaleres geht: nicht nur, dass Maschinen nichts wissen und nichts denken und nichts erleben, sondern insbesondere dass sie, anders als der Mensch, sich nicht als einmalig, vergänglich, verletzlich erleben.96 Ein Roboter-Richter steht dem Bürger deshalb immer als 90 Turkle, Alone Together. Why We Expect More from Technology and Less from Each Other, 3. Aufl., New York, 2017, S. 85 ff., zur fundamentalen, weil erst symmetriebegründenden Bedeutung des „gaze“. 91 Diese Umschreibung entnehme ich Weizenbaums Kritik des Vorschlags, den von ihm programmierten Chatbot Eliza als Psychotherapeutin einzusetzen ([Fn. 1], S. 18; ders., Wo sind sie, die Inseln der Vernunft im Cyberstrom?, 2006, S. 96). 92 Shanahan, The Technological Singularity, Cambridge, Massachussetts/London, 2015, S. 113 ff.; Nida-Rümelin/Weidenfeld (Fn. 68), S. 110; tendenziell auch eher Eidenmüller, The Rise of Robots and the Law of Humans, ZEuP 2017, 765 (775 ff.). Die Argumentation ähnelt dem Bekannten, auf Searle, Minds, Brains, and Programs, in: s. Behavioral and Brain Sciences Bd. 3 Heft 3 (1980), 417 (ich zitiere aus Haugeland [Hrsg.], Mind Design II, Cambridge, Massachusetts/London, 1997, S. 183 ff. [184 ff.]) zurückgehenden Gedankenexperiment des chinesischen Zimmers, das Nida-Rümelin/ Weidenfeld (Fn. 68), S. 115 ff. als Angelpunkt ihrer Argumentation verwenden; zur Diskussion dieses Arguments aus der unüberschaubaren Lit. Preston/Bishop (Hrsg.), Views into the Chinese Room: New Essays on Searle and Artificial Intelligence, Oxford, 2002; Carter, Minds and Computers. An Introduction to the Philosophy of Artificial Intelligence, Edinburgh, 2007, S. 175 ff. 93 Weizenbaum (Fn. 1), S. 350, 351: „Respekt, Verständnis und Liebe sind keine Probleme, die mit Technik zu tun haben“. 94 Weizenbaum (Fn. 20), S. 76: „Was wir mit Computern machen, sind fast alles Simulationen, Modelle“; Turkle (Fn. 90), S. 101: „… sociable technology … promises friendship but can only deliver performances. Do we really want to be in the business of manufacturing friends that will never be friends?“; S. 124: „… a robot cannot pretend because it can only pretend.“; Nida-Rümelin/Weidenfeld (Fn. 68), S. 41; Kornwachs, Smart Robots – Smart Ethics?, DuD 2019, 332 ff. (336); s.a. Misselhorn (Fn. 2), S. 86 f., die Maschinen „Quasi-Meinungen“ bzw. „Quasi-Wünsche“ zuschreibt. Zur Simulation von Gefühlen durch sog. „Cobots“, die insb. im Bereich Seniorenpflege Einsatz finden, Ramge (Fn. 3), S. 75 ff.; Misselhorn (Fn. 2), S. 136 ff. und insb. Turkle (Fn. 90), S. 103 ff. – übrigens ein weiteres Beispiel für die hier kritisierte Verantwortungsverweigerung (nahestehend Turkle, The Second Self. Computers and the Human Spirit, Cambridge, Massachussetts/London, 2005, S. 295; nachdrücklich und umfassend sodann dies. (Fn. 90), S. 23 ff., 124 f. und passim). 95 In der Sache ebenso Nida-Rümelin/Weidenfeld (Fn. 68), S. 108 ff.: „Warum KIs nicht denken können“. 96 Sehr ähnl. Turkle (Fn. 90), S. 286: „… knowledge of mortality and an experience of the life cycle are what make us uniquely human”. In der langen Liste von Eigenschaften, die Turing (Fn. 12), 443 ff. erörtert, kommt diese banale Tatsache bezeichnenderweise nicht vor. Bostrom, Die Zukunft der Menschheit, 2018, S. 183, erwähnt sie zwar kurz, behauptet aber, ohne eine ansatzweise Begründung, dass „auch ein posthumanes Wesen … verletzlich, abhängig und begrenzt“ sein könne. Zur besonderen Verletzlichkeit des Menschen im Zusammenhang der allgemeineren Menschenwürdediskussion mit dem Versuch einer strafrechtlichen Rezeption Werkmeister, Straftheorien im Völkerstrafrecht, 2015, S. 94 ff. mit entsp. Nachw. Ich hoffe, dadurch bloß nicht den von Weizenbaum (Fn. 29), S. 90 (Zitat), 101, denunzierten „großen Fehler“ begangen zu haben, „Menschsein nach dem zu definieren, was der Mensch kann und der Computer nicht.“ S.a. Turkle (Fn. 94), S. 285: „Where we once were rational animals, now we are feeling computers, emotional machines.“. 50 Luís Greco | Richterliche Macht ohne richterliche Verantwortung Fremder gegenüber;97 wie kann er über das Leben des Bürgers urteilen, wenn er hiervon buchstäblich keine Ahnung hat? Roboter-Richter sind richterliche Macht ohne richterliche Verantwortung. Die Verknüpfung von Macht und Verantwortung, die das ganze Recht durchzieht, darf nicht just in der Rechtspflege, an der „so fürchterlichen Gewalt unter Menschen“,98 aufgelockert werden. Einwände bzw. Präzisierungen Gegen das gerade vorgetragene Argument erscheinen mir vor allem zwei Strategien denkbar. Man kann zunächst den beschriebenen Zustand von Verantwortungslosigkeit bestreiten; womöglich gibt es jemanden, den wir in unserem KI-feindlichen Kreuzzug übersehen haben (u. aa]). Die zweite Strategie setzt tiefer, nämlich philosophisch an. Sie stellt entweder – ethisch bzw. ontologisch – bereits die Idee der menschlichen Verantwortung in Frage (u. bb][1]) – oder rechtlich bzw. politisch – zentrale Aspekte der behaupteten Verknüpfung von Macht und Verantwortung (u. bb][2]). Die Suche nach dem Verantwortlichen Gibt es nicht irgendwo einen Verantwortlichen, der gerade übersehen wurde? Programmierer als Verantwortliche? Naheliegend erscheint zunächst – so würde man vorgehen, wenn ein Programmfehler zu Verletzungen von Leib und Leben führen würde – an den Programmierer zu denken. Das befriedigt nicht, weder faktisch, noch rechtlich. Faktisch wird dadurch verkannt, dass komplexe Programme kein Werk eines einzigen Programmierers sind, sondern von Teams, deren Zusammensetzung stark fluktuiert; Folge hiervon ist, dass es sehr schnell dazu kommt, dass es niemanden mehr gibt, der das gesamte Programm durchschaut und es überhaupt verstehen kann.99 Dieses bereits von Weizenbaum in den 70er Jahren festgestellte Problem hat sich angesichts der in der letzten Jahren erfolgten Verbreitung selbstlernender Systeme potenziert.100 Man könnte dies als ein viertes black box Problem bzw. als black box 4.0. bezeichnen (obgleich es auf derselben Stufe wie die ersten beiden steht): b) aa) (1) 97 S.a. Weizenbaum (Fn. 1), S. 282; ders. (Fn. 29), S. 105; Turkle (Fn. 90), S. 85 ff. 98 Montesquieu, De l’esprit des lois, in: Oeuvres complètes (Aux Éditions du Seuil, Paris, 1964), S. 527 ff. (zuerst 1748), Livre 11, Chap. 6 (S. 587). 99 Auch diese Kritik findet sich bereits bei Weizenbaum (Fn. 1), S. 63, 306 ff. (unter der Überschrift „Unverständliche Programme“); ders. (Fn. 91), S. 116 f.: „Ich behaupte, dass der größte Teil der aktuellen Computersysteme, der großen weltumspannend agierenden Computersysteme, im Militärbereich zum Beispiel, nicht durchschaubar sind“ (S. 116); Misselhorn (Fn. 2), S. 132: „Problem der vielen Hände“. 100 S. o. Fn. 24 für Nachw. zum Deep Learning sowie Reichwald/Pfisterer, Autonomie und Intelligenz im Internet der Dinge, CR 2016, 208; Kirn/Müller-Hengstenberg, Intelligente (Software-)Agenten: Von der Automatisierung zur Autonomie? Verselbstständigung technischer Systeme, in: MMR 2014, 225. RW – Heft 1 2020 51 dass komplexe Programme sogar für ihre Programmierer zu intransparenten-undurchlässigen Tresoren werden.101 Auch und erst recht in rechtlicher Hinsicht liegt ein Problem auf der Hand. Selbst wenn es den verantwortlichen Programmierer gäbe, ist er nicht Richter, dem die rechtsprechende Gewalt allein anvertraut wurde (Art. 92 GG). Der pedantischen Replik, dies müsse nicht notwendig der Fall sein, da es den informatikkundigen Richter durchaus geben könne, ist zu entgegnen, dass dieser Richter, der das Programm, wonach die Rechtspflege funktioniert, geschrieben hätte, in seiner Person derart Macht vereinen würde, dass von einem gesetzlichen Richter (Art. 101 I 2 GG) nicht mehr die Rede sein könnte. Verbände als Verantwortliche? Da es den Programmierer als Menschen nicht einmal gibt, liegt nahe, die Verantwortung bei der juristischen Person zu lozieren, die hinter dem Algorithmus sozial, wirtschaftlich und vor allem auch zivilrechtlich steht. Die rechtlichen Einwände, die wir gerade erhoben haben, greifen aber auch hier vollumfänglich durch. Die Firma ist nicht Richter, umso weniger gesetzlicher Richter (Art. 92, Art. 101 I 2 GG). Die gerade formulierten faktischen Einwände erscheinen demgegenüber nicht einschlägig. Der faktisch angereicherte Blick zeigt aber, dass hier zusätzliche normative Probleme bestehen, die erkennbar werden, sobald man sich fragt, welche Unternehmen die Programme entwerfen würden. In Deutschland sind der Beck Verlag (Betreiber von Beck-Online), die Juris-GmbH oder Wolters & Kluwer die Prädestinierten, bis das Geschäft irgendwann so lukrativ oder aussichtsreich wird, dass es von einem der Weltmonopolisten Google oder Apple oder Amazon abgekauft wird. Das ist nicht nur ein politisches Problem: eine Firma, der es frei steht, bestimmte Werte zu vertreten, die sich auch in ihrer Mitarbeiterpolitik widerspiegeln können, schreibt die Regeln, anhand derer Recht im Namen des Volkes, d.h. im Namen unser aller gesprochen wird.102 Zugleich liegt hier ein erstrangiges verfassungsrechtliches Problem: denn es verkörpert eine vor dem Hintergrund der Idee des gesetzlichen Richters (Art. 101 I 2 GG) und auch des Demokratieprinzips (Art. 20 II GG) inakzeptable Fremdsteuerung der Rechtspflege durch wirtschaftliche Unternehmen.103 Der Einwand schwächt sich ein wenig ab, wenn der Algorithmus vom Staat bzw. von den Gerichten selbst entwickelt würde. Hier greift immer noch der rechtliche Einwand aus Art. 101 I 2 GG durch. Nur eine (scheinbare) Ausnahme dürfte ak- (2) 101 Fan, Will AI Replace Us?, London, 2019, S. 70 f.; Webb (Fn. 53), S. 110 f. 102 Auf diese Gefahren weist bezüglich der dominierenden großen Tech-Firmen Webb (Fn. 53), S. 8 f. und passim nachdrücklich hin; s.a. Boehme-Neßler, Die Macht der Algorithmen und die Ohnmacht des Rechts, NJW 2017, 3031 (3036). 103 Gless/Wohlers, FS Kindhäuser, S. 163. 52 Luís Greco | Richterliche Macht ohne richterliche Verantwortung zeptabel sein: nämlich die algorithmisierte Entscheidung in Fällen, für die zwar Gerichte zuständig sind, materiell aber Verwaltungstätigkeit verkörpern. Diese Entscheidungen können aus denselben Gründen und nach denselben Grenzen maschinell vorgenommen werden, wie dies bereits gem. § 35a VwVfG beim vollständig automatisierten Verwaltungsakt möglich ist.104 Um welche Fälle es sich konkret handelt, kann hier aber nicht geklärt werden. In Kommentaren zu Art. 92 GG werden etwa die Entscheidungen über die Zwangsvollstreckung aus zivilrechtlichen Vollstreckungstiteln, konkret etwa die Androhung bzw. Anordnung von Zwangsgeld oder die Prüfung, ob ein Gegenstand pfändbar ist, als Beispiele genannt.105 M.a.W.: Alles, was eine Verwaltungsbehörde tun dürfte, darf auch der Roboter- Richter tun. Es wäre aber sprachlich sauberer, diese Akte nicht als richterliche Entscheidungen, sondern schlicht als Verwaltungsakte zu bezeichnen, was sie ohnehin sind. Der Betroffene als Verantwortlicher? Wie wäre es aber, wenn der Betroffene zustimmt? Könnte man ihn nicht in die Verantwortung nehmen? Man könnte den hier entwickelten Überlegungen entgegenhalten, sie würden auf einem idealisierten Bild des gutmütigen, dialogbereiten, zuhörenden menschlichen Richters basieren, wodurch sie unterschlagen würden, dass die Justiz vielen sogar schlimmer als eine Maschine vorkommt. Der Angehörige einer unterdrückten Minderheit mag im Roboter-Richter sogar seine einzige Chance auf eine unvoreingenommene Entscheidung erblicken. Kann man ihm die Hoffnung auf Gleichbehandlung durch die Maschine versagen, als ginge es bei der Diskriminierung durch einen Menschen um etwas Besseres? Die Frage so zu stellen, heißt zugleich, sie zu beantworten: Selbstverständlich kann niemandem eine Diskriminierung aufgezwungen werden. Über die Gründe hinter dieser Antwort sollte aber genauer nachgedacht werden. (a) Denn – entgegen dem ersten Anschein – ist es nicht notwendig der Konsens bzw. die Zustimmung des Betroffenen, der bzw. die die Zulässigkeit des Roboter- Richters begründet. In unserem Beispiel hat der Bürger keine Wahl; er begibt sich (3) 104 Hierzu die Nachw. o. Fn. 8. 105 Diese Beispiele entnehme ich Hillgruber, in: Maunz/Dürig, GG (Stand: Dez. 2007, Lfg. 51), Art. 92 Rn. 56. Längere Liste bei Schulze-Fielitz in: Dreier, Grundgesetz Kommentar, Band 3, 3. Aufl, 2018, Art. 92 Rn. 44 ff. Demgegenüber erblicken Gless/Wohlers, FS Kindhäuser, S. 152 ff. in der Übertragung von „Routineentscheidungen“ an Maschinen kein Problem, wozu die Entscheidung über die U-Haft aber nicht mehr gehöre. Die hier entwickelten Überlegungen können auch als Versuch verstanden werden, diesen vagen Begriff der Routineentscheidung mit Inhalt zu versehen. Sie können auch den meisten Beispielen, die Engel, Algorithmisierte Rechtsfindung als juristische Arbeitshilfe, JZ 2014, 1096 (1100) nennt, Rechnung tragen: er erwägt den Einsatz von Computern beim teilautomatisierten Mahnverfahren gem. § 689 I 2 ZPO, bei Auskunftsanträgen in Registersachen, nicht aber Strafbefehlsentscheidungen. Bedenklich ist es indes, wenn er auch die Zulässigkeitsprüfung einer Klage „womöglich“ in Betracht zieht: hier würde sich die Maschine zwischen den Bürger und seinen Richter stellen. RW – Heft 1 2020 53 in die Hände der Maschine, ähnlich wie der Erpresste seinem Täter ein Schmuckstück übergibt. In strafrechtlichen Fällen wird man diesem Konsens im Übrigen genauso kritisch oder aufgeschlossen gegenüber stehen, wie man es sonst zum Konsensprinzip auch tut.106 Wer einem strafprozessualen Konsensprinzip ablehnend gegenübersteht – einer Meinungsgruppe, zu der sich kein Geringerer als das BVerfG, zumindest seiner Selbstbeschreibung nach, zählt107 – wird den Roboter- Richter nicht mit diesem Argument in die Strafjustiz einführen können. Anders wird es natürlich sein, wenn man dieses Prinzip offen akzeptiert, oder sich für den widersprüchlichen-salomonischen-unaufrichtigen gesetzgeberischen Weg ausspricht, den Konsens theoretisch zu verleugnen (§ 257c I 2 StPO), faktisch aber zu praktizieren.108 Außerhalb der Strafrechtspflege, d.h. insbesondere bei vermögensbezogenen Zivilrechtsstreitigkeiten, spielt der Konsens eine vergleichbare Rolle wie bei einer Schiedsvereinbarung (§ 1029 ZPO); man könnte den Roboter-Richter womöglich unter vergleichbaren Bedingungen für zulässig erklären. Die Parteien können vereinbaren, ihr Problem einem Roboter zu übergeben, aus demselben Grund, wie sie sich entscheiden können, es der staatlichen Gerichtsbarkeit zu entziehen, zugunsten eines Schiedsrichters, ebenso wie zugunsten des Würfelns. Hier liegt eine zweite Einstiegstür für beschränkte Zulassung von maschineller Rechtspflege zur Regelung von einigen Vertragsbeziehungen, etwa Streitigkeiten über Fluggastrechte. Man muss nicht hervorheben, dass eine konsensbasierte Begründung alle Betroffene miteinbeziehen muss; der Kläger kann nicht auf das Recht des Beklagten verzichten, seine Rechtsstreitigkeit von einem verantwortlichen Entscheider entscheiden zu lassen. Der Konsens kann nicht als Deckmantel zur Entstehung eines Zwei- Klassen-Systems dienen, über dessen Vorhandensein bereits in anderen Zusammenhängen geklagt wird, und das folgende Struktur aufweist: „The privileged … are processed more by people, the masses by the machines.“109 (b) Im gerade gebildeten Ausgangsfall desjenigen, der aus Angst vor einer Diskriminierung durch Menschen die Flucht hin zu den Maschinen antritt, liegt es – gerade in der Strafrechtspflege – näher, das einzig nachvollziehbare Ergebnis nicht aus dem Konsens, sondern aus Notstandsprinzipien zu schlussfolgern. Das hat den Vorteil, dem Roboter-Richter zugleich Grenzen zu setzen. Notstandslösungen sind im Prinzip ein Plan B, eine traurige Angelegenheit; sie sollten im Prinzip deshalb nicht institutionalisiert werden, weil dadurch Plan A aus dem Blick verloren zu ge- 106 Ausf. hierzu mit zahlreichen Nachw. Greco (Fn. 65), S. 261 ff. 107 BVerfGE 133, 168 (204 Rn 65 ff.). 108 Krit. zu den Widersprüchen dieser Regelung Greco, Fortgeleiteter Schmerz – Überlegungen zum Verhältnis von Prozessabsprache, Wahrheitsermittlung und Prozessstruktur, GA 2016, 1 (4 ff.), mit zahlreichen Nachw. 109 O’Neil (Fn. 48), S. 8. 54 Luís Greco | Richterliche Macht ohne richterliche Verantwortung hen droht. Konkret: Würden unsere menschlichen Richter keine Gewähr für eine diskriminierungsfreie Rechtsanwendung bieten, könnten wir uns nicht schon deshalb mit diesem traurigen Zustand abfinden, weil wir doch Roboter haben. Denn diskriminierungsfreie Rechtspflege ist unsere Verantwortung als rechtlich verfasste Gesellschaft von Menschen – eine Überlegung, zu der wir u. bb) (2) gleich zurückkehren werden. Roboter als Verantwortliche? Zuletzt sollte man sich davor hüten, den deus ex machina der verantwortlichen Maschine als Lösung vorzuschlagen. Zwar hat eine Diskussion über die strafrechtliche Verantwortlichkeit von Maschinen begonnen,110 und sogar Roboterrechte finden erste Befürworter,111 wenn auch noch keine engagierten Aktivisten. Diese Thesen können erst dann ernsthaft – d.h. nicht nur als diskussionsanstoßende Provokation112 vertreten werden – nach dem sacrificium intellectus der eigenen Menschlichkeit. Denn in Wahrheit geht es dabei weniger um Thesen über die Maschine, als über den Menschen.113 Konkret: hinter der Annahme, Maschinen könnten verantwortlich sein, steckt eine reduktionistische, in Wahrheit zutiefst verarmte Vorstellung des Menschen, wie sie einige der profiliertesten Vertreter der KI-Bewegung seit den Anfängen immer begleitet hat.114 Bereits dem Turing-Test liegt die Überzeugung zugrunde, Denken sei etwas, worüber erschöpfend aus der Perspektive der dritten Person geurteilt werden könne.115 Der MIT-Pionier Marvin Minsky bezeichnete in einem (niemals mit (4) 110 Zur Schuld von Maschinen Hilgendorf, Können Roboter schuldhaft handeln?, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 2012, S. 119 (128 ff.); Schuhr, Willensfreiheit, Roboter und Auswahlaxiom, ebda., S. 43; sowie Stammler/Markwalder, Roboter in der Verantwortung?, ZStW 129 (2017), 20 (41 ff.); Hage, Theoretical Foundations for the Responsibility of Autonomous Agents, Artificial Intelligence and Law 25 (2017), 255 (261 ff.), und Gaede (Fn. 69), S. 64 f.; eine Verantwortung von Maschinen hält auch Dennett, From Bacteria to Bach and Back, New York, 2017, 397 für möglich. Zusammenfassend mit den entspr. Nachw. Roxin/Greco (Fn. 40), § 8 Rn. 66f f. 111 In diesem Sinne etwa Warwick (Fn. 12), S. 143; Bostrom/Yudkowsky (Fn. 68), S. 320 ff.; Shanahan (Fn. 92), S. 182 ff.; Bostrom (Fn. 96), S. 99 ff.; Gaede (Fn. 69), S. 42 ff. (für „selbstbewusste künstliche Intelligenz“); wohl auch Tegmark (Fn. 3), S. 109; s.a. Gunkel, Robot Rights, Cambridge, Massachusetts/London, 2018. 112 S. zudem u. Fn. 159. 113 S.a. Kurzweil (Fn. 29), S. 2: „The primary political and philosophical issue of the next century will be the definition of who we are.“; Husain (Fn. 69), S. 167; und bereits Turkle (Fn. 94), S. 29, 236 f., 294. 114 Sehr krit., mit vielen weiteren Nachw., Weizenbaum (Fn. 1), S. 177 ff., 187 ff., 226 ff.; s.a. Lanier (Fn. 63), S. 75: Kritik einer Ideologie, die das Rätsel der Existenz von Erlebnissen verleugnet, als „spiritual failure“; S. 153 ff.: gegen den „computationalism“, eine Theorie, nach der „the world can be understood as a computational process, with people as subprocesses.“ Ein beeindruckendes Bild der ersten Generation der „new philosophers of artificial intelligence“ zeichnet Turkle (Fn. 94), S. 219 ff. 115 Vgl. insb. Turing (Fn. 12), 442 ff.: Die Frage, ob Maschinen denken können, sei über den Test hinaus „too meaningless to deserve discussion.“. RW – Heft 1 2020 55 Fundstelle) zitierten Spruch den Menschen als „meat machine“;116 Hans Moravec und Ray Kurzweil, die zwei angeblichen Visionären des „Posthumanismus“,117 träumen von einer Welt, in der Menschen Backups von sich selbst machen, sich uploaden,118 als ginge es bei unserem Leben um eine Festplatte; in der Tat meint letzterer, unsere „true nature“ sei „a pattern of information“,119 zwar nicht „just a file“, denn „not a static file, but a dynamic file“.120 Wenn ein Mensch nichts ist als Information, und Information substratunabhängig ist, wird der Mensch von seiner eigenen Körperlichkeit bzw. Biologie, also letztlich vom Leben selbst dissoziiert: es gibt keinen Unterschied zwischen unseren Körpern und synthetischen Prothesen,121 „software based humans“ werden denkbar,122 denn der Körper sei „mere jelly.“123 Gegner dieses Standpunkts werden als Bioisten124 bzw. „carbon-chauvinists“125 dem Rassisten angeglichen, als Anhänger eines „Biokonservatismus“126 oder sogar eines „fundamentalist humanism“127 lächerlich gemacht. Den schweren Irrtum, der diese Auffassung belebt, hat Weizenbaum wiederholt denunziert: „Daß die Artificial-Intelligence-Elite glaubt, Gefühle wie Liebe, Kummer, Freude, Trauer und alles, was die menschliche Seele mit Gefühlen und Emotionen aufwühlt, ließen sich 116 Ich entnehme den Ausdruck aus Weizenbaum (Fn. 91), S. 98, der sich mit dieser und vergleichbaren Auffassungen kritisch auseinandersetzt; ausführlicher Weizenbaum (Fn. 20), S. 35 ff., 44 ff.; s.a. Turkle (Fn. 94), S. 233 f. (die Minsky den Ausdruck „bloody mess of organic matter“ zuschreibt). Zu Minsky zudem Liebig, The Cult of Artificial Intelligence vs. the Creativity of the Human Mind, Fidelio 10/1 (2001), 4 ff. 117 Zu dieser Bewegung auch Cordeiro, Future Life Forms among Posthumans, Journal of Futures Studies Bd. 8 Heft 2 (November 2003), S. 65 ff.; Bostrom (Fn. 96), S. 38 ff. (beide befürwortend). Die Grenze zum sog. Transhumanismus, dem es in erster Linie um Enhancement geht, ist fließend; zu Letzterem Sorgner, Transhumanismus, 2016; Göcke/Meier-Hamidi (Hrsg.), Designobjekt Mensch. Die Agenda des Transhumanismus auf dem Prüfstand, 2018. S.a. Loh, Trans- und Posthumanismus (Zur Einführung), 2019. 118 Moravec, Mind Children. The Future of Robot and Human Intelligence, Cambridge, Massachusetts/London, 1988, S. 108 ff.; Kurzweil, The Singularity is Near. When Humans Transcend Biology, New York, 2006, S. 198 ff., 383 ff.; ders., How to Create a Mind, New York, 2013, S. 247; krit. zu Moravec Weizenbaum (Fn. 91), S. 104 ff.; ders. (Fn. 20), S. 44 ff. Zum Uploading auch Shanahan (Fn. 92), S. 196 ff.; Bostrom/Yudkowsky (Fn. 68), S. 324 ff.; Bostrom (Fn. 96), S. 41 ff. 119 Kurzweil (Fn. 118), S. 257; seine eigene Philosophie nennt er „patternism“, S. 386. Ebenso Moravec (Fn. 118), S. 117; Hofstaedter, I Am a Strange Loop, New York, 2007, S. 257 f., 288. 120 Kurzweil (Fn. 118), S. 330. S.a. ders. (Fn. 118), S.: „essential equivalence between a computer – with the right software – and a (conscious) mind.“. 121 Kurzweil (Fn. 118), S. 203. 122 Kurzweil (Fn. 118), S. 325; ders. (Fn. 29), S. 129: „We will be software, not hardware.“. 123 Moravec (Fn. 118), S. 117. 124 Bostrom, Ethics for Intelligent Machines: A Proposal (2001), zit. nach Kurzweil (Fn. 118), S. 369 (zust.). 125 Bostrom, Ethical Principles in the Creation of Artificial Minds (2001; Revised 2005), abrufbar in: https://nickbostrom.com/ethics/aiethics.html. S.a. Bostrom/Yudkowsky (Fn. 68), S. 322, die ein „Principle of Substrate Non-Discrimination“ postulieren: „If two beings have the same functionality and the same conscious experience, and differ only in the substrate of their implementation, then they have the same moral status.“ Wie bei Gaede (Fn. 111) fehlt es aus nicht-kontingenten Gründen an der zweiten Voraussetzung („same conscious experience“). 126 Bostrom (Fn. 96), S. 91 ff. 127 Kurzweil (Fn. 118), S. 415. 56 Luís Greco | Richterliche Macht ohne richterliche Verantwortung einfach mir nichts dir nichts in einen Maschinenartefakt mit Computergehirn transferieren, zeigt, wie mir scheint, eine Verachtung für das Leben, eine Verleugnung ihrer eigenen menschlichen Erfahrung, um es vorsichtig auszudrücken.“128 Weizenbaum drückt es vorsichtig aus; dies erscheint mir erst recht angesichts des Umstands, dass die Gegenseite die Rassismus-Keule zuerst geschwungen hat, nicht mehr nötig. Denn hinter der Idee einer Verantwortung von Maschinen steht – was den juristischen Befürwortern dieser These noch nicht klar geworden ist, den Informatikern und Philosophen mit ihren Huldigungen der „Post-Human Era“129 bzw. der „liberation from biology“130 bzw. der Zeit, „when we become software“131 aber durchaus – eine genozidale Einstellung.132 Selbst das ist zu schwach ausgedrückt: denn es geht nicht um die Überwindung, sprich Ausrottung des Genus irgendeiner Gruppierung,133 sondern um die Spezies homo sapiens. Befreiung von Biologie heißt umgangssprachlich Tod. Bostrom erkennt es: „The outcome could easily be one in which humanity becomes extinct“,134 Minsky und Moravec begrü- ßen es: Roboter würden die Erde beerben, „but they will be our children“,135 eben „mind children“.136 Einige (wie u.a. Elon Musk) stellen allen Ernstes die Frage, ob das Leben nicht eine Computersimulation sei.137 128 Weizenbaum (Fn. 20), S. 42 (Zitat), 52 ff. Sehr krit. zudem Welzer (Fn. 37), S. 181, der zu Kurzweils Idee des Uploading anmerkt: „der Erfinder dieser ‚Lösung‘, Ray Kurzweil, gilt allgemein nicht als gaga, sondern als Genie, was an sich schon ein Indikator für den geistigen Horizont unserer Gegenwart ist.“ Ähnl. Liebig, in: Fidelio 10/1 (2001), 6: „mad idea“, „ideology which is as antihuman as it is anti-progress.“, „… grotesk …“; Lanier (Fn. 63) S. 29 ff.; Nida-Rümelin/Weidenfeld (Fn. 68), S. 28: „Nur im philosophischen Oberseminar oder in manchen Feuilletons und KI- Zirkeln kann die Ununterscheidbarkeit von Menschen und Maschinen behauptet werden.“, S.a. Geraci, Apocalyptic AI, Oxford, 2010. 129 Vinge, The Coming Technological Singularity: How to Survive in the Post-Human Era (1993), in: https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940022856.pdf. (S. 14). 130 Shanahan (Fn. 92), S. 93; ebenso Minsky, S. 109: „Once delivered from the limitations of biology, we will…“. 131 Kurzweil (Fn. 29), S. 150. 132 S.a. Shanahan (Fn. 92), S. 194 f.: „close cousin of the Nazi fanatic.“. 133 Hierzu näher Ambos, Internationales Strafrecht, 5. Aufl. 2018, § 7 Rn. 127 ff. 134 Bostrom, Superintelligence. Paths, Dangers, Strategies, Oxford, 2014, S. 141. 135 Minsky, Will Robots Inherit the Earth?, Scientific American Bd. 271 Heft 4 (1994), 108 ff. (113); zust. zit. von Kurzweil (Fn. 118), S. 260. 136 Vgl. das gleichnamige Buch von Moravec (Fn. 118), etwa S. 1: „We humans will benefit for a time from their labors, but sooner or later, like natural children, they will seek their own fortunes while we, their aged parents, silently fade away. Very little need be lost in this passing of the torch…“ In der Sache auch Husain (Fn. 69), S. 181: wir würden zu „creators of new life“, und aus der Menschheit soll Ähnliches werden wie aus überholten Computern, zu denen wir in Retro-Museen immer noch zurückkehren (S. 183 f.). 137 Prinz, Singularity and Inevitable Doom, Journal of Consciousness Studies Bd. 19 Heft 7-8 (2012), 77 (79 ff.; er meint zudem, es sei irrational, den Tod zu fürchten, die Fortsetzung der Menschheit zu wollen oder das Glück von Maschinen nicht gutzuheißen, 85 f.); Bostrom (Fn. 96), S. 191 ff. RW – Heft 1 2020 57 Eine Maschine, die nicht wissen kann, was Schmerz ist, die nicht verstehen kann, was es bedeutet, unwiederbringliche Jahre im Gefängnis zu verbringen,138 die sich nie darüber enttäuschen kann, einem anderen zu unterliegen, insbesondere nicht nachvollziehen kann, was dies heißt, wenn sie glaubt, Recht zu haben und just von demjenigen nicht die Beachtung zu finden, der die Macht und die Befugnis hat, darüber zu entscheiden – eine solche Maschine für verantwortlich zu erklären, bedeutet ein verwässertes, blutleeres Verständnis von Verantwortlichkeit, das mit dem, was wir mit diesem Wort sonst meinen, und das wir beim menschlichen Richter als selbstverständlich voraussetzen, kaum irgendwelche Gemeinsamkeiten aufweist. Dass wir dem Winter die Schuld für unsere Gelenkschmerzen geben, heißt noch nicht, wir wollen buchstäblich verstanden werden. Wer eine Verantwortung oder Schuld von Maschinen kennt, meint es hingegen buchstäblich139 – worin auch ersichtlich wird, dass der Verantwortliche, dem man hier als Bürger ausgeliefert wird, genauso verantwortungsbewusst ist wie das Wetter. Man merke: hier und o. a) wurde nicht lediglich ein weiteres „argument from disability“ vorgelegt,140 sondern eine These über die conditio humana, von der sich Maschinen fundamental unterscheiden. Dies gilt auch dann, wenn die Forschung zur sog. Machine Consciousness141 den Eindruck hervorruft, sie könnten denken, oder die Bemühungen um das sog. „embodiment“142 dazu führen, Maschinen Sinne zu verleihen.143 Etwas, wovon man ein Backup machen kann, muss sich nicht um die eigene einzige Existenz fürchten. Und damit hat alles Weitere, was wir Recht nennen, zu tun. Ins Verfassungsrechtliche rückübersetzt: Die Idee einer eigenverantwortlich durch Maschinen zu leistenden Rechtspflege ist möglicherweise eine Verletzung der ob- 138 Wieder Weizenbaum (Fn. 1), S. 276 f.; ders. (Fn. 20), S. 42: „Es gibt mit anderen Worten Dinge, die Menschen nur deshalb wissen, weil sie einen Körper haben.“ Der Punkt ist nicht mit dem bekannten Argument von Dreyfus zu verwechseln (Why Computers Must Have Bodies in Order to be Intelligent, Review of Metaphysics 21, 1 (1967) 13 ff. [19 ff.]; ders., What Computers Can’t Do. The Limits of Artificial Intelligence, New York, 1972, S. 147 ff.; ders., What Computers Still Can’t Do. A Critique of Artificial Reason, Massachussetts, 1992, S. 235 ff.); sein zentraler Einwand, es sei unmöglich, intelligentes Verhalten auf vorab formalisierte Regeln zurückzuführen, geht von einer topdown-Perspektive aus, die nicht mehr diejenige ist, die die großen, neuen Erfolge trägt (s.o. B. III. 1. a]). 139 S.a Weizenbaum (Fn. 29), S. 103. 140 S. Warwick (Fn. 12), S. 84 f. im Anschluss an Turing (Fn. 12), 447. 141 Hierzu Wallach/Allen (Fn. 64), S. 68. 142 Hierzu Wallach/Allen (Fn. 64), S. 64 ff.; Warwick (Fn. 12), S. 10 f., 140 f.; Shanahan (Fn. 92), S. 36 ff.; Misselhorn (Fn. 2), S. 27 ff., 43 ff.; monografisch Shanahan, Embodiment and the inner life: Cognition and Consciousness in the Space of Possible Minds, Oxford, 2010; aus juristischer Perspektive Eidenmüller, ZeuP 2017, 768 ff.; Gaede (Fn. 69), S. 20. Beim Forschungsfeld „artificial life“ geht es um Fragen, die dem, was wir unter Leben verstehen, derart fern stehen, dass es nicht erwähnt werden muss; hierzu instruktiv Warwick (Fn. 12), S. 116 ff.; Bedau, Artificial life, in: Frankish/Ramsey (Fn. 68), S. 295 ff. 143 Warwick (Fn. 12), S. 146 ff. Krit. bereits Weizenbaum (Fn. 29), S. 105. 58 Luís Greco | Richterliche Macht ohne richterliche Verantwortung jektiv-rechtlichen Dimension von Art. 1 I GG, gewiss eine Verletzung des individual- sowie der objektiv-rechtlichen Dimension von Art. 103 I GG, also vom Anspruch auf rechtliches Gehör. Eine Maschine hört nicht, weil sie nicht versteht.144 Zwei philosophische Einwände Jede tief ausholende Begründung macht sich anfällig für Einwände, die sich gegen verschiedene Argumentationsstufen richten. Ich nehme nur noch zwei dieser Einwände vorweg, nicht, weil nur sie möglich sind, sondern weil sie eine Gelegenheit bieten, den eigenen Standpunkt zu präzisieren oder sogar zu ergänzen. Menschen ohne Verantwortung Man könnte zunächst auf einer ganz fundamentalen, ontologisch-ethischen Ebene das bestreiten, worauf das gesamte Argument zu beruhen scheint: nämlich, dass es so etwas wie einen verantwortlichen Menschen gibt. Minsky (insb. mit seiner Society of Mind),145 Kurzweil146 und Co.147 nahmen die Hirnforschung über Jahrzehnte vorweg,148 indem sie das verantwortliche Selbst für eine „Illusion“ erklärten. Diese einheitliche Größe, die jeder von uns als Ich bezeichnet, sei erst das Ergebnis einer Vielzahl weiterer, unserer Macht entzogener Faktoren, des Zusammenspiels der einzelnen Teile des Gehirns. Es ist hier nicht der Ort, auch zu dieser Diskussion Stellung zu beziehen.149 Hier reicht der Hinweis aus, dass Willensfreiheit keine notwendige Prämisse des entwickelten Arguments war. Es beruhte vielmehr auf der für die conditio humana grundlegenden Erfahrung der eigenen Verletzlichkeit, die der Bürger mit seinem Richter teilen muss, damit Letzterer gegenüber dem ersteren für eine Entscheidung glaubhaft Verantwortung übernehmen kann. Macht ohne persönlich-individuelle Verantwortung? Auf einer rechtlich-politischen Ebene ließe sich noch einwenden, den hier entwickelten Überlegungen läge eine unangemessen personalistisch-individualistische Deutung von Macht und Verantwortung zugrunde. Seitdem wir Staat und König begrifflich auseinander zu halten wissen, schreiben wir primär ersterem und den vielen Institutionen, aus denen er besteht, etwa der Verwaltung bzw. einer Behörde oder der Justiz bzw. einem Gericht die Verantwortung zu. Dem hier entwickelten Konzept hafte mittelalterlicher Staub an; es entspräche einem Platonischen Politibb) (1) (2) 144 S.o. Fn. 92. 145 Minsky, The Society of Mind, New York, 1988, S. 27, 30 und passim; s.a. ders., The Emotion Machine, New York u.a., 2006, S. 298 ff. 146 Kurzweil (Fn. 118), insb. S. 458 ff., in Auseinandersetzung mit dem Argument des chinesischen Zimmers (o. Fn. 92): „I understand English, but none of my neurons do.“. 147 Etwa Hofstaedter (Fn. 119), u.a. S. 291 f. S.a. Turkle (Fn. 94), S. 265 f. 148 Umf. zu dieser Diskussion mit entspr. Nachw. Roxin/Greco (Fn. 40), § 19 Rn. 52a ff. 149 Auf die letzte Fn. wird verwiesen. RW – Heft 1 2020 59 kos150 oder einem im charismatischen Herrschaftsmodell im Sinne Max Webers,151 das auf die Tugend eines Individuums setzt, aber die liberale Lösung des Setzens auf gut durchdachte Institutionen noch nicht kenne.152 Ein Rechtskonzept, das das Individuum ernst nimmt, muss Macht gerade gegen- über dem Individuum legitimieren können. Ein solches Konzept, wonach der Staat „um des Menschen willen da“ ist,153 kann sich also nicht damit begnügen, Institutionen als letzte Kristallisationspunkte von Verantwortung zu benennen, sondern muss immer noch die weitere Frage nach den hinter der Institution liegenden verantwortlichen Individuen aufwerfen. Genauso gehen wir letztlich bei der Legitimation des Staates vor: Das Volk, von dem alle Staatsgewalt ausgeht (Art. 20 II 1 GG), ist das deutsche Staatsvolk, also gerade kein hypostasiertes Kollektiv, sondern die Summe der deutschen Staatsangehörigen. Der Staat, wie jeder rechtlich anerkannte Verband, legitimiert sich nicht aus sich selbst heraus, sondern aus abgeleitetem Recht, das ihm durch die hinter ihm stehenden, eigentlich verantwortlichen Individuen übertragen wird. Und genau hier liegt das grundsätzliche Problem der Roboter-Richter: Sie bedeuten eine Loslösung der Machtausübung von individueller Verantwortung auf eine Art und Weise, die in der Menschheitsgeschichte ihresgleichen sucht. Sogar eine theologisch fundierte Diktatur hat in der charismatischen Autorität des Anführers einen letzten menschlichen Rückhalt, eine Ansprechperson, ein reelles (und nicht nur simuliertes) Antlitz. Und in der liberalen Demokratie stehen hinter dem Staat einzelne Menschen, und hinter diesen wir selbst, die sie dort als unsere Vertreter eingesetzt haben. Maschinen aber, die selbständig lernen, verselbständigen sich vom Menschen. In der Diskussion über die künstliche Intelligenz kursiert der Begriff der Singularität, also der von einigen vorausgesehenen Intelligenzexplosion, die die letzte Erfindung der Menschheit markieren wird, weil danach alle weitere Erfindungen von exponentiell intelligenter werdenden Maschinen selbständig gemacht werden.154 Viel bedenklicher als diese – durchaus ernstzunehmenden – Zukunftssorgen dürfte 150 Platon, Der Staatsmann, in: Löwenthal (Hrsg.), Sämtl. Werke, Bd. II, 1982, 294A f. (S. 743 ff. [793]). 151 M. Weber, Wirtschaft und Gesellschaft, 5. Aufl., 1972, S. 140 ff. 152 Zu dieser Logik etwa (klassich) Montesquieu (Fn. 98), Buch XI Kap. 4 (S. 586): „Qui le dirait! la vertu même a besoin des limites“; (modern) Popper, The Open Society and Its Enemies, Bd. II, 5. Aufl. New Jersey, 1966, S. 131. S.a. Greco, Tugend im Strafverfahren, FS Wolter, 2013, S. 61 ff. 153 Art. 1 I Chiemseer Entwurf eines Grundgesetzes für einen Bund deutscher Länder v. 1948. 154 Insb. Kurzweil (Fn. 118), bejubelnd; Chalmers, The Singularity: A Philosophical Analysis, in: Schneider (Hrsg.), Science Fiction and Philosophy, 2. Aufl., 2016, S. 171 ff. (zuerst 2010); Husain (Fn. 69), insb. S. 180 ff.; abwägend Bostrom (Fn. 134), der von „Superintelligenz“ spricht, als „any intellect that greatly exceeds the cognitive performance of human in virtually all domains of interest“ (S. 26); Shanahan (Fn. 92), insb. S. 204 ff.; besorgt Tegmark (Fn. 3), S. 44, 134 ff. und passim; s.a. Domingos (Fn. 4), S. 25, der von einem Master Algorithmus träumt, der alle vergangenen, ge- 60 Luís Greco | Richterliche Macht ohne richterliche Verantwortung die sich bereits abzeichnende Gefahr einer juristischen Singularität sein, die darin besteht, dass wir Menschen unsere Verantwortung für das Recht zugunsten von Maschinen zurücknehmen.155 Die Bequemlichkeit des GPS-Trackers macht aus Fahrern Touristen in der eigenen Stadt; das Individuum kann sich als Rechtssubjekt, das dieses Recht mitsetzt, nicht von diesem entfremden, als ginge es nicht um sein Recht. Das hiesige Argument soll nicht als ein Psychologisch-Empirisches missverstanden werden: es geht zwar auch, aber nicht primär darum, dass, ähnlich dem Flugkapitän, der auf den Autopilot vertraut, oder dem Arzt, der sich lieber einer Diagnose und Behandlung, die vom Computer erstellt bzw. vorgeschlagen wird, anschließt, und die deshalb allmählich das Fliegen oder Heilen verlernen (sog. „Deskilling“),156 eine unheilvolle Wirkung eintritt, die man immerhin noch mit Fortbildungen usw. einzudämmen versuchen könnte (ob erfolgreich, lässt sich bezweifeln). Die empirisch-psychologische Gefährdungslage ist gleichwohl ernst zu nehmen. Sie erst zeigt, dass man sogar mit dem Anbieten von Algorithmen, die Richtern allein als Entscheidungshilfe dienen, vorsichtig sein sollte. Das entwickelte prinzipienorientierte Argument schließt das in der Tat nicht aus;157 denn verantwortlich bleibt immer doch derjenige, der die Entscheidung fällt. Anders aber als bei der Heranziehung eines wissenschaftlichen Mitarbeiters oder Referendars, der mit dem Schreiben eines Entscheidungsentwurfs betraut wird, begründet das Einsetzen des Algorithmus eine nahezu unwiderstehliche Versuchung im Sinne der kritiklosen Übernahme der maschinell erstellten Entscheidungsvorschläge. Faktisch wird bereits hierdurch eine schleichende Entscheidungsübertragung an die Maschine zu befürchten sein. Primär ist aber allein, dass das Recht unser Werk ist und bleiben muss. Keine Maschine darf uns vorschreiben, wie wir als Verantwortliche untereinander zu leben haben. Diese Entscheidung kann uns nicht abgenommen werden. Der Roboter- Richter ist gewiss nicht der erste, könnte aber möglicherweise durchaus unser letzter Schritt in eine falsche Richtung sein. genwärtigen und künftigen Erkenntnisse hervorbringen könne; s. noch Warwick (Fn. 12), S. 74 ff.; Ramge (Fn. 3), S. 81 ff. Häufig spricht man von starker KI im Gegensatz zur bisher existierenden schwachen KI, s. etwa Warwick (Fn. 12), S. 64 f.; Ramge (Fn. 3), S. 18 ff. 155 Sehr ähnl. Bartlett (Fn. 80), S. 38 f., der von einer „moral singularity“ spricht, „the point at which we will start to delegate substantial moral and political reasoning to machines.“ Dies könne ein „point of no return“ sein: „once we start relying on it, we’ll never stop.“ Ähnliche Sorgen äußert Volland (Fn. 29), S. 233 ff. (vor allem am Beispiel von Robotern, die Kunst kreieren); Foer (Fn. 52), S. 77; Welzer (Fn. 37), S. 226 ff.; und Carr, wie in der nächsten Fn. 156 Eindrucksvoll Carr, The Glass Cage. How Our Computers Are Changing Us, New York/London, 2014, S. 65 ff., der auch kein rein psychologisches Argument entwickelt; s.a. ders., The Shallows. What the Internet is Doing to our Brains, New York/London, 2011, insb. S. 211 f., 223 f. 157 And. i. Erg. P. Enders, wie Fn. 84. RW – Heft 1 2020 61 Fazit Zum Abschluss eine Präzisierung (I.) und eine Zusammenfassung (II.): I. Es liegt nahe, zu fragen, ob das hier entwickelte Argument den Roboter-Richter sogar dann ausschließt, wenn er Entscheidungen fällen würde, die besser wären als menschliche. Die Antwort ist zunächst – bis auf den (traurigen) Notstandsfall (o. C. II. 2. b] aa] [3]) – ein klares Ja, und dies aus denselben Gründen, aus denen wir den Diktator auch dann ablehnen, wenn er ein Weiser ist,158 und wir dem Arzt kein Recht zusprechen, über die Behandlung des in aller Regel nicht sachkundigen Patienten zu entscheiden. Verantwortung ist auch die Last, eigene Entscheidungen zu treffen und damit die eigenen Fehler zu begehen. Sie wären immerhin unsere Fehler. 2. Mein Beitrag ist also ein Cassandra-Ruf. Wir können durch Maschinen den menschlichen Richter durchaus obsolet machen, dürfen dies aber nicht tun. Wer Macht über einen anderen ausübt, muss diesem gegenüber Verantwortung übernehmen können, was eine Maschine, die an der Verletzlichkeit und Vorläufigkeit der conditio humana nicht teilhat, überfordert. Rechtspflege schulden wir uns gegenseitig als Menschen. Vor dieser Verantwortung dürfen wir uns nicht zugunsten von Maschinen drücken.159 Schritte in diesem Sinne sind rechtsethisch als „verbotene Experimente“ zu qualifizieren.160 Bei den wenigen Fällen, in denen Roboter-Richter nicht illegitim sind, handelt es sich entweder um den Konsens aller Betroffenen (o. C. II. 2. b] aa] [3]), um Notstandsgrundsätze (ebda.) oder schlichtweg um Verwaltungstätigkeit in richterlicher Hand (o. C. II. 2. b] aa] [2]). Ich ende mit Weizenbaum,161 mit einem Zitat, das in die am Anfang zitierte Passage unmittelbar einmündet: „Allein schon die ausgesprochene Frage: ‚Gibt es irgend etwas, das ein Richter (oder ein Psychiater) weiß, was wir einem Computer nicht mitteilen können?‘ ist eine ungeheure Schamlosigkeit. Daß sie überhaupt gedruckt werden mußte, und sei es auch nur, um ihre Morbidität anzuprangern, ist ein Zeichen für die Geisteskrankheit unserer Zeit.“ D. 158 And. wohl Zarkadakis, In Our Own Image. The History and Future of Artificial Intelligence, New York/London, 2015, S. 99, der von einem „new social contract“ träumt, des Inhalts, dass wir durch Maschinen, also durch „perfect reason und incorruptible goodwill“ regiert würden. 159 Im Zeitalter drittmittelbestimmter Forschung wäre es gewiss aussichtsreicher, das Gegenteil zu vertreten (eine interessante Thematik übrigens für eine mutige wissenschaftssoziologische Untersuchung; erste Überlegungen hierzu bei Schünemann, Der Kampf ums Verbandsstrafrecht in dritter Neuauflage pp., StraFo 2018, 317 [326 f.]). 160 Den Begriff entnehme ich Turkle (Fn. 90), S. 291 ff., die ihn vor allem bezüglich der Einführung von Robotern für die Seniorenpflege gebraucht. 161 Weizenbaum (Fn. 1), S. 299. 62 Luís Greco | Richterliche Macht ohne richterliche Verantwortung

Zusammenfassung

Neue technologische Durchbrüche im Bereich der künstlichen Intelligenz lassen in nicht allzu ferner Zukunft den Roboter-Richter erwarten. Der Beitrag legt dar, weshalb dieser Entwicklung widersprochen werden muss. „Computer können juristische Entscheidungen treffen und psychiatrische Urteile fällen. Sie können auf viel ausgesuchtere Weise Münzen werfen als das geduldigste menschliche Wesen. Der Punkt ist, daß ihnen solche Aufgaben nicht übertragen werden sollten.“

References

Abstract

Rechtswissenschaft is an interdisciplinary academic journal that focuses on the relations between the respective juridical fields. The journal creates an antipole to the growing specialization in academics and provides readers with an overview of the legal state of research. Thus it encourages legal discourse.

Website: www.rechtswissenschaft.nomos.de

Zusammenfassung

Die Rechtswissenschaft ist die fachgebietsübergreifende wissenschaftliche Zeitschrift aus dem Nomos Verlag. Sie stellt die Bezüge zwischen den einzelnen juristischen Fachgebieten in den Mittelpunkt. Die Zeitschrift bildet einen Gegenpol zur zunehmenden Spezialisierung und verschafft den Lesern einen Überblick über den Stand der rechtswissenschaftlichen Forschung. Auf diesem Wege befördert die Rechtswissenschaft den rechtswissenschaftlichen Diskurs.

Homepage: www.rechtswissenschaft.nomos.de