Warum man erklärbare intelligente Systeme braucht und wie wir als Teil eines hochgradig interdisziplinären Forschungsprojekts daran forschen, wie man sie bekommt.
Ein Bericht von Kevin Baum, Markus Langer und Timo Speith.
Transparenz, Nachvollziehbarkeit, Verständlichkeit und Vertrauen sind allesamt Begriffe, die neben ihren angestammten Wortbedeutungen zunehmend im Zusammenhang mit künstlicher Intelligenz (KI) genannt werden. Oft findet man auch die Kombination »Erklärbare KI« und hört Forderungen nach Erklärbarkeit als eine Voraussetzung für sogenannte menschenzentriere KI (human-centered AI). Sie soll erlauben, menschliche Autonomie zu bewahren, Fragen der Zuständigkeit und Verantwortung zu beantworten, KI insgesamt vertrauenswürdig machen und insgesamt diese eben aufgezählten und weitere zentralen Werte der westlichen Zivilisation im Kontext KI zu schützen – da sind sich die Autor_innen der KI-Strategie des Bundes und der brandneuen europäischen Richtlinien für vertrauenswürdige KI einig. Aber was ist mit diesen Begriffen jeweils gemeint und wie hängen sie zusammen? Und wie ist es um die technische Machbarkeit von erklärbarer KI bestellt?
Diese Fragen gilt es zu beantworten und daher freuen wir uns, mitteilen zu können, dass gleich mehrere Mitglieder des Algoright-Teams Teil eines neuen Forschungsprojektes an der Universität des Saarlandes sind, das helfen soll, Licht ins Dunkel zu bringen: Explainable Intelligent Systems – kurz: EIS. Im Rahmen des Förderangebots »Künstliche Intelligenz – Ihre Auswirkungen auf die Gesellschaft von morgen« unterstützt die Volkswagenstiftung eine Anschubphase von neun Monaten mit dem Ziel, einen Vollantrag auf einen Zuschlag für eine mehrjährige Forschungsphase zu erreichen.
Bei EIS geht es darum, was Erklärungen intelligenter Systeme eigentlich ausmachen, wie die Erklärungen präsentiert werden sollen und inwieweit diese Erklärungen überhaupt erreicht werden können – ergo: was überhaupt möglich ist. Diese Fragen bedingen sich gegenseitig und sind einer Vielfalt an Fachrichtungen zuzuordnen – von Philosophie, über Psychologie und Informatik bis hin zur Rechtswissenschaft. Ohne begriffliche Differenzierung und moralisch-gesellschaftliche wie auch rechtliche Zielvorgaben besteht die Gefahr, dass bei KI ›gebastelt‹, etikettiert und zertifiziert wird, wie es Entwickler_innen und Unternehmen passt. Ohne die Frage der angemessenen Darbietungsform und Akzeptanz zu klären, scheint aber auch eine theoretisch vertrauenswürdige KI wenig erstrebenswert, denn eine vertrauenswürdige KI, der keiner de facto vertraut und die keiner einsetzen will, ist nicht das, wonach man strebt. Weiterhin ergibt es wenig Sinn, das Was und das Wie des Wünschenswerten zu beantworten ohne Kenntnisse der technischen Rahmenbedingungen und Grundlagen, denn erst, wenn wir ein technisch-informiertes Was und Wie bestimmt haben, ist es sinnvoll über konkrete neue Regulierungen und deren Einbettung in bestehende Rechtsstrukturen nachzudenken.
Der Reihe nach: Um was geht es genau?
Warum überhaupt KI und warum KI alleine nicht reicht
Intelligente Systeme übernehmen zunehmend Aufgaben von Menschen – Stichworte: autonome Fahrzeuge, Chatbots usw. – und sie unterstützen uns beim Treffen von Entscheidungen. Die Alexas, Siris und OK Googles der Zukunft könnten uns wohl morgens beim Zähneputzen einen Redeschwall wie diesen entgegenschleudern: “Hören Sie doch mal wieder was von Phil Collins! Außerdem würde ich Ihnen empfehlen heute die Autobahn für die Heimfahrt zu meiden. Im Übrigen ist Ihre Dosis an Vitamin C zu niedrig. Nach musikalisch begleiteter, staufreier Fahrt und geschluckten Pillen empfehle ich Ihnen, Frau Müller einzustellen – und keinesfalls Frau Meyer. Und wenn wir schon dabei sind: verkaufen Sie Ihre Aktien von X und investieren Sie in Y.”
Jede einzelne der hier aufgezählten Empfehlungen liefern intelligente KI-Systeme schon heute irgendwo für irgendjemanden. Das muss nichts schlechtes sein. Menschen sind anfällig für sogenannte kognitive Verzerrungen: Richter_innen urteilen härter, wenn sie hungrig sind und Personaler_innen neigen dazu, Menschen einzustellen, die so ähnlich sind, wie sie selbst, losgelöst von der tatsächlichen Eignung. Außerdem verlieren Menschen schnell die Übersicht: Wann habe ich das letzte Mal Obst gegessen? Welche Musik könnte ich mal wieder hören? Was gibt’s neues auf dem Markt? Wurde nicht gestern gerade eine Baustelle eingerichtet auf dem Weg zur Arbeit? Ist mein Aktienportfolio nicht ziemlich einseitig ausgerichtet? – Künstliche Intelligenz kann helfen, Vorurteile zu überwinden und die Übersicht zu behalten.
Der im letzten Jahrzehnt zu verzeichnende Sprung der KI hängt mit Fortschritten der sogenannten “neuen KI” zusammen, womit in erster Linie Maschinelles Lernen (ML) gemeint ist. Bei allen Vorteilen kommt mit ML aber auch (mindestens) eine problematische Eigenschaft daher: fehlende Nachvollziehbarkeit. Intelligente Systeme, die auf ML basieren, lernen ihre Fähigkeiten anhand vieler Daten, Beispiele, Versuchen – und voilà: wir haben eine Blackbox, die neue Daten ziemlich gut klassifizieren kann. Leider ist es so, dass sich in Daten, die direkt oder indirekt von Menschen generiert werden, auch deren Meinungen und Einstellungen widerspiegeln. Während wir bei der Erkennung einer Handschrift oder der Berechnung von Tiefeninformationen in der Regel die ›Wahrheit‹ (Informatiker_innen sprechen von »Ground Truth«) kennen, sieht es bei Fragen, die Menschen und ihr Verhalten betreffen, oft ganz anders aus. Als Beispiel eignet sich die Strafverfolgung: Zeigen uns Statistiken über Verurteilungen, wer Verbrechen begeht? Nein, denn es gibt sowohl Täter_innen, die davonkommen, als auch unschuldig Verurteilte. Solchen Statistiken liegen noch weitere Probleme zugrunde: Wer wird verdächtigt, wer strafrechtlich verfolgt usw. Überall entscheiden Menschen – und auch wenn sie es mit bestem Wissen und Gewissen tun, neigen Menschen eben doch zu oft unterbewussten Vorurteilen, die ihre Entscheidungen verzerren. Man denke an Rassismus oder Nachteile, die durch Armut begünstigt werden. Werden entsprechend verzerrte Daten zur Basis von Systemen, die auf maschinellem Lernen basieren, bildet das System die systematischen Verzerrungen mit ab. Gleiches gilt für andere Bereiche, in denen Statistiken über das Verhalten von Menschen zu Prognosezwecken genutzt werden sollen: Was macht gute Mitarbeiter_innen aus? Gute Vorgesetztenbeurteilungen? Reicht es, einfach die bereits im Unternehmen vorhandenen Mitarbeiter_innen zu berücksichtigen? In solchen Fällen wählt eine Personalauswahl-KI dann eben nur Personen aus, die ähnlich wie bereits vorhandene Mitarbeiter_innen sind – genau eine der Verzerrungen, die die KI eigentlich helfen sollte, zu bekämpfen. In der Tech-Industrie würde sie, möglicherweise unerkannt und unerwünscht, deshalb Frauen diskriminieren, wie Amazon unlängst einsehen musste.
Außerdem kann KI, die auf maschinellem Lernen basiert, fehleranfällig sein und ‘instabil’ klassifizieren. Kleinste Abweichungen auf einem Bild – fürs menschliche Auge nicht zu erkennen – können bei der automatischen Erkennung eines Straßenschildes den Unterschied machen. Ein kleiner, für Menschen unmerklicher oder für irrelevant zu befindender Unterschied (ein Aufkleber am Rand z.B.) auf einem ansonsten gut zu erkennenden Geschwindigkeitsschild, kann den Unterschied machen, ob ein autonomes Fahrzeug ›denkt‹, dass Tempo 30 oder Tempo 70 erlaubt ist. Das kann der Fall sein, obwohl das System statistisch gesehen überragend im Schildererkennen ist. Außerdem können diverse weitere, handwerkliche Fehler statistischer Art bei der Erhebung oder Auswahl der Daten leicht passieren. Kurzum, all das hier Genannte kratzt nur an der Oberfläche potentieller Fehler im Zusammenhang mit modernen KI-Systeme.
Die Rolle von Erklärungen und viele offene Fragen.
All das ist irrelevant, wenn es um Trivialitäten geht. Wenn mir Netflix einen in meinen Augen schlechten Film empfiehlt: Sei’s drum. Wenn es dauernd passiert, ignoriert man die Vorschläge – oder schaut was bei Amazon Prime oder Sky. Was jedoch, wenn der Vorschlag eines Entscheidungssystems über Leben und Tod entscheidet (beispielsweise in der Medizin, wo sowohl in Diagnose als auch in Therapieempfehlungen KI zum Einsatz kommt), über Freiheit oder Haft (Algorithmen werden in den USA seit Jahren zur Risikobewertung eingesetzt – ein Thema, das Timo Speith bereits in einem Blogeintrag thematisiert) oder über Arbeit bzw. Arbeitslosigkeit?
In solchen Fragen soll keine Maschine das letzte Wort haben. Wir packen also Menschen (Ärzt_innen, Richter_innen, Personaler_innen) in die Entscheidungsschleife – zumindest, wenn die Entscheidung nicht zeitkritisch ist (vgl. autonomes Fahren). Aber was soll das bringen, wenn Menschen kein Verständnis der vorliegenden Empfehlungen durch das System haben?
Es kann nur etwas bringen, wenn diese Menschen wohlinformierte Entscheidungen treffen können. Sie müssen KIs – besser gesagt: deren Einschätzungen und Empfehlungen – verstehen und durchschauen können. Kurzum, die Frage “Warum?” muss gestellt werden können. Wie sonst kann man als menschlicher Experte entscheiden, ob man der Empfehlung der Maschine folgen soll? Insbesondere, wenn man eigentlich einen anderen Eindruck hat oder hätte. (Und wenn man nie einen anderen Eindruck als die Maschine hätte: wozu dann die Maschine? Man könnte hier dann natürlich andersrum auch fragen: Wozu dann den Menschen eine Aufgabe machen lassen, bei der Maschinen immer zur gleichen Schlussfolgerung kommen? Da kann man die menschlichen Kapazitäten doch besser für andere Aufgaben nutzen.)
Würden Empfehlungen von Menschen kommen, von anderen Experten, könnte man Antworten auf Warum-Fragen erwarten, möglicherweise in Form eines Gutachtens. Was wir dann bekämen, das sind: Erklärungen. Im Falle von algorithmusbasierten Empfehlungen ist “Warum?” leider keine so einfach zu beantwortende Frage, denn oftmals können Algorithmen in ihrer Funktion als künstliche Experten entweder gar keine Warum-Fragen beantworten, oder sie geben uns höchstens unbefriedigende Antworten wie zum Beispiel: “weil 93% die ich für so ähnlich wie Sie halte, gerne Phil Collins hören” oder alternativ “weil mein rekurrentes Neuronales Netzwerk darauf optimiert wurde, Ihnen Musik zu empfehlen, basierend auf Ihrem Alter, Ihrem Geschlecht, Ihrem Instagram Profil, Ihrer Stimme, Ihrem geographischen Breitengrad und Ihrer Payback-Karte”. Eine weitere Alternative wäre: “Das wichtigste Unterscheidungsmerkmal zwischen Frau Meyer und Frau Müller war ihr Alter”. Aber warum dann gerade das Alter? Warum zählt Frau Meyers längere Erfahrung in einem relevanten Job zu wenig?
Menschen brauchen also scheinbar eine andere Art von Erklärungen bei Empfehlungen, als sie bisher von KI Systemen angeboten werden können. Aber damit ist noch nicht viel getan, im Gegenteil öffnet sich durch diese Einsicht eine lange Liste von Fragen:
- Zur Güte und zum Inhalt: Was macht gute und geeignete Erklärungen aus? Welche ethischen Anforderungen stellen sich an Inhalt und Genauigkeit der Erklärungen? (Wir wollen ja im Allgemeinen keine intelligenten Lügensysteme, die uns Erklärungen geben, die wir gerne hören – die aber eigentlich nicht der Realität der algorithmischen Entscheidungsfindung entsprechen) Sind all jene Kriterien unabhängig vom Kontext? Welche Anforderungen gibt es an Erklärungen, die uns erlauben sollen, zu entscheiden, ob eine Empfehlung eines Systems rein statistische Regelmäßigkeiten widerspiegelt oder auch für den Einzelfall angemessen ist? Welche Anforderungen dafür den Menschen in der Entscheidungsschleife in die Lage zu versetzen, verantwortungsvolle Entscheidungen zu treffen? Wie müssen Erklärungen für verschiedene Zielgruppen von Entscheider_innen aufbereitet werden?
- Zur Machbarkeit: Können Erklärungen überhaupt leisten, was wir uns von ihnen versprechen. Und falls ja, wie müssen sie dafür beschaffen sein? Wie bekommen wir die richtige Art von Erklärungen? Geht das überhaupt bei bestehenden Systemen? Müssen wir zukünftig einfacher durchschaubare Systeme nutzen, auch wenn sie dadurch unpräziser in ihren Empfehlungen wären?
- Zu Regulatorischem: Welchen rechtlichen Regularien sollten sie unterliegen und wie können sie auf Ebene der Erklärungen greifen? Wie können Zertifizierungsprozesse für erklärbare intelligente Systeme aussehen? Brauchen wir einen Algorithmen-TÜV?
Was wir nicht wollen: intelligente Lügensysteme, Bild: Sarah Sterz
Weil zur Beantwortung dieser und verwandter Fragen die Erkenntnisse vieler Fachrichtungen relevant sind, schreit die Bearbeitung der Frage, wie intelligente Systeme bessere Erklärungen liefern können, nach echter Interdisziplinarität: Die Informatik muss herausfinden, was möglich ist – und welche Effizienzeinbußen mit mehr Möglichkeiten auf Ebene der Erklärungen einhergehen; Die Philosophie verfügt über reichhaltiges Fachwissen zu Erklärungen, Wohlinformiertheit und der Beziehung von Verantwortung zu Autonomie und Handlungs- und Entscheidungsfreiheit; Die Psychologie weiß zu beurteilen, wann Menschen etwas mit bestimmten Erklärungen anfangen können und wann nicht; Die Rechtswissenschaften können Erkenntnisse in Regularien gießen und Entwürfe auf deren Kohärenz mit bestehenden Rechtsnormen prüfen.
Womit wir wieder bei “Explainable Intelligent Systems” (EIS) wären.
Wir freuen uns, Teil dieses Forschungsprojekt sein zu dürfen und werden in unserem Blog gelegentlich über bestimmte Erkenntnisse von gesellschaftlicher Relevanz und allgemein über die Fortschritte des Projekts berichten. So können wir durch das Liefern von Antworten hoffentlich dazu beitragen, den Umfang der obigen Liste an Fragen zu reduzieren.