Coming soon ... IT Summit by heise

Explainable AI: Wann künst­liche Intel­li­genz sich selbst erklärt

Künstliche Intelligenz ent­wickelt sich lang­sam, aber sicher zu einem mächtigen In­stru­ment mit Potenzial in vielen Lebens­bereichen. Damit ge­winnen auch ethische Fragen nach der Ver­antwortlich­keit an Be­deu­tung: Manch­mal mag der Zweck die Mittel heiligen – doch die Er­geb­nisse müssen er­klär­bar werden.

Raus aus der Black Box

Von David Schahinian

Komplexe Sachverhalte lassen sich oft auf einfache Beispiele herunterbrechen: Die wenigsten Menschen würden sich vermutlich in ein autonom fahrendes Auto setzen, wenn niemand genau weiß, wie es seine Entscheidungen trifft. Kann eine Technologie hingegen im medizinischen Bereich mit höherer Treffsicherheit als ein Mensch prognostizieren, ob auf Röntgenbildern Anzeichen von Krebszellen zu erkennen sind, wäre es für die Betroffenen vermutlich zweitrangig, wie das Ergebnis zustande gekommen ist. Ist die Diagnose allerdings falsch, landet man wieder bei einer Frage von Leben und Tod.

Damit ist das Spannungsfeld umrissen, in dem sich viele Entwicklungen der künstlichen Intelligenz (KI) bewegen: Wie sehr will man Menschen, wie sehr will man sich selbst einer Technologie anvertrauen, deren Funktionsweise selbst Wissenschaftler und Data Scientists nicht detailliert erfassen können? Die Möglichkeiten von Beginn an zu sehr zu beschneiden, hieße, der KI und neuronalen Netzen ihre größten Stärken zu nehmen: die sinnvolle Auswertung einer übergroßen Menge an Daten, die Mustererkennung und die ständige Weiterentwicklung durch maschinelles Lernen und eigenständiges Erkennen von neuen Zusammenhängen.

ITK-Unternehmen 2019-02.jpg

Schwarz auf Weiß
Dieser Beitrag erschien zuerst in unserer Heise-Beilage „IT- und Technologie­unternehmen stellen sich vor“. Einen Über­blick mit freien Downl­oad-Links zu sämt­lichen Einzel­heften be­kommen Sie online im Presse­zentrum des MittelstandsWiki.

Aus diesen Fragestellungen heraus hat sich in letzter Zeit die Diskussion um Explainable AI (XAI), also „erklärbarer KI“, entwickelt. Sie ist längst keine theoretische mehr: So wurde beispielsweise in die EU-Datenschutz-Grundverordnung mit Art. 22 eine Bestimmung aufgenommen, der jeder Person das Recht einräumt,

„nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“

Das macht zum Beispiel eine rein automatisiert ablaufende Personalauswahl unmöglich. Des Weiteren gibt die DSGVO vor, dass personenbezogene Daten auf „rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden“ müssen.

Maschinen mit Eigenleben

Erste schlechte Erfahrungen wurden mit KI schon gemacht. So schaltete Amazon 2018 ein KI-gestütztes Tool zur Beurteilung von Bewerbern ab, nachdem festgestellt wurde, dass es Frauen eindeutig benachteiligt. Diese Einstellung hatte sich das System selbst beigebracht, weil die Daten, mit denen es trainiert wurde, hauptsächlich aus Bewerbungen von Männern stammten. Noch gruseliger klingt das Beispiel von Facebook, das 2017 ein KI-System stoppte, nachdem es begonnen hatte, seine eigene Sprache zu entwickeln – die selbst die Entwickler nicht mehr verstanden.

Daran wird deutlich, warum in Bezug auf KI oftmals der Begriff der Black Box verwendet wird. Er stammt ursprünglich aus der militärischen Fernmeldetechnik und beschreibt ein System, bei dem der Input und der Output zählen, der innere Aufbau aber unbekannt ist oder als unwesentlich betrachtet wird. An den Ergebnissen will Explainable AI nicht rütteln. Vielmehr soll die Black Box durchschaubarer, soll der Vorgang verständlicher werden. Data Scientist Dr. Shirin Elsinghorst schreibt im Online-Magazin Informatik Aktuell von einem Trade-off zwischen Erklärbarkeit und Komplexität: „Je komplexer ein Modell ist, desto schwieriger ist es, seine Entscheidungen nachzuvollziehen.“

Die Position des Bundesforschungsministeriums ist klar:

„Maschinelles Lernen (ML) wird in der Praxis erst dann breit einsetzbar sein, wenn das Verhalten einer Anwendung in der Nutzung nachvollziehbar wird, obwohl ML-Systeme datengetrieben und damit nicht deterministisch arbeiten.“

Im April 2019 veröffentlichte das BMBF eine Richtlinie, nach der Projekte zum Thema „Erklärbarkeit und Transparenz des Maschinellen Lernens und der Künstlichen Intelligenz“ gefördert werden. Im selben Monat hat die EU Ethik-Leitlinien für eine vertrauenswürdige KI veröffentlicht, die von einer Expertengruppe erarbeitet wurden. Hier fallen u. a. die Begriffe Rückverfolgbarkeit und Erklärbarkeit. Gefordert wird, dass sowohl die technischen Prozesse eines KI-Systems als auch die damit verbundenen menschlichen Entscheidungen erklärbar sein müssten. Darüber hinaus sollten die Datensätze und Prozesse, die zu einer Entscheidung des KI-Systems geführt haben, „so gut wie möglich“ dokumentiert werden, um deren Rückverfolgbarkeit sicherzustellen und die Transparenz zu erhöhen. Im Juni wurden diese Leitlinien noch einmal um neue Empfehlungen ergänzt.

Thema: Künstliche Intelligenz

MW-Fotolia 102960839-square.jpg

Momentan dreht sich alles um ChatGTP. Für die Zeit davor gibt eine Einführung einen ersten Überblick über den Stand der Technologien, die Fortsetzungen skizzieren praktische Einsatzgebiete für KI, insbesondere in der Industrie. Für den Lebenslauf könnten die Ratgeber zur KI-Studienstrategie bzw. zum KI-Studium (auch in Kombination mit Robotik) sowie zum Berufsbild Machine Learning Engineer und zum KI-Manager nützlich sein – aber auch die Übersicht zu den Jobs, die KI wohl ersetzen wird.

Extrabeiträge untersuchen, wie erfolgreich Computer Computer hacken, ob und wann Vorbehalte gegen KI begründet sind und warum deshalb die Erklärbarkeit der Ergebnisse (Stichwort: Explainable AI bzw. Erklärbare KI) so wichtig ist. Hierher gehört außerdem der Seitenblick auf Maschinenethik und Münchhausen-Maschinen. Als weitere Aspekte beleuchten wir das Verhältnis von KI und Vorratsdatenspeicherung sowie die Rolle von KI in der IT-Sicherheit (KI-Security), fragen nach, wie Versicherungen mit künstlicher Intelligenz funktionieren, hören uns bei den Münchner KI-Start-ups um und sehen nach, was das AIR-Projekt in Regensburg vorhat. Ein Abstecher führt außerdem zu KI-Unternehmen in Österreich.

Auf der rein technischen Seite gibt es Berichte zu den speziellen Anforderungen an AI Storage und Speicherkonzepte bzw. generell an die IT-Infrastruktur für KI-Anwendungen. Außerdem erklären wir, was es mit AIOps auf sich hat, und im Pressezentrum des MittelstandsWiki gibt es außerdem die komplette KI-Strecke aus dem Heise-Sonderheft c’t innovate 2020 als freies PDF zum Download.

Transparenz vs. Qualität?

Das alles ist leichter geschrieben als getan. Selbst wenn der Input dokumentiert wird, weiß man immer noch nicht, wie der Output zustande kam. Eine Möglichkeit wäre, die Transparenzvorgaben umso höherzustecken, je wichtiger die Entscheidung des Systems für das Leben der Menschen ist: Während individualisierte Konsumempfehlungen auf Basis von KI hinsichtlich ihrer Folgen eher harmlos sind, sind die Maßstäbe in der Medizin, im Straßenverkehr oder in Bewerbungssituationen andere.

Dennoch bliebe die Black Box – mal mehr, mal weniger – schwarz. Und selbst wenn eine komplette Offenlegung der Mechanismen möglich wäre, würden sich neue Fragen stellen. Oftmals sind die Algorithmen der Kern einer Geschäftsidee. Wären die Unternehmen gezwungen, sie zugänglich zu machen, würden sie Gefahr laufen, das Geheimnis ihres Erfolges zu lüften. Das Rad zurückzudrehen und auf die Anwendung der Technologie zu verzichten, ist auch keine befriedigende Lösung, zumal KI praktisch und im globalen Umfeld ohnehin nicht mehr aufzuhalten ist.

Der Königsweg könnte über besagte Explainable AI führen. Es geht darum, „Techniken des maschinellen Lernens zu entwickeln, mit denen – unter Beibehalt der Vorhersagegenauigkeit – besser erklärbare Modelle erzeugt werden“, schreibt PwC. Sie seien ausschlaggebend für die Schaffung von Vertrauen in die Technologie und ihre weitere Verbreitung. Für Unternehmen könnten sie zur Best Practice oder gar zur Voraussetzung werden. Um sie umzusetzen, forschen Wissenschaftler und Entwickler derzeit an mehreren Methoden.

EthicsguidelinesfortrustworthyAI-DEpdf-2.jpg
Die EU-Experten sehen vertrauenswürdige KI letztlich als iterativen Prozess, der sich über den gesamten Lebenszyklus des Systems hin erstreckt. (Bild: HEG-KI – Europäische Kommission)

Verschiedene Modelle

Die Gesellschaft für Informatik (GI) unterscheidet sie nach ihrem Post-hoc- oder Ante-hoc-Ansatz. Post-hoc-Ansätze erklären eine spezifische Lösung im Nachhinein – und nicht das gesamte Modell. Ante-hoc-Methoden sind dagegen von Natur aus transparent, sie sind systemimmanent interpretierbar. Verständlich wird das, wenn man sich als Modell z. B. einen einfachen Entscheidungsbaum vorstellt. Die Krux ist, dass man mit einfachen Entscheidungsbäumen bei KI nicht weit kommt. Solche nachvollziehbaren Darstellungen werden gerade bei komplexen KI-Systemen schnell mindestens ebenso komplex. Sie in den Griff zu bekommen, ist zwar schwierig, aber mit neuen Methoden offenbar nicht unmöglich.

Ein Beispiel für einen Post-hoc-Ansatz ist das Layer-Wise-Relevance-Propagation-Verfahren (LRP). Stark vereinfacht erlaubt es LRP, die „Denkprozesse“ von neuronalen Netzen „rückwärts“ ablaufen zu lassen. Dadurch wird sichtbar, welcher Input welchen Einfluss auf das jeweilige Ergebnis hatte – wie es etwa zu einer bestimmten Risikobewertung oder einer medizinischen Diagnose gekommen ist. Die Technik wurde von der TU Berlin und dem Heinrich-Hertz-Institut erdacht. Die Weiterentwicklung der LRP-Technologie, die Spectral Relevance Analysis (SpRAy), kann den Wissenschaftlern zufolge ein breites Spektrum erlernter Entscheidungsverhalten identifizieren und quantifizieren: „So wird es möglich, auch in sehr großen Datensätzen unerwünschte Entscheidungen zu erkennen.“

Pi040 zug-schiff.jpg
KI tickt anders: Ob Züge fahren, erkennt das System an den Schienen; Schiffe klassifiziert es anhand von Wasser. (Bild: TU Berlin/HHI – Nature Communications, CC BY)

Generalisierte Additive Modelle (GAM) gehören dagegen zu den Ante-hoc-Methoden. Ein vielversprechender Ansatz dazu wurde von Dr. Rich Caruana und seinem Team präsentiert: Er wendete solche Modelle mit paarweisen Interaktionen auf medizinische Problemstellungen an („Intelligible Models for HealthCare“). Sie „sind für medizinische Experten verständlich und erlauben die Entdeckung von Mustern in den Daten – die ansonsten verborgen geblieben wären“, resümiert die GI. Der Einfluss jedes Merkmals auf das Ergebnis kann beispielsweise durch Heatmaps visualisiert werden. Der Ansatz ist allerdings nur bei einem Teil von KI-Anwendungen sinnvoll einsetzbar.

Eine pragmatische Lösung, die zahlreiche Interessen der Beteiligten berücksichtigt, ist die Idee der sogenannten Counterfactual Explanations. Ein Team um Prof. Sandra Wachter vom Oxford Internet Institute schlägt vor, bei KI-Entscheidungen die Konditionen zu nennen, die zu einer anderen Entscheidung geführt hätten. Der Gedanke dahinter ist, dass beispielsweise Bankkunden, denen eine Kreditanfrage mittels KI abschlägig beschieden wurde, nicht wissen wollen, wie der zugrunde liegende Algorithmus funktioniert. Sie interessiert kurz und knapp, womit die Absage begründet wird. Das ist leistbar, ohne die Black Box komplett zu verstehen – und ohne sie offenlegen zu müssen.

Bis KI dies irgendwann einmal sogar selbst kann, wird also noch einige Zeit vergehen: „Sich selbst erklärende KI-Ansätze, welche Entscheidungen der KI nachvollziehbar machen, sind in ausreichender Güte nicht absehbar“, schreibt das Fraunhofer-Institut für Eingebettete Systeme und Kommunikationstechnik ESK mit Bezug auf das autonome Fahren.

Ethische Verantwortung

In der Zwischenzeit entdecken zunehmend mehr Unternehmen Responsible AI, also „verantwortungsvolle KI“ für sich. Wenn es darum geht, Transparenz und Vertrauen aufzubauen, ohne die zugrunde liegenden Mechanismen erklären zu können, ist sie der logische nächste Schritt. Unter dem Begriff werden Maßnahmen und Instrumente zusammengefasst, die sicherstellen sollen, dass ethische Werte wie Fairness, Gleichbehandlung und Verantwortung berücksichtigt werden – sowohl beim Entwickeln als auch beim Einsatz von KI.

Google etwa hat eine 20-seitige Broschüre herausgegeben, in der das Unternehmen seine Idee der verantwortungsvollen Entwicklung von KI-Lösungen darstellt. So nutze man u. a. ein interaktives Visualisierungstool, mit dem Entwickler ein ganzheitliches Bild ihrer Trainingsdaten sehen können. Ein anderes Tool suche nach statistischen Minderheiten in den Daten. Auch werde man keine KI für Waffen oder andere Technologien entwickeln oder einsetzen, die darauf abzielen, Verletzungen von Menschen zu verursachen. Warten wir ab, was aus diesem „Don’t be evil“-Motto wird.

Die Beratung Accenture nennt unterdessen vier grundlegende Elemente einer Responsible AI:

  1. Unternehmen müssen einen entsprechenden KI-Rahmen schaffen, der auf ihren Kernwerten, den ethischen Leitplanken und den gesetzlichen Vorgaben basiert.
  2. Darüber hinaus sollten schon bei der Entwicklung von KI-Lösungen Anforderungen an die Privatsphäre, Transparenz und Sicherheit berücksichtigt werden.
  3. Im Einsatz erfordere KI eine enge Überwachung durch Menschen und anhand von Schlüsselkennzahlen.
  4. Auch die Mitarbeiter gehören demnach mit ins Boot: Sie müssten entsprechend weitergebildet und informiert werden, um die Vorteile der KI im Rahmen ihrer Tätigkeit voll ausschöpfen zu können.

Das mag noch einige Fragen offenlassen. Aber es klingt nach einem nächsten Entwicklungsschritt auf einem Weg, der aller Voraussicht nach noch weit in die Zukunft führen wird.

David Schahinian neu.JPG

David Schahinian arbeitet als freier Journalist für Tageszeitungen, Fachverlage, Verbände und Unternehmen. Nach Banklehre und Studium der Germanistik und Anglistik war er zunächst in der Software-Branche und der Medienanalyse tätig. Seit 2010 ist er Freiberufler und schätzt daran besonders, Themen unvoreingenommen, en détail und aus verschiedenen Blickwinkeln ergründen zu können. Schwerpunkte im IT-Bereich sind Personalthemen und Zukunftstechnologien.

Nützliche Links