In immer mehr Bereichen unseres Lebens werden wir von Maschinen beurteilt und kategorisiert. Das geschieht zunehmend automatisch, und meist ohne dass wir es merken. Diese Entwicklung hat mehrere Gründe. Zum einen ist in den vergangenen Jahren die Menge und Qualität an verfügbaren Daten drastisch gestiegen, zum anderen können diese Daten durch immer komplexere Algorithmen und die wachsende Rechenleistung der Computer besser ausgewertet werden. Kürzlich sorgte zum Beispiel ein kanadisches Unternehmen für Aufsehen, welches mittels Algorithmen von veränderten Sprachmustern auf eine Alzheimer-Erkrankung schliessen konnte. Das Start-up will nun darauf basierend eine Software entwickeln, die erste Anzeichen von Alzheimer erkennt, bevor ein Rückgang der kognitiven Fähigkeiten einsetzt.Auf den ersten Blick ist das eine gute Nachricht. Erkennt man Krankheiten zwei bis drei Jahre, bevor der Patient eindeutige Symptome zeigt, bleibt mehr Zeit für Therapien. Martin Kolmar, Direktor des Instituts für Wirtschaftsethik an der Universität St. Gallen, sieht in genau solchen Algorithmen aber auch Gefahren. «In den Händen von Ärzten können solche Informationen sehr wertvoll sein. In den Händen von Versicherungen oder potenziellen Arbeitgebern könnten den Betroffenen Nachteile entstehen.» Zu denken sei beispielsweise an die Höhe von Versicherungspolicen oder die Chancen bei einer Jobbewerbung. Der Einsatz von Algorithmen ist also nicht gut oder schlecht. Die Frage ist, wer diese Algorithmen zu welchem Zweck einsetzt.
Banken und Versicherungen setzen auf automatische Entscheidungsverfahren und komplexe Algorithmen. Das wirft ethische Fragen auf.
Diskriminierungspotenzial ist allgegenwärtig
Gerade für die Finanzbranche birgt der Einsatz von Algorithmen grosses Potenzial. Schliesslich ist die möglichst exakte Einschätzung von Risiken für Banken und Versicherungen unerlässlich. Zudem verfügen diese Unternehmen bereits über genügend hochwertige Daten. «Das ist wichtig, weil die Daten beim Einsatz solcher Algorithmen gewissermassen als Rohstoff dienen», sagt Kolmar. «Vereinfacht gesagt wird ein Algorithmus mit Datensätzen gefüttert, erkennt darin Zusammenhänge und verdichtet sie zu nutzbaren Informationen. Anhand dieser Zusammenhänge kann dann bei neuen Daten mit einer bestimmten Wahrscheinlichkeit von bekannten Merkmalen auf bisher unbekannte Merkmale geschlossen werden. Je hochwertiger und umfangreicher das Ausgangsmaterial ist, desto präziser sind die Vorhersagen.»
Banken können solche Algorithmen beispielsweise zur genaueren Bewertung des Kreditausfallrisikos ihrer Kunden einsetzen. Das ist aber mit einem erheblichen Diskriminierungspotenzial verbunden, wie ein hypothetisches, aber durchaus realistisches Szenario aus einer Studie des Bundes zu diesem Thema zeigt. Darin geht es um ein Vorhersagesystem, welches sich auf die Tatsache stützt, dass 80 Prozent der Bewohner eines bestimmten Quartiers ihre Rechnungen verspätet begleichen. Lehnt die Bank dann für alle Bewohnerinnen und Bewohner des Quartiers auf Grundlage dieser Ergebnisse jeden Kredit ab, benachteiligt dies auch die 20 Prozent der Bevölkerung, die ihre Rechnungen rechtzeitig bezahlen. Das Problem besteht in diesem Fall darin, dass der Algorithmus nicht perfekt genug klassifizieren kann.
Aber auch bei einer perfekten Klassifizierung gibt es neben Chancen ethische Probleme. In der Versicherungsbranche ist das Diskriminierungspotenzial offensichtlich. Gemäss Bericht des Bundes bestehe bei einem gelockerten Datenschutz oder einer freiwilligen Herausgabe von Daten die Möglichkeit, dass Versichertenprämien in Zukunft beispielsweise vom Einkaufsverhalten, von der Nutzung des Internets und elektronischer Geräte, vom Reiseverhalten oder vom täglichen Muster des Arbeitsweges abhängen könnten.
Bis jetzt kaum Regulierung
Der Einsatz von persönlichen Daten im Zusammenhang mit Algorithmen kann also zu Diskriminierungen führen, die im Einzelfall unfair sind. «Dieses Problem wird natürlich auch in der Finanzbranche erkannt und diskutiert», sagt Kolmar. «Es gibt durchaus Stimmen, die eine bessere Regulierung von staatlicher Seite verlangen, denn bis jetzt gibt es noch erstaunlich wenig verbindliche Regeln. Setzt der Gesetzgeber aber keine Schranken, ist in einer freien Marktwirtschaft zu erwarten, dass die Unternehmen profitmaximierend handeln.» Das hiesse, dass alle verfügbaren Informationen gewinnbringend eingesetzt werden und Diskriminierungen stattfinden, wo dies dem Vorteil des Unternehmens dient. Und hier stellt sich die zentrale Frage: Können wir davon ausgehen, dass sich Gewinninteresse und gesellschaftliches Interesse decken?
Die Finanzbranche befindet sich also in einer Zwickmühle. Den Unternehmen ist einerseits das Skandalisierungspotenzial bewusst. Andererseits steht natürlich auch der Schweizer Finanzsektor in einer globalisierten Welt mit anderen Unternehmen in Konkurrenz. «Wenn der Einsatz bestimmter Informationen und Algorithmen in der Schweiz verboten wird, in anderen Ländern aber weiterhin erlaubt ist, entsteht ein Standortnachteil», sagt Kolmar. Eine Selbstregulierung oder ein Schweizer Alleingang sei entsprechend schwierig umzusetzen. «Man müsste das Problem wohl mindestens auf europäischer Ebene, besser weltweit angehen. Das ist aber sehr schwierig umzusetzen.»
Verbote bringen wenig
Die Frage, ob Regulierungen möglich sind, ist nur die Spitze des Eisbergs. Wie diese Regeln aussehen sollen, sei noch schwieriger zu beantworten und auch in Fachkreisen alles andere als geklärt. «Eine naheliegende Idee wäre, die Verwendung bestimmter Informationen im Algorithmus für einen bestimmten Wirtschaftszweig zu verbieten», sagt Kolmar. Das hiesse konkret, dass medizinische Daten nur dem Gesundheitssektor zur Verfügung stehen und im Finanzsektor nicht verwertet werden dürfen. «Dieser Ansatz greift jedoch zu kurz, da oft über alternative und zulässige Informationen dieselben Rückschlüsse gezogen werden können.» In einer segregierten Gesellschaft beispielsweise bringe es nichts, die Information über die ethnische Herkunft zu verbieten, weil die Wohnortadresse höchstwahrscheinlich Rückschlüsse auf die ethnische Herkunft erlaube.
Ein alternativer Ansatz bestehe deshalb darin, die Verwendung individueller Merkmale für bestimmte Wirtschaftsbereiche zu verbieten. In der Schweiz wird dies in der Grundversicherung der Krankenkassen praktiziert. Übergewichtige zahlen nicht mehr als Normalgewichtige. «Weil solche Regulierungen in Zukunft sehr viele Geschäftsbereiche betreffen würden, wäre der Preis für diese Lösung eine sehr starke Regulierung vieler Märkte mit entsprechendem bürokratischen Aufwand und einer Schwächung des Wettbewerbs», so Kolmar.
Gesellschaft ist gefordert
Wenn Verbote allein das Problem nicht effizient lösen können, was also ist die Lösung? Martin Kolmar hat darauf keine fertige Antwort, aber eine Idee. Denkbar sei ein Zertifizierungsverfahren für Algorithmen ähnlich dem TÜV. «Vor der Zulassung müsste nachgewiesen werden, dass alle gesetzlichen Vorgaben hinsichtlich Diskriminierung und Privatsphäre eingehalten werden. Damit würde man auch die Hersteller der Algorithmen in die Pflicht nehmen.» Weil Algorithmen aber stetig weiterentwickelt werden, führt auch dieser Ansatz zu Problemen. «Die Algorithmen auf dem Markt müssten ständig überprüft werden können. Das ist schwierig umzusetzen.»
Eine rasche und praktikable Lösung für das Regulierungsproblem ist also noch nicht in Sicht. Grundlage für jede Lösung sei aber ein gesellschaftlicher Konsens darüber, welche neuen Diskriminierungen überhaupt zulässig sein sollen. «Diskriminierungen finden in unserer marktwirtschaftlich organisierten Gesellschaft tagtäglich statt. Wir akzeptieren es zum Beispiel, dass unterschiedliche Begabungen und Fähigkeiten zu unterschiedlichen Löhnen führen. Es gibt aber eine Grenze, wo eine erwünschte in eine unerwünschte Diskriminierung übergeht», sagt Kolmar. «Wo diese Grenze gezogen werden soll, muss in einer gesellschaftlichen Diskussion ständig neu ausgehandelt werden.» Patrick Baumann
Was ist ein Algorithmus?
Der Begriff Algorithmus beschreibt eine Folge von Anweisungen, die ein bestimmtes Problem lösen sollen. Anhand dieses Lösungsplans werden in Einzelschritten Eingabedaten in Ausgabedaten umgewandelt. Wichtig ist, dass die einzelnen Schritte eindeutig definiert sind und der Algorithmus bei gleichen Voraussetzungen stets das gleiche Ergebnis liefert. Algorithmen sind in unserem Leben allgegenwärtig, ohne dass uns dies immer bewusst ist. Auf dem Navigationsgerät zeigen sie uns den kürzesten Weg, im Büro kontrollieren sie unseren Satzbau in Office Word, und Google ordnet unsere Suchergebnisse über einen speziellen Algorithmus.
In den vergangenen Jahren ist es möglich geworden, riesige Datenmengen mittels Algorithmen nach Mustern und Zusammenhängen zu durchforsten und auszuwerten. Das bringt Probleme mit sich, weil Algorithmen so unsere Verhaltensweisen analysieren und uns entsprechend kategorisieren können. Das wiederum kann zu unerwünschten Diskriminierungen führen. Das Thema Ethik und Algorithmen gewinnt deshalb stetig an Bedeutung. (pab)