Warum Künstliche Intelligenz Facebooks Moderationsprobleme nicht lösen kann, ohne neue zu schaffen
Der Datenkonzern Facebook setzt bei der Moderation von Inhalten
zunehmend auf Automatisierung. Eine Quelle erklärt uns erstmals, wie
sich die Maschinen auf die Moderationsarbeit auswirken. Auch wenn am
Ende heute immer noch Menschen entscheiden: Die automatisierte
Inhaltserkennung verändert die digitale Öffentlichkeit grundlegend.
Nicht maschinenlesbar: Meinungsfreiheit lässt sich nicht in Formeln übersetzen.
„Auf einmal waren da diese merkwürdigen Tickets.“ Mika* arbeitet in Essen beim Dienstleister CCC und
moderiert dort im Auftrag von Facebook Posts, Videos und Bilder,
die gegen die Regeln des Konzerns verstoßen könnten. Schon in normalen
Wochen bekommen die Moderator:innen viele Meldungen vorgelegt, die bei
ihnen Stirnrunzeln auslösen. An diesem Tag wirkten die Posts besonders
wahllos zusammengewürfelt: Oft war an ihnen überhaupt nichts
auszusetzen, außer dass ein bestimmtes Wort doppeldeutig war. „Proactive
Queue“ heißt Ticket-Warteschlage, in der diese merkwürdigen Inhalte zur
Moderation vorgelegt wurden.
Es dauerte eine Weile, bis Mika und den Kolleg:innen dämmerte, womit
sie es zu tun hatten: Proaktiv – das heißt, dass Facebooks Software
selbst Inhalte sucht und zur Löschung vorschlägt, die sie für verdächtig
hält. Heute setzt der Weltkonzern im großen Stil auf diese
automatisierte Erkennung unerwünschter Inhalte. Es ist ein qualitativer
Sprung: Lange wurden die Beiträge, über die die Moderator:innen zu
entscheiden hatten, nur von Menschen gemeldet. Sie markieren etwa ein
Bild als anstößig, gewalttätig oder obszön, so dass es als Ticket in
einem Kanal landet und auf dem Bildschirm von Content-Moderator:innen
wie Mika aufschlägt.
Künstliche Intelligenz soll es richten
Wann immer Facebook-Chef Mark Zuckerberg bei den Anhörungen im
US-Senat im vergangenen Jahr auf Probleme mit Hetze und anderen
unerwünschten Inhalten auf seiner Plattform angesprochen wurde, hatte er
für die Politik eine einfache Antwort parat: „AI will fix this“,
Künstliche Intelligenz wird es richten. Doch
immer mehr Expert:innen melden Zweifel daran an,
dass Automatisierung Facebooks Probleme tatsächlich lösen kann.
Gleichzeitig können wir beobachten, wie die automatische Vormoderation
die digitale Öffentlichkeit schon heute verändert.
Mehr als zwei Milliarden Menschen nutzen laut Unternehmensangaben die
von Facebook bereitgestellten Dienste für ihre Kommunikation. Sie
diskutieren, streiten, lieben, hassen auf den Plattform des Konzerns.
Man findet auf Facebook alles, was das Menschsein ausmacht. Auch Tod und
Gewalt in allen Variationen. „Es gibt nichts, was nicht geteilt wird“,
erzählt Mika lakonisch. Damit Videos von Vergewaltigungen und
Enthauptungen nicht online bleiben, beschäftigt Facebook über
Drittfirmen ein Heer von Moderator:innen – und ein Heer von Maschinen.
Nur für den Dienstgebrauch: Content-Moderation als Staatsgeheimnis
Wie genau das System funktioniert, soll die Öffentlichkeit nicht
erfahren. Der Konzern zieht seine Maßnahmen für die Content Moderation
auf wie ein Staatsgeheimnis, Moderator:innen müssen
Geheimhaltungsverträge unterschreiben. Und gerade beim Thema KI lässt
sich Mark Zuckerberg ungern in die Karten schauen.
Bekannt ist, dass der Konzern neben
digitalen Fingerabdrücken zur automatischen Wiedererkennung bereits gesperrter Inhalte
auf maschinelles Lernen setzt. Ein algorithmisches System erkennt
hierbei Muster in Trainingsdaten und trifft auf Basis der daraus
abgeleiteten Regeln Prognosen zur Bewertung neuer Fälle. Sehr
vereinfacht gesagt heißt das: Wenn Post X und Post Y gegen die
Gemeinschaftsstandards verstoßen haben, dann tut es Post Z, der ähnliche
Eigenschaften aufweist wie X und Y, mit hoher Wahrscheinlichkeit auch.
Durch die schiere Menge zur Verfügung stehender Daten und die
gestiegenen Rechenkapazitäten hat diese Form der „Künstlichen
Intelligenz“ in den vergangenen Jahren enorme Fortschritte gemacht. Sie
hilft bei der Diagnose von Krebs, ermöglicht Autos, die fast autonom
fahren und Sprachassistenten, die uns zehn Minuten eher wecken, wenn auf
dem Weg zur Arbeit Stau herrscht. Doch bei menschlichen Sprache und der
komplexen Abwägung, welche auf einer Plattform legitim sind und welche
nicht, stößt die Technologie an ihre Grenzen.
Kultur ist nicht maschinenlesbar
Die merkwürdigen Meldungen, über die Mika und Kolleg:innen sich
wunderten, kamen dadurch zustande, dass das System sich auf bestimmte
Schlagworte gestürzt hat, die häufig problematisch waren. In einem
anderen Kontext, etwa eine in einen Scherz oder Satire eingebette
Beleidung, war ihre Verwendung jedoch vollkommen unproblematisch. „Am
Anfang kam da ziemlich viel Schwachsinn,“ sagt Mika über die Proactive
Queue. Mit der Zeit sei das System dann besser geworden. „Wir trainieren
die KI, indem wir ihre Vorschläge als richtig oder falsch bewerten.“
Anfangs häufig wiederkehrende Fehlalarme seien nach einer Weile nicht
mehr passiert. Dafür seien neue Fehler aufgetaucht.
Das Problem ist, dass die Unterscheidung dessen, was erlaubt und was
verboten ist, in liberalen Gesellschaften eine komplexe Angelegenheit
ist. Oft entscheidet der Kontext – und der ist für Maschinen schwer zu
erfassen. Meinungsfreiheit ist ein relationales und fluides soziales
Konstrukt, dass sich nicht in Formeln übersetzen lässt. Aus diesem Grund
bekommen menschliche Moderator:innen bei der Bearbeitung von gemeldeten
Chatnachrichten Mika zufolge nicht nur die eine Nachricht, sondern auch
einen Ausschnitt des Nachrichtenverlaufs zu sehen.
Bei Bildern funktioniert die Automatisierung besser: „Pornographie
erkennt die Software inzwischen ziemlich zuverlässig“, erzählt Mika.
Etwa
96 Prozent der wegen Nacktheit wegmoderierten Bilder
sind laut Facebook-Angaben durch „Erkennungstechnologie“ entdeckt
worden. Wie Fehleranfällig KI aber auch in diesem Bereich ist,
verdeutlicht der Versuch der Blogplattform Tumblr, pornographische
Inhalte automatisiert löschen zu lassen. Neben
harmlosen Comics sperrte das System auch ein
Foto des ehemaligen US-Vizepräsidenten Joe Biden.
Viel hängt davon ab, wie gut die KI trainiert ist – dass sie jemals
zuverlässig legitime und illegtime Inhalte auseinanderhalten kann, darf
bezweifelt werden.
Facebook selbst pflegt neben der Geschichte von KI als Rettung
deshalb ein zweites Narrativ, das inzwischen noch häufiger betont wird:
Am Ende würden alle relevanten Entscheidungen von Menschen getroffen.
Die Software mache zwar Vorschläge zur Moderation, aber die
Entscheidungshoheit liege bei den Moderator:innen. Niemand soll den
Eindruck bekommen, Maschinen würden über das hohe Gut der
Meinungsfreiheit entscheiden.
Technische Lösungen für soziale Probleme
Doch selbst, wenn jede Moderationsentscheidung am Ende durch einen
Menschen geprüft wird, hat die Ausbreitung der Maschinen in der Content
Moderation einen profunden Einfluss auf die digitale Öffentlichkeit. Er
bedeutet nicht weniger als die Umkehr eines der Grundgesetze des
Internets: Bisher durften auch unerwünschte Inhalte auf Plattformen so
lange online bleiben, bis sie von irgendwem beim Betreiber einer Seite
gemeldet werden. Auch für illegale Inhalte tragen Hoster erst dann eine
Verantwortung, wenn sie darauf hingewiesen wurden und den Post trotzdem
nicht löschen.
Dieses
„Notice and Takedown“
genannte Prinzip ist in der EU in der E-Commerce-Richtlinie verankert
und konstituierend für ein freies Internet. Bei Plattformbetreibern wie
Facebook, Youtube und Twitter hat es lange Zeit zu
Verantwortungslosigkeit im Umgang mit verletzenden Inhalten geführt.
Aber es hat auch einen Teil der anarchischen Freiheit früher
Internettage in die Welt der Plattformmonopole gerettet: Selbst in den
Gruppen und Chats von Facebook war Raum für Inhalte, die gegen Regeln
wie das rigide
Nacktheitsverbot verstoßen.
Mit dem großflächigen Einsatz von Erkennungssoftware kommt Facebook
der EU-Kommission zuvor, die derzeit darauf drängt, automatische
Erkennung auszuweiten. Die
hochumstrittene neue Urheberrechtsrichtlinie
wird zur Folge haben, dass Plattformen Inhalte proaktiv und vor deren
Veröffentlichung auf Urheberrechtsverletzungen untersuchen. In
Anbetracht der täglich von Nutzer:innen veröffentlichten Inhalte ist
dies nur durch automatische Systeme möglich.
Auch für „terroristische Inhalte“
will die EU ähnliche Regeln. Was als verboten eingestuft wird, soll
nicht nur erkannt werden, sondern gar nicht mehr gepostet werden dürfen.
Trotz der bekannten Probleme bei der automatisierten Erkennung des
kulturellen Kontextes von Inhalten setzt die EU auf
technische Lösungen für soziale Probleme.
Wird diese Logik jedoch ausgeweitet, werden
die unerwünschten Nebeneffekte
zunehmen. Immer wieder werden Vorwürfe laut, das System schieße über
das Ziel hinaus. Die Nichtregierungsorganisation Reporter Ohne Grenzen
etwa machte 2016 auf den Fall des französischen Journalisten und
Terrorexperten David Thomson aufmerksam. Sein Account wurde gesperrt,
weil auf einem mehrere Jahre alten Bild die Flagge der Terrorgruppe Islamischer Staat/Daesh zu sehen war.
Dass ein Mensch sich an dem von Thomson eingeordneten und damals noch
nicht verbotenen Symbol störte, ist eher unwahrscheinlich. Stattdessen
dürfte der Post in den Schleppnetzen von Facebooks Algorithmus gelandet
sein.
Welche Öffentlichkeit wollen wir?
Tatsächlich könnte die automatische Inhalteerkennung sogar noch
ausgeweitet werden: In einer vielbeachteten Petition fordert die
Kampagnenorganisation Avaaz Mark Zuckerberg auf,
automatische Filter auch in den bisher verschlüsselten WhatsApp-Chats zu installieren.
Vor dem Hintergrund des von Falschnachrichten geprägten brasilianischen
Präsidentschaftswahlkampfes soll dies gegen Desinformation helfen.
Kann Facebook also sein Moderationsprobleme mit Künstlicher
Intelligenz lösen? Nur zu einem hohen Preis. Wenn wir über die Zukunft
der digitalen Öffentlichkeit nachdenken, sollten wir deshalb gut
überlegen, welche Bereiche wir tatsächlich an Maschinen auslagern
wollen. Mark Zuckerberg sagt, seine Systeme seien
in fünf bis zehn Jahren soweit,
jegliche Inhalte sauber zu moderieren. Auch Mika selbst rechnet fest
damit, auf Kurz oder Lang von der Software ersetzt zu werden:
„Irgendwann sind wir überflüssig.“
Über diese Recherche und die Quellen:
Unser Wissen über die Organisation des Löschzentrums in Essen beruht
auf einem mehrstündigen Gespräch von drei Redakteuren von
netzpolitik.org mit einer Quelle bei Competence Call Center, die wir im
Text geschlechterneutral Mika nennen. Wir können und wollen die Quelle,
die wir für glaubwürdig halten, aus Gründen des Informantenschutzes
nicht näher beschreiben. Wir sind uns der Probleme und des Risikos
bewusst, dass wir uns in Teilen dieser Recherche nur auf eine Quelle
stützen können. Deswegen haben wir weite Teile des Artikels durch andere
Quellen, auch von anderen Facebook-Dienstleistern verifizieren und
bestätigen lassen. Durch diese Quellen können wir heute sagen, dass bei
allen Dienstleistern sehr ähnliche oder gar gleiche Systeme eingesetzt
werden. Weite Teile dieser Recherche hat außerdem Facebook uns gegenüber
bestätigt, die Dienstleister selbst gaben kein Statement ab.
Quelle