Herr Schäfer, Sie beschäftigen sich in Ihrer Forschung mit der automatisierten Erkennung von Hassnachrichten. Was erforschen Sie genau?

Wir entwickeln und verbessern Tools, die automatisch Hassnachrichten in sozialen Medien erkennen können und dabei helfen, diese zu löschen. Generell wird beim maschinellen Lernen eine künstliche Intelligenz mit einem Trainingsdatensatz trainiert. Im Fall von Tools, die Hassnachrichten erkennen sollen, sind das Daten, die Menschen von Hand etikettiert haben. Sie haben also definiert, ob eine Nachricht Hassrede ist oder nicht. Aus so einem Datensatz lernt das System dann Merkmale, die typisch für Hassnachrichten sind. So weit ist dieser maschinelle Vorgang des Lernens erklärbar. Allerdings weiß man am Ende nicht, welche Merkmale der Algorithmus wirklich gelernt hat. Hier arbeite ich daran, dass dieser Prozess verständlicher wird.

Wie genau möchten Sie dies erreichen?

Indem ich der künstlichen Intelligenz zum Beispiel spezielle Merkmale vorgebe. Viele Äußerungen von Hassrede sind beispielsweise durch sehr kurze Wortsequenzen charakterisiert. Als Entwickler kann ich entscheiden, wie groß oder wie lang die Wortsequenzen sein sollen, aus denen die KI Merkmale erzeugt. Zudem haben wir ein Lexikon entwickelt, das mehr als 2.000 Begriffe umfasst, die typisch für Hassrede sind. Hier haben einige Forschende Schimpfwörter oder typische Begriffe aus Hassnachrichten gesammelt und diese nach ihrem Schweregrad gewichtet. Dadurch, dass wir der KI mit diesem Lexikon spezielle Merkmale beim Training vorgeben, können wir die Entscheidungen des Systems hinterher besser verstehen. Wir wissen dann: Die KI hat in einer Nachricht Wörter gefunden, die sie aus dem Lexikon kennt und hat deshalb die Nachricht  markiert. So markierte Nachrichten können automatisch gelöscht werden, was jedoch in Bezug auf die Meinungsfreiheit kritisch sein kann. Das System wird dadurch für Nutzer*innen verständlicher, die sich fragen: Warum wurde meine Nachricht gelöscht? Oder auch für Anwender*innen, die verstehen können, wie das System überhaupt funktioniert und es für eigene Anwendungen selbst steuern oder modifizieren möchten.

Sie haben auch bei dem HASeKI Projekt mitgewirkt. Ziel war es, über Hassrede und ihre Erkennung durch künstliche Intelligenz aufzuklären und zu sensibilisieren. Sie haben hierfür bei Tagungen den Dialog mit Bürger*innen gesucht. Was haben Sie aus diesen Gesprächen mitgenommen und was hat Sie überrascht?

Die Leute zeigten viel Interesse für Systeme, die so etwas wie die Erkennung von Hassnachrichten leisten können. Sie äußerten den Wunsch, dass mehr solcher Systeme zum Einsatz kommen, denn viele der Teilnehmenden haben selbst schon Beleidigungen oder Hassnachrichten auf Social-Media-Plattformen gelesen. Mir war aber nicht bewusst, dass viele Leute gar nicht wissen, dass oft Systeme Nachrichten analysieren. Es wird leider auf Social-Media-Plattformen nicht transparent kommuniziert, wie, warum und von wem eine Nachricht gelöscht wird. Oft werden Nachrichten einfach gelöscht und die Nutzer*innen erfahren nicht, dass diese von einem System analysiert wurde und das System die Entscheidung zur Löschung getroffen hat.

Künstliche Intelligenz und Algorithmen Alle Beiträge zum Thema

Können Sie ein Beispiel für ein Gespräch mit einem Teilnehmenden nennen?

Ein Gespräch ist mir sehr im Gedächtnis geblieben. Der Mann war Staatsanwalt und hatte erzählt, dass soziale Plattformen künftig dazu verpflichtet seien, illegale Nachrichten direkt an Behörden zu melden. Dadurch werde eine große Flut an Daten erwartet. Bei diesem Prozess war für ihn natürlich ein maschinelles System interessant, das Nachrichten kategorisiert. Seine Erwartungen an das System haben mich aber sehr überrascht. Das System solle unterscheiden können, wann eine Nachricht illegal ist und am besten noch ein ganzes Kontext- und Weltwissen hinzuziehen, um eine Nachricht zu interpretieren. Das ist aber nicht so einfach und aus meiner Sicht nicht machbar. Ich denke, das Ziel kann nur sein, dass eine KI eine Vorfilterung oder spezielle Kategorisierungen vornimmt. Das muss aber ein Mensch noch einmal manuell überprüfen und im Kontext bewerten.

Wie hat er reagiert, als Sie ihm das erklärt haben?

Er war erst einmal froh, dass sein Job nicht in Gefahr ist und er nicht überflüssig wird. Er war aber auch sehr skeptisch, ob die bereits vorhandenen Systeme wirklich hilfreich für ihn sind. Aber daran arbeite ich, um zu zeigen, dass man solche Systeme auf spezielle Anwendungen anpassen kann. Darum war es auch Ziel des HASeKI Projektes, zu zeigen, welche Methoden es schon gibt und die Leute über deren Funktionsweise aufzuklären. Im Falle dieses Teilnehmers hat dies gut geklappt.

Welche Ansätze gab es neben Dialogen noch in dem Projekt, um Leute mit den Funktionsweisen dieser Tools vertrauter zu machen und Vorbehalte zu verringern?

Es gab eine Plattform, auf der Nutzer*innen das Tool testen konnten. Sie konnten dort Nachrichten auf Hassinhalte überprüfen lassen und so die Entscheidungen des Systems nachvollziehen. Zudem haben wir im Nachgang ein Impulspapier verfasst, das die wesentlichen Ergebnisse des Projektes gut verständlich erklärt. Wir haben auch ein umfangreiches Glossar erstellt, in dem Bürger*innen Fachbegriffe aus der Computerlinguistik, insbesondere zu den Hate Speech Tools, nachschlagen können.

Was erhoffen Sie sich für die Zukunft der automatisierten Erkennung von Hassnachrichten auf sozialen Plattformen?

Sprache entwickelt sich immer weiter. Daher ist es nie gegeben, dass man mit der Entwicklung eines Spracherkennungssystems fertig ist. Wir werden die Trainingsdaten immer wieder erweitern müssen. Die Probleme liegen bei den Nutzer*innen, die solche Nachrichten posten. Wir können nur reagieren und vielleicht ein Bewusstsein dafür schaffen, dass Hass im Netz nicht in Ordnung ist.