Neuer OpenAI Bericht: Einflussnahme und KI

Screenshot: artlist.io

Seit Februar 2024 veröffentlicht OpenAI regelmäßig Berichte über den missbräuchlichen Einsatz seiner Modelle durch staatliche und nichtstaatliche AkteurInnen. In diesen sogenannten “Threat Reports” wird dokumentiert, wie OpenAI Missbrauchsmuster in seinen Systemen identifiziert, untersucht und unterbindet. Diese Initiative steht im Kontext eines breiteren Trends innerhalb der Technologiebranche, hin zu mehr öffentlicher Rechenschaftspflicht im Bereich der Sicherheit und Governance von KI-Werkzeugen.

Das Programm von OpenAI zielt darauf ab, künstliche Intelligenz mit gesundem Menschenverstand in Regeln zu fassen. Diese Regeln sollen Menschen vor realem Schaden schützen und gleichzeitig sicherstellen, dass KI mit demokratischen Prinzipien vereinbar bleibt. Der aktuelle Bericht bietet einen detaillierten Einblick in verschiedene Formen des Missbrauchs und zeigt die Reaktionen des Unternehmens darauf. In der vierten Ausgabe unseres Newsletters hat Tim bereits einen Fall aus dem Juni-Bericht von OpenAI vorgestellt, in dem russische Cyberoperationen gegen die deutsche Informationslandschaft untersucht wurden.

Der aktuelle Bericht stellt mehrere Fallstudien vor, die sowohl Cyber-Operationen als auch Information Operations (IO) umfassen. Jede Fallstudie verdeutlicht eine andere potenzielle Missbrauchsform: von der Entwicklung von Malware und Phishing über organisierte Betrugsnetzwerke bis hin zu koordinierten Einflusskampagnen. Die im Bericht diskutierten Fälle sind unter anderem: Entwicklung russischsprachiger Malware-Tools; koreanischsprachige Operatoren; Phishing- und Skriptgenerierung, Betrugsnetzwerke in Kambodscha, Myanmar und Nigeria; autoritär verknüpfte Operationen mit Bezug zu China; das Einflussnetzwerk „Stop News“; Operation „Nine–Emdash Line“.

Cyber-Operationen

Neben den Informationsoperationen, die im Bericht den Schwerpunkt bilden, beschreibt OpenAI drei Cyber-Operationen, die mit russisch-, koreanisch- und chinesischsprachigen AkteurInnen in Verbindung stehen.

Der erste Fall betrifft russischsprachige Operatoren, die versuchten, OpenAIs Modelle zur Entwicklung und Verfeinerung von Malware-Komponenten zu nutzen. Laut dem Bericht setzten diese Akteure ChatGPT ein, um Funktionen für einen Remote-Access-Trojan und andere Tools zum Datendiebstahl zu entwickeln. Zudem experimentierten sie mit Techniken zur Umgehung von Sicherheitsmechanismen. OpenAI konnte die betreffenden Konten kriminellen Gruppen zuordnen, die in Telegram-Kanälen aktiv waren und sich auf Malware-Entwicklung spezialisiert hatten. Sämtliche Accounts wurden deaktiviert, und die entsprechenden Indikatoren wurden an Industriepartner weitergegeben. Der Bericht betont, dass die Modelle den AkteurInnen keine neuen oder erweiterten Fähigkeiten verschafft hätten, die nicht ohnehin bereits öffentlich zugänglich waren.

Ein weiterer Fall betraf eine Gruppe koreanischsprachiger NutzerInnen, die ChatGPT einsetzen wollten, um Command-and-Control-Funktionen zu entwickeln. Auch diese Konten wurden gesperrt. OpenAI stellte fest, dass dadurch keine neuen oder fortgeschrittenen Fähigkeiten entstanden.

Schließlich erwähnt der Bericht eine Operation chinesischsprachiger AkteurInnen, die die Modelle zur Unterstützung bei Phishing-Aktivitäten und Tool-Entwicklung einsetzten. Wie in den anderen Fällen beschränkten sich die Aktivitäten auf Techniken, die bereits vor der Einführung großer Sprachmodelle existierten.

Informations- und Einflussoperationen

Ein großer Teil des Berichts ist dem Thema Informationsoperationen gewidmet, insbesondere der Aufdeckung und Unterbindung von Online-Betrugsnetzwerken, die ihren Ursprung in Kambodscha, Myanmar und Nigeria haben. Diese Gruppen versuchten, ChatGPT zu nutzen, um ihre Betrugsaktivitäten auszuweiten und überzeugendere Nachrichten für potenzielle Opfer zu erstellen.

Laut OpenAI folgen diese Aktivitäten häufig einem dreiteiligen Muster, das das Unternehmen als Ping, Zing, und Sting beschreibt:

• Ping - eine erste Kontaktaufnahme mit potenziellen OpferInnen,

• Zing - der Versuch, Begeisterung oder Panik zu erzeugen,

• Sting - der abschließende Schritt, bei dem Geld oder sensible Informationen erlangt werden.

Der Bericht stellt fest, dass die meisten Betrugsnetzwerke KI vor allem zur Effizienzsteigerung einsetzen, etwa für Übersetzungen, Textentwürfe oder Social-Media-Beiträge, nicht jedoch, um neue Betrugsformen zu erfinden. So nutzte beispielsweise eine mutmaßlich in Kambodscha ansässige Gruppe ChatGPT, um detaillierte Biografien für fiktive InvestmentberaterInnen und Mitarbeitende nicht existierender Handelsfirmen zu erstellen. Anschließend ließen die BetreiberInnen das Modell Beiträge in diesen erfundenen Stimmen verfassen, um glaubwürdige Online-Identitäten zu simulieren.

Bemerkenswert ist, dass ChatGPT etwa dreimal häufiger dazu verwendet wird, Betrugsversuche zu erkennen, als sie zu begehen. Dies verdeutlicht eine doppelte Dynamik: Einerseits kann KI missbräuchliche Aktivitäten verstärken, andererseits befähigt sie NutzerInnen gleichzeitig, solche Aktivitäten zu durchschauen. OpenAI hebt hervor, dass die internen Systeme zur Erkennung und Sperrung betrugsbezogener Aktivitäten seit dem letzten Bericht weiter verbessert wurden.

Wiederkehrende Aktivität: „Stop News“

Einer der detailliertesten Fälle im Bericht betrifft die bereits 2024 aufgedeckte, mit Russland in Verbindung stehende Operation „Stop News“. Dieses Netzwerk versuchte mithilfe von KI-Werkzeugen, Propagandainhalte über verschiedene Plattformen hinweg zu produzieren und zu verbreiten.

Der neue Bericht beschreibt erneute Versuche derselben AkteurInnen, OpenAIs Modelle für Text- und Skripterstellung zu nutzen. Im Zentrum standen dabei französisch- und englischsprachige Inhalte, die die Rolle westlicher Staaten in Afrika kritisierten und die russische Präsenz dort positiv darstellten. Darüber hinaus erzeugte die Gruppe englischsprachige Narrative, die sich gegen die Ukraine richteten. Die BetreiberInnen verwendeten ChatGPT, um Nachrichtenskripte, SEO-Beschreibungen und Hashtags zu generieren, teilweise auch Video-Prompts für andere KI-Modelle. Die resultierenden Inhalte wurden auf YouTube, TikTok und auf Webseiten veröffentlicht, die legitime Nachrichtenangebote wie „Newstop Africa“ imitierten. Trotz der aufwendigen Produktion blieb die Resonanz gering: Die meisten Beiträge erzielten nur wenige Aufrufe und Interaktionen.

Weitere verdeckte Operationen

Der Bericht hebt zudem zwei Operationen mit Bezug zu China hervor: Operation Nine-Emdash Line und Disrupting authoritarian-linked abuses of AI: The Example of the People’s Republic of China.

Die Erste umfasste ein kleines Netzwerk von Accounts, die englisch- und kantonesischsprachige Beiträge zu politischen Themen in Vietnam, auf den Philippinen, in Hongkong und in den USA generierten. Die zweite betraf Personen, die offenbar mit chinesischen Regierungsstellen in Verbindung standen. Sie nutzten ChatGPT, um Überwachungswerkzeuge zu entwerfen und Vorschläge für datenanalytische Projekte im Zusammenhang mit sozialen Medien und Minderheitenprofiling zu erstellen. OpenAI sperrte die beteiligten Accounts und fand keine Hinweise darauf, dass die Modelle tatsächlich zur Umsetzung oder zum Betrieb dieser Systeme eingesetzt wurden.

Transparenz als Gegenmittel

Ein wiederkehrendes Muster zeigt sich über alle dokumentierten Fälle hinweg: Die meisten AkteurInnen nutzen KI nicht, um neue Angriffsformen zu entwickeln, sondern um bestehende Abläufe zu optimieren. Ob bei Cyberkriminalität, Betrug oder Einflusskampagnen, KI fungiert hier vor allem als Verstärker für Reichweite und Geschwindigkeit.

Die Maßnahmen von OpenAI zielen darauf ab, diesen Verstärkungseffekt frühzeitig zu begrenzen. Zugleich verdeutlichen sie den Wert von Transparenz in der Governance von KI-Systemen. Solche Dokumentationen sind nicht nur ein Instrument der Gefahrenabwehr, sondern auch ein wichtiger Bestandteil der öffentlichen Nachvollziehbarkeit in einem zunehmend von KI durchdrungenen Informationsraum.

Beim Lesen des Berichts wird jedoch deutlich, dass OpenAI und seine Zusammenarbeit mit dem US-KI-Aktionsplan des Office of Science and Technology Policy sich sehr demokratisch und rechtschaffen inszenieren: „By democratic AI, we mean AI that is shaped by the democratic principles America has always stood for. This includes preventing the use of AI tools by authoritarian regimes to amass power and control their citizens.” Es wird daher fraglich, wie offen OpenAI wäre, wenn Cyber- und/oder Informationsoperationen zugunsten von Donald Trump und seiner Regierung ausfallen würden.