Methodik
Was als Vorfall gilt
Ein Vorfall ist ein konkretes Ereignis in der realen Welt, bei dem das Verhalten oder der Einsatz eines KI-Systems tatsächlichen Schaden für Menschen, eine Organisation oder die Öffentlichkeit verursacht hat oder dazu beigetragen hat. Die KI muss eine tatsächliche Rolle im Geschehen gespielt haben: Der Schaden wäre ohne sie wahrscheinlich nicht auf dieselbe Weise eingetreten. Sie muss nicht die einzige Ursache sein.
- Einbezogen: Schäden, über die verlässliche Quellen berichten, einschließlich mutmaßlicher Schäden (zum Beispiel in einer Klage oder einer Mitteilung der Polizei), stets der Person oder Stelle zugeschrieben, die die Behauptung aufstellt; Straftaten, bei denen KI als Werkzeug diente (zum Beispiel Stimmklone bei einem Betrug); KI-Agents, deren eigene Handlungen einen Verlust verursacht haben; und aus Forschungstests von KI-Systemen nur Ereignisse, von denen Menschen oder Systeme außerhalb des Tests tatsächlich betroffen waren.
- Ausgeschlossen: Warnungen, Prognosen und Risikobewertungen; Sicherheitslücken, die nicht ausgenutzt wurden; Tests und Demonstrationen ohne Geschädigte in der realen Welt; Meinungsbeiträge; Vorfälle, die nur aus Social-Media-Beiträgen bekannt sind.
- Vorfälle mit KI-Agents sind solche, bei denen ein KI-System, das mit Werkzeugen selbstständig handelt (Code ausführen, surfen, kaufen, senden, löschen), die Handlung ausgeführt hat, die den Schaden verursachte.
- Wiederholte ähnliche Fälle (zum Beispiel viele gerichtliche Sanktionen wegen von der KI erfundener Rechtsprechungsnachweise) werden aufgenommen, wenn ein Gericht oder eine Aufsichtsbehörde eine Sanktion verhängt oder einen Schaden festgestellt hat.
Woher die Meldungen stammen
- Nachrichtenfeeds etablierter Medien und amtlicher Stellen in mehreren Sprachen.
- Das GDELT Project, dessen offene Daten Nachrichtenartikel weltweit auflisten.
- Amtliche Quellen: Aufsichtsbehörden, Gerichte, Polizei und Regierungsstellen sowie die Unfallmeldedaten der US-amerikanischen National Highway Traffic Safety Administration (nur für Statistiken verwendet).
- Andere öffentliche Vorfalldatenbanken – die AI Incident Database, das AIAAIC Repository und der OECD AI Incidents Monitor – dienen nur als Hinweise, um ursprüngliche Berichte zu finden; deren Texte oder Klassifizierungen übernehmen wir nicht.
Unser Crawler gibt sich als hurtbybot-bot zu erkennen, beachtet robots.txt und die Nutzungsbedingungen der jeweiligen Website und wartet zwischen Anfragen. Siehe unser Crawler.
Regeln für Belege
- Jeder Vorfall benötigt mindestens zwei unabhängige verlässliche Quellen, deren Volltext wir geprüft haben, oder eine amtliche Quelle (ein Gerichtsdokument oder eine Mitteilung einer Aufsichtsbehörde, der Polizei oder der Regierung). Berichte derselben Verlagsgruppe oder Kopien derselben Agenturmeldung zählen als eine Quelle.
- Verlässliche Quellen sind etablierte Nachrichtenorganisationen, amtliche Stellen und die beteiligten Unternehmen (für ihre eigenen Stellungnahmen). Social-Media-Beiträge, Foren und Content-Farmen werden nicht als Quellen verwendet.
- Einige Verlage erlauben keinen automatisierten Zugriff auf ihre Artikel. Wir rufen deren Seiten nie ab und verarbeiten sie nicht; verweist eine andere Datenbank auf einen ihrer Berichte über denselben Vorfall, können wir ihn unter „Weiterführende Lektüre“ aufführen, ohne ihn als Quelle zu verwenden.
- Jede Tatsache auf einer Seite stammt aus den verlinkten Quellen. Die Seite zeigt, wann jede Quelle veröffentlicht und wann sie von uns abgerufen wurde.
Wie die Seiten entstehen
Zusammenfassungen werden von einem KI-Modell ausschließlich anhand der Quellentexte nach festen Regeln verfasst:
- Jeder Satz, der ein Unternehmen oder Produkt mit einem Schaden in Verbindung bringt, nennt, wer dies behauptet („laut …“, „der Klage zufolge …“, „nach Angaben der Polizei …“, „das Gericht stellte fest …“, „das Unternehmen erklärte …“). Dies gilt auch dann, wenn ein Gericht, eine Aufsichtsbehörde oder das Unternehmen einen Teil des Geschehens bestätigt hat: Das Bestätigungsetikett auf einer Seite gibt an, was von wem bestätigt wurde, und macht andere Behauptungen nicht zu Tatsachen.
- Hat ein Unternehmen oder eine Behörde reagiert – einschließlich eines Dementis oder der Weigerung, sich zu äußern –, wird die Reaktion aufgenommen.
- Privatpersonen werden nie namentlich genannt, auch wenn die Quellen ihre Namen nennen. Minderjährige und ihre Familien werden nie namentlich genannt oder mit identifizierenden Details beschrieben.
- Über Suizid und Selbstverletzung wird nach internationalen Leitlinien für sichere Berichterstattung berichtet: keine Angaben zur Methode, keine reißerische Sprache und Hinweise auf Hilfetelefone auf der Seite.
- Zahlen müssen in einer Quelle vorkommen. Daten werden aus strukturierten Feldern angezeigt und nicht im Text neu eingetippt.
- Zitate, Bilder oder Videos aus den Quellen werden nicht erneut veröffentlicht.
Automatische Prüfungen vor der Veröffentlichung
- Regelprüfung – Pflichtfelder, gültige Daten und Kategorien, auf Quellen zurückführbare Zahlen, keine Zitate, keine Aktenzeichen oder Rechtsquellenangaben im Text, keine Namen von Privatpersonen, keine reißerische Wortwahl.
- Unabhängige Faktenprüfung – Ein Modell eines anderen KI-Anbieters vergleicht den Entwurf mit den Quellentexten und markiert alles, was nicht belegt, falsch zugeschrieben, als Tatsache dargestellt (obwohl nur behauptet) oder falsch klassifiziert ist.
- Dublettenprüfung – Neue Meldungen werden mit bestehenden Vorfällen abgeglichen, sodass ein Ereignis nur eine Seite hat.
- Seitenprüfung – Vor jeder Aktualisierung wird die gesamte Website auf leere Seiten, defekte Links, fehlende Übersetzungen und andere Fehler geprüft.
Ein Entwurf, der durchfällt, wird nicht veröffentlicht. Er wird in einer späteren Runde erneut versucht und nach drei Fehlschlägen verworfen. Wir veröffentlichen lieber weniger, als etwas Falsches zu veröffentlichen.
Klassifizierung
Der Schweregrad ist die höchste Stufe, deren Beschreibung erfüllt ist; dabei werden nur Schäden und Zahlen verwendet, die in den Quellen genannt sind. Liefern die Quellen die für eine Stufe nötigen Informationen nicht, wird diese Stufe nicht verwendet.
Schadensart
| Betrug & Scams | Geld oder Vermögenswerte, die durch Täuschung mithilfe von KI verloren gingen (Stimmklone, Deepfake-Videoanrufe, KI-verfasstes Phishing, gefälschte Investmentanzeigen mit KI-Abbildern). |
|---|---|
| Deepfake-Missbrauch | Nicht einvernehmliche synthetische Bilder, Videos oder Audiodateien realer Personen, die genutzt werden, um sie zu demütigen, zu sexualisieren, zu erpressen oder sich als sie auszugeben (nicht primär aus finanziellem Interesse). |
| Psychische Schäden | Psychische Schäden im Zusammenhang mit der Interaktion mit einem KI-System: Ermutigung zu Selbstverletzung, emotionale Abhängigkeit, Manipulation, belastende Ausgaben. |
| Körperverletzung oder Tod | Körperverletzung, Tod oder Sachschaden im Zusammenhang mit einem physischen KI-System oder einer KI-gestützten Entscheidung (Fahrzeuge, Roboter, medizinische Systeme). |
| Falsche Beschuldigung | Eine Person wurde aufgrund einer KI-Ausgabe fälschlich identifiziert, festgenommen, beschuldigt, markiert oder sanktioniert (Gesichtserkennung, Betrugsscores, KI-Detektoren). |
| Diskriminierung | Ungleichbehandlung von Menschen aufgrund geschützter Merkmale, die von einem KI-System verursacht oder verstärkt wurde. |
| Zu Unrecht verweigerte Leistung | Leistungen, Kredit, Versicherung, Pflege, Beschäftigung oder Wohnraum, die durch ein automatisiertes Entscheidungssystem zu Unrecht verweigert, gekürzt oder verzögert wurden. |
| Datenschutz & Datenlecks | Personenbezogene oder vertrauliche Daten, die durch ein KI-System oder KI-Produkt offengelegt, preisgegeben oder missbraucht wurden. |
| Verleumdung & Falschbehauptungen | Ein KI-System erzeugte falsche, schädigende Aussagen über eine identifizierbare Person oder Organisation. |
| Desinformation | KI-generierte Falschinhalte, die sich verbreiteten und messbaren Schaden verursachten (Verwirrung in der Öffentlichkeit, Panik, Wahlbeeinflussung), ohne sich auf eine einzelne identifizierbare Person zu beziehen. |
| Fehlhandlung von KI-Agents | Ein KI-Agent führte eigenständig eine Aktion aus, die einen Schaden verursachte: Löschen von Daten, nicht autorisierte Käufe oder Überweisungen, Versand von Nachrichten, Änderungen an Systemen. |
| Erfundene Quellenangaben | KI-erfundene Tatsachen oder Rechtszitate, die vor Gericht, in behördlicher oder beruflicher Arbeit eingereicht wurden und zu Sanktionen, Fehlern oder vergeudeten Verfahren führten. |
| Sicherheitsverletzung | KI-Systeme, die ausgenutzt oder eingesetzt wurden, um Systeme zu kompromittieren: Prompt Injection, KI-gestütztes Eindringen, bösartige KI-Werkzeuge. |
| Schädliche Inhalte | KI-Ausgaben, die Menschen (insbesondere Minderjährige) sexuellen, gewalttätigen oder gefährlichen Inhalten oder Anleitungen aussetzten. |
KI-System
| Chatbot / Assistent | Dialogorientierte KI (allgemeine Assistenten, Companion-Apps, Kundendienst-Bots, die nur kommunizieren). |
|---|---|
| KI-Agent | Ein KI-System, das eigenständig mit Werkzeugen Aktionen ausführt: Coding-Agents, Browser-/Computer-Use-Agents, Agents, die kaufen, senden, löschen oder verändern. |
| Generierte Bilder / Videos / Stimmen | Systeme, die synthetische Bilder, Videos, Audioinhalte oder Stimmklone erzeugen. |
| Empfehlungs- / Ranking-System | Feeds, Ranking, Anzeigen-Targeting oder Algorithmen zur Inhaltsmoderation. |
| Autonomes Fahrzeug / Fahrassistenzsystem | Selbstfahrende Autos, Robotaxis, Fahrassistenzsysteme, autonome Drohnen oder Schiffe. |
| Gesichtserkennung / Biometrie | Gesichtserkennung, Stimm- oder sonstige biometrische Identifikation und Emotionserkennung. |
| Automatisiertes Entscheidungssystem | Scoring- oder Anspruchsprüfungssysteme bei Kredit, Versicherung, Sozialleistungen, Personalauswahl, Polizeiarbeit, Gesundheitsversorgung oder Bildung. |
| Roboter | Physische Roboter außer Fahrzeugen (industriell, Lieferung, Haushalt, chirurgisch). |
| KI-Entwicklerwerkzeuge | Modelle, APIs, Coding-Assistenten oder KI-Plattformen, deren Fehler oder Schwachstellen Nutzern oder Betreibern schadeten (sofern kein eigenständig handelnder Agent). |
| Anderes KI-System | Jedes andere KI-System. |
Schweregrad
| 1 — Gering | Unannehmlichkeit oder Peinlichkeit, innerhalb weniger Tage umkehrbar; Verlust unter 1.000 US-Dollar pro Opfer; keine Verletzung (z. B. eine falsche Chatbot-Antwort, die später korrigiert wurde, ein kleiner ungewollter Kauf). |
|---|---|
| 2 — Mäßig | Verlust von 1.000–100.000 US-Dollar; behebbarer Datenverlust oder Ausfall unter 24 Stunden; leichte Verletzung; unrechtmäßige Anhaltung oder Festsetzung unter 24 Stunden; personenbezogene Daten von weniger als 10.000 Personen offengelegt; ein nicht sexueller Deepfake, der eine identifizierbare Person schädigt. |
| 3 — Ernst | Verletzung mit Krankenhausbehandlung; Verlust von 100.000–10 Millionen US-Dollar; Festsetzung von 24 Stunden oder länger oder eine unrechtmäßige Anklage; nicht behebbarer Datenverlust für eine Organisation; Ausfall von 24 Stunden oder länger oder mit mehr als 100.000 betroffenen Nutzern; sensible Daten von 10.000 oder mehr Personen offengelegt; sexuelle Deepfakes identifizierbarer Personen; diskriminierende Verweigerung von Stellen, Krediten oder Leistungen für eine Gruppe; Schaden für Minderjährige. |
| 4 — Schwer | Tod einer Person oder schwere Gesundheitsschädigung; Verlust von über 10 Millionen US-Dollar; sensible Daten von 1 Million oder mehr Personen offengelegt; schwere, irreversible Störung kritischer Infrastruktur; sexuelles Missbrauchsmaterial oder Schaden für viele Minderjährige; die Feststellung einer Grundrechtsverletzung durch ein Gericht oder eine Aufsichtsbehörde. |
| 5 — Katastrophal | Mehrere Todesopfer oder eine Störung einer Gemeinschaft oder Gesellschaft, die deren Bewältigungsfähigkeit übersteigt. |
Grad der Bestätigung
| Berichtet | Von verlässlichen Quellen beschrieben, aber weder von einer beteiligten Partei bestätigt noch von einem Gericht oder einer Aufsichtsbehörde festgestellt. Umfasst eingereichte Klagen, Beschwerden, Festnahmen, Anklagen, Untersuchungen, Consent Orders und Vergleiche ohne Schuldeingeständnis. |
|---|---|
| Von einer Partei bestätigt | Das Unternehmen, das das KI-System entwickelt oder eingesetzt hat, oder die geschädigte Organisation hat den Sachverhalt öffentlich bestätigt (auch wenn es die Verantwortung bestreitet), oder Polizei/Behörden haben bestätigt, dass das Ereignis stattgefunden hat. |
| Feststellung von Aufsichtsbehörde oder Gericht | Ein Gerichtsurteil oder eine Entscheidung mit Tatsachenfeststellungen, eine endgültige Behördenentscheidung mit Feststellungen, eine strafrechtliche Verurteilung oder ein Schuldeingeständnis oder eine Entscheidung eines Tribunals stellt fest, was geschehen ist. Vergleiche, Consent Orders und Anklagen zählen nicht. |
Übersetzungen
Seiten werden zunächst auf Englisch verfasst und dann mithilfe eines Glossars von einem KI-Modell übersetzt. Jede Übersetzung wird automatisch geprüft – dieselben Zahlen und Namen, dieselbe Anzahl an Zeitleistenpunkten, kein unübersetzter Text – und anschließend von einem Modell eines anderen KI-Anbieters auf veränderte Bedeutung, verlorene Zuschreibungen oder Dementis und unsichere Formulierungen überprüft. Eine Sprachversion wird nur veröffentlicht, wenn sie beide Prüfungen besteht. Chinesische Zusammenfassungen werden auf 80–150 Zeichen gekürzt; sie können Nebendetails weglassen, behalten aber bei, wer was sagt.
Die Leitfäden „Schützen Sie sich“ werden auf dieselbe Weise geprüft; zusätzlich wird jede Empfehlung und jede Tatsache im englischen Leitfaden anhand der amtlichen Quelle überprüft, auf die er verweist; ein Leitfaden wird nur angezeigt, solange diese Prüfung bestanden wird. Die Prüfung wird alle 30 Tage wiederholt.
Qualitätsstatistik
Zahlen aus unserer automatisierten Pipeline für die letzten 30 Tage.
| Veröffentlichte Vorfälle | 2 |
|---|---|
| Veröffentlichte Aktualisierungen von Vorfällen | 0 |
| Von den automatischen Prüfungen zurückgehaltene Entwürfe | 8 |
| Nach wiederholt gescheiterten Prüfungen verworfene Kandidaten | 3 |
| Bearbeitete Korrektur- oder Löschanfragen | 1 |
| Nach einer Anfrage korrigierte, offline genommene oder entfernte Einträge | 0 |
Aktualisierungen
Neue Meldungen werden stündlich gesammelt. Jede Stunde werden Schlagzeilen, die ein Unternehmen oder Produkt eines erfassten Vorfalls zusammen mit einer Entwicklung (Klage, Urteil, Geldbuße, Rückruf oder Reaktion) nennen, mit diesem Vorfall abgeglichen, und einmal täglich führen wir zusätzliche Suchen durch; wird eine neue Quelle bestätigt, wird die Zeitleiste aktualisiert. Jede Seite zeigt, wann sie hinzugefügt und zuletzt aktualisiert wurde.
Einschränkungen
- Unsere Zahlen spiegeln wider, worüber verlässliche Quellen berichtet haben und was unsere Pipeline gefunden und überprüft hat. Sie sind nicht die tatsächliche Zahl der KI-Schäden weltweit und sollten nicht als Rangliste von Unternehmen oder Produkten gelesen werden.
- Die Medienberichterstattung ist über Länder, Sprachen und Schadensarten hinweg ungleich verteilt.
- Krisentelefone, die auf Seiten zu Suizid oder Selbstverletzung angezeigt werden, werden täglich anhand der offiziellen Seite des jeweiligen Dienstes geprüft. Ist diese Seite von unserem Prüfsystem aus nicht erreichbar, wird die Nummer stattdessen anhand eines Nachrichtenberichts bestätigt, der eine spätere Änderung möglicherweise nicht abbildet; solche Einträge sind auf der Seite gekennzeichnet.
- Automatisierte Systeme machen Fehler. Wenn Sie einen finden, melden Sie ihn bitte.