방법론
사건의 기준
사건이란 AI 시스템의 작동이나 사용이 사람, 조직 또는 공중에 실제 피해를 일으켰거나 피해에 기여한 구체적인 현실 세계의 일을 말한다. AI가 일어난 일에 실질적인 역할을 해야 하며, AI가 없었다면 같은 방식으로 피해가 발생하지 않았을 가능성이 높아야 한다. AI가 유일한 원인일 필요는 없다.
- 포함: 신뢰할 수 있는 출처가 보도한 피해(소송이나 경찰 발표 등에서 주장된 피해 포함, 항상 주장하는 쪽을 밝혀 서술), AI가 도구로 쓰인 범죄(예: 사기에 쓰인 음성 복제(딥보이스)), AI 에이전트 자신의 행동으로 손실이 발생한 경우, 그리고 AI 시스템에 대한 연구 시험 가운데 시험 밖의 사람이나 시스템이 실제로 영향을 받은 경우만 포함한다.
- 제외: 경고, 예측, 위험 평가, 악용되지 않은 취약점, 현실 세계의 피해자가 없는 시험과 시연, 의견 기사, 소셜미디어 게시물로만 알려진 사건.
- AI 에이전트 사건은 도구를 사용해 스스로 행동하는 AI 시스템(코드 실행, 웹 탐색, 구매, 전송, 삭제 등)이 피해를 일으킨 행동을 수행한 사건을 말한다.
- 유사 사례의 반복(예: AI가 허위로 만들어 낸 판례 등 법률 인용에 대한 다수의 법원 제재)은 법원이나 규제 당국이 제재를 부과하거나 피해를 인정한 경우에 포함한다.
보도의 출처
- 여러 언어로 된 유력 언론사와 공공 기관의 뉴스 피드.
- 전 세계 뉴스 기사를 목록화한 공개 데이터인 GDELT Project.
- 공식 출처: 규제 당국, 법원, 경찰, 정부 기관, 그리고 미국 도로교통안전청(NHTSA)의 충돌 보고 데이터(통계 용도로만 사용).
- 그 밖의 공개 사건 데이터베이스인 AI Incident Database, AIAAIC Repository, OECD AI Incidents Monitor는 원본 보도를 찾기 위한 단서로만 쓰며, 이들의 문장이나 분류는 복사하지 않는다.
우리 크롤러는 hurtbybot-bot이라는 이름으로 자신을 밝히고, robots.txt와 각 사이트의 이용 약관을 따르며, 요청 사이에 간격을 둔다. 크롤러 안내를 참고한다.
증거 규칙
- 모든 사건에는 전문을 확인한 독립적이고 신뢰할 수 있는 출처 두 건 이상, 또는 공식 출처 한 건(법원 문서, 또는 규제 당국·경찰·정부의 발표)이 필요하다. 같은 출판 그룹의 보도나 같은 통신사 기사의 사본은 한 건으로 센다.
- 신뢰할 수 있는 출처는 유력 언론사, 공공 기관, 그리고 관련 기업(자사 입장에 한함)이다. 소셜미디어 게시물, 포럼, 콘텐츠 팜은 출처로 쓰지 않는다.
- 일부 출판사는 기사에 대한 자동 접근을 허용하지 않는다. 우리는 이들의 페이지를 가져오거나 처리하지 않는다. 다른 데이터베이스가 같은 사건에 대한 이들의 보도를 가리키는 경우, 출처로 쓰지 않고 "더 읽을거리"에 올릴 수 있다.
- 페이지의 모든 사실은 링크된 출처에서 나온다. 페이지에는 각 출처의 발행 시점과 우리가 수집한 시점이 표시된다.
페이지 작성 방식
요약은 AI 모델이 출처 원문만을 사용해 정해진 규칙에 따라 작성한다.
- 기업이나 제품을 피해와 연결하는 모든 문장에는 누가 그렇게 말하는지를 밝힌다("~에 따르면", "소장에 따르면", "경찰은 ~라고 밝혔다", "법원은 ~라고 판단했다", "회사는 ~라고 밝혔다"). 법원, 규제 당국 또는 기업이 일어난 일의 일부를 확인한 경우에도 마찬가지다. 페이지의 확인 표시는 무엇을 누가 확인했는지를 알려줄 뿐, 다른 주장을 사실로 바꾸지 않는다.
- 기업이나 당국이 대응한 경우, 부인이나 논평 거부를 포함해 그 대응을 싣는다.
- 일반인은 출처가 거명하더라도 절대 이름을 거명하지 않는다. 미성년자와 그 가족도 이름을 밝히거나 신원을 알 수 있는 세부 정보로 묘사하지 않는다.
- 자살과 자해는 국제 안전 보도 지침에 따라 보도한다. 방법에 대한 세부 내용, 선정적인 표현을 쓰지 않으며, 페이지에 상담 전화 정보를 싣는다.
- 숫자는 출처에 나와 있어야 한다. 날짜는 본문에 다시 입력하지 않고 구조화된 필드에서 가져와 표시한다.
- 출처의 인용문, 이미지, 영상은 다시 게재하지 않는다.
게시 전 자동 점검
- 규칙 점검 — 필수 항목, 유효한 날짜와 범주, 출처에서 확인되는 숫자, 인용문 없음, 본문에 사건 번호나 법률 인용 표기 없음, 일반인 이름 거명 없음, 선정적 표현 없음.
- 독립 사실 확인 — 다른 AI 제공업체의 모델이 초안을 출처 원문과 대조해 근거가 없는 내용, 잘못 귀속된 내용, 주장일 뿐인데 사실로 서술된 내용, 잘못 분류된 내용을 표시한다.
- 중복 점검 — 새 보도를 기존 사건과 대조해 하나의 사건에 하나의 페이지만 두도록 한다.
- 사이트 점검 — 갱신 내용이 공개되기 전에 빈 페이지, 깨진 링크, 누락된 번역 및 기타 오류가 없는지 사이트 전체를 점검한다.
점검에 실패한 초안은 게시하지 않는다. 이후 회차에 다시 시도하며, 세 번 실패하면 폐기한다. 잘못된 내용을 게시하느니 적게 게시하는 쪽을 택한다.
분류
심각도는 설명이 충족되는 가장 높은 단계로 정하며, 출처에 명시된 피해와 수치만을 사용한다. 출처가 어떤 단계에 필요한 정보를 제공하지 않으면 그 단계는 사용하지 않는다.
피해 유형
| 사기 | AI를 이용한 기만(음성 복제, 딥페이크 영상통화, AI가 작성한 피싱, AI로 만든 유명인 얼굴을 쓴 가짜 투자 광고)으로 돈이나 자산을 잃은 피해. |
|---|---|
| 딥페이크 악용 | 실존 인물의 합성 이미지·영상·음성을 동의 없이 만들어 모욕, 성적 대상화, 협박, 사칭에 사용한 피해(주된 목적이 금전이 아닌 경우). |
| 심리적 피해 | AI 시스템과의 상호작용에 따른 정신 건강 피해. 자해 조장, 정서적 의존, 조종, 정신적 고통을 주는 출력 등. |
| 신체 부상 또는 사망 | 물리적 AI 시스템이나 AI 기반 의사결정(차량, 로봇, 의료 시스템)과 관련된 신체 부상, 사망, 재산 피해. |
| 부당한 혐의 제기 | AI 출력(얼굴 인식, 사기 점수, AI 탐지기) 때문에 사람이 잘못 식별·체포·고발·표시되거나 불이익을 받은 경우. |
| 차별 | AI 시스템이 만들어내거나 증폭한, 보호 대상 특성에 따른 부당한 차별 대우. |
| 부당한 거부 | 자동화된 의사결정 시스템 때문에 복지 급여, 신용, 보험, 의료, 고용, 주거가 부당하게 거부·삭감·지연된 경우. |
| 개인정보 침해·유출 | AI 시스템이나 AI 제품을 통해 개인정보나 기밀 데이터가 노출, 유출 또는 오용된 경우. |
| 명예훼손·허위 주장 | AI 시스템이 특정할 수 있는 개인이나 단체에 대해 허위의 명예훼손성 진술을 생성한 경우. |
| 허위 정보 | AI가 생성한 허위 콘텐츠가 확산되어 측정 가능한 피해(대중의 혼란, 공포, 선거 개입)를 낳은 경우. 특정 개인을 겨냥한 것은 제외. |
| 에이전트 오작동 | AI 에이전트가 스스로 행동하여 손실을 일으킨 경우. 데이터 삭제, 무단 구매·송금, 메시지 발송, 시스템 변경 등. |
| 조작된 인용 | AI가 지어낸 사실이나 판례 인용이 법원 제출 서류, 공문서, 전문 업무에 쓰여 제재, 오류, 소송 절차 낭비를 초래한 경우. |
| 보안 침해 | AI 시스템이 악용되거나 시스템을 침해하는 데 사용된 경우. 프롬프트 인젝션, AI 보조 침입, 악성 AI 도구 등. |
| 유해 콘텐츠 | AI 출력이 사람(특히 미성년자)을 성적·폭력적·위험한 콘텐츠나 지침에 노출시킨 경우. |
AI 시스템
| 챗봇·어시스턴트 | 대화형 AI(범용 어시스턴트, 동반자 앱, 대화만 하는 고객 서비스 봇). |
|---|---|
| AI 에이전트 | 도구를 사용해 스스로 행동하는 AI 시스템. 코딩 에이전트, 브라우저·컴퓨터 사용 에이전트, 구매·발송·삭제·변경을 수행하는 에이전트. |
| 생성형 이미지·영상·음성 | 합성 이미지, 영상, 음성, 음성 복제를 생성하는 시스템. |
| 추천·순위 알고리즘 | 피드, 순위 결정, 광고 타기팅, 콘텐츠 검열 알고리즘. |
| 자율주행차·운전자 보조 시스템 | 자율주행차, 로보택시, 운전자 보조 시스템, 자율 드론·선박. |
| 얼굴 인식·생체 인식 | 얼굴 인식, 음성 등 생체 식별과 감정 인식. |
| 자동화된 의사결정 시스템 | 신용, 보험, 복지, 채용, 치안, 의료, 교육에 쓰이는 점수 산정·자격 판단 시스템. |
| 로봇 | 차량을 제외한 물리적 로봇(산업용, 배달용, 가정용, 수술용). |
| AI 개발 도구 | 오류나 악용으로 이용자나 운영자에게 피해를 준 모델, API, 코딩 보조 도구, AI 플랫폼(스스로 행동하는 에이전트가 아닌 경우). |
| 기타 AI 시스템 | 그 밖의 모든 AI 시스템. |
심각도
| 1 — 경미 | 불편이나 당혹감 수준으로 며칠 내 회복 가능, 피해자당 손실 1,000달러 미만, 부상 없음(예: 이후 정정된 챗봇의 오답, 소액의 원치 않는 구매). |
|---|---|
| 2 — 보통 | 1,000~100,000달러의 손실, 복구 가능한 데이터 손실이나 24시간 미만의 서비스 중단, 경상, 24시간 미만의 부당한 검문·구금, 1만 명 미만의 개인정보 노출, 특정 개인 1명에게 피해를 준 비성적 딥페이크. |
| 3 — 심각 | 병원 치료가 필요한 부상, 100,000달러~1,000만 달러의 손실, 24시간 이상의 구금이나 부당한 기소, 조직의 복구 불가능한 데이터 손실, 24시간 이상 지속되거나 10만 명 이상에게 영향을 준 장애, 1만 명 이상의 민감 정보 노출, 특정 가능한 인물의 성적 딥페이크, 집단에 대한 차별적 채용·신용·급여 거부, 미성년자 피해. |
| 4 — 중대 | 사망 또는 심각한 건강 피해, 1,000만 달러 초과 손실, 100만 명 이상의 민감 정보 노출, 핵심 기반시설의 심각하고 되돌릴 수 없는 장애, 아동 성착취물 또는 다수 미성년자 피해, 법원이나 규제 당국이 기본권 침해를 인정한 경우. |
| 5 — 치명적 | 다수의 사망, 또는 공동체나 사회가 감당할 수 있는 범위를 넘는 붕괴. |
확인 수준
| 신뢰할 만한 출처의 보도 | 신뢰할 만한 출처가 보도했으나 관련 당사자가 확인하지 않았고 법원이나 규제 당국이 사실로 확정하지도 않은 경우. 제기된 소송, 민원, 체포, 기소, 조사, 동의 명령, 잘못을 인정하지 않은 합의를 포함한다. |
|---|---|
| 당사자 확인 | AI 시스템을 만들거나 사용한 기업, 또는 피해를 입은 조직이 일어난 일의 사실관계를 공개적으로 확인한 경우(책임 소재에 이견이 있더라도 해당). 또는 경찰·당국이 사건 발생을 확인한 경우. |
| 규제 당국·법원 판단 | 법원의 판결이나 사실 인정을 포함한 결정, 사실 인정을 포함한 규제 당국의 최종 결정, 형사 유죄 판결이나 유죄 인정, 또는 재판소 결정으로 일어난 일이 확정된 경우. 합의, 동의 명령, 기소는 해당하지 않는다. |
번역
페이지는 먼저 영어로 작성된 뒤 용어집을 사용해 AI 모델이 번역한다. 모든 번역은 숫자와 이름이 같은지, 타임라인 항목 수가 같은지, 번역되지 않은 텍스트가 없는지를 자동으로 점검하고, 이후 다른 AI 제공업체의 모델이 의미 변경, 누락된 귀속이나 부인, 안전하지 않은 표현이 있는지 검토한다. 두 단계를 모두 통과한 언어판만 게시한다. 중국어 요약은 80~150자로 줄이며, 부차적인 세부 내용은 생략할 수 있지만 누가 무엇을 말하는지는 유지한다.
"스스로 보호하기" 가이드도 같은 방식으로 점검하며, 이에 더해 영어 가이드의 모든 권고와 사실을 링크된 공식 출처와 대조한다. 가이드는 이 점검을 통과하는 동안에만 표시된다. 이 점검은 30일마다 반복된다.
품질 통계
최근 30일간 자동화 파이프라인의 집계다.
| 게시된 사건 | 2 |
|---|---|
| 게시된 사건 업데이트 | 0 |
| 자동 검사에서 보류된 초안 | 8 |
| 검사에 거듭 실패해 제외된 후보 사건 | 3 |
| 처리한 정정·삭제 요청 | 1 |
| 요청에 따라 정정, 비공개 처리 또는 삭제된 항목 | 0 |
갱신
새 보도는 매시간 수집한다. 매시간, 추적 중인 사건의 기업이나 제품 이름과 전개(소송, 판결, 벌금·과징금, 리콜, 대응)가 함께 등장하는 헤드라인을 해당 사건과 대조하며, 하루에 한 번 추가 검색을 실행한다. 새 출처가 확인되면 타임라인을 갱신한다. 각 페이지에는 추가된 시점과 마지막으로 갱신된 시점이 표시된다.
한계
- 우리의 집계는 신뢰할 수 있는 출처가 보도한 내용과 우리의 파이프라인이 찾아 검증한 내용을 반영한다. 이는 세계에서 실제로 발생한 AI 피해의 수가 아니며, 기업이나 제품의 순위로 읽어서는 안 된다.
- 언론 보도는 국가, 언어, 피해 유형에 따라 고르지 않다.
- 자살이나 자해를 다루는 페이지에 표시된 위기 상담 전화는 각 서비스의 공식 페이지와 매일 대조한다. 우리의 점검 도구가 해당 페이지에 접속할 수 없는 경우에는 뉴스 보도로 번호를 확인하며, 이 경우 이후의 변경 사항이 반영되지 않았을 수 있다. 이런 항목은 페이지에 표시된다.
- 자동화된 시스템은 실수를 한다. 오류를 발견하면 신고해 주시기 바란다.