퀀텀런

이미지 크레딧:

iStock

문제가 있는 훈련 데이터: AI가 편향된 데이터를 가르칠 때

인공 지능 시스템은 때때로 행동하고 결정을 내리는 방식에 영향을 줄 수 있는 주관적인 데이터와 함께 도입됩니다.

저자:
저자 이름
퀀텀런 예측
2022 년 10 월 14 일

인사이트 요약

우리는 우리가 배우고 내면화하는 것입니다. 이 말은 인공 지능(AI)에도 적용됩니다. 불완전하고 편향되고 비윤리적인 데이터를 제공하는 기계 학습(ML) 모델은 궁극적으로 문제가 있는 결정과 제안을 내립니다. 이러한 강력한 알고리즘은 연구자가 주의하지 않으면 사용자의 도덕성과 인식에 영향을 미칠 수 있습니다.

문제가 있는 학습 데이터 컨텍스트

2010년대부터 연구팀은 부적절한 콘텐츠가 포함된 학습 데이터 세트를 사용하거나 비윤리적으로 수집된 것으로 조사되었습니다. 예를 들어, 2016년 Microsoft의 MS-Celeb-1M 데이터베이스에는 10명의 다양한 유명인의 이미지 100,000만 개가 포함되어 있었습니다. 그러나 추가 조사 결과, 특파원들은 다수의 사진이 소유자의 동의나 인지 없이 다양한 웹사이트에서 가져온 일반 사람들의 사진임을 발견했습니다.

이러한 인식에도 불구하고 해당 데이터 세트는 Facebook 및 주 경찰과 연계된 중국 안면 인식 회사인 SenseTime과 같은 주요 기업에서 계속 활용되었습니다. 마찬가지로 듀크대학교 캠퍼스를 걷는 사람들의 사진이 포함된 데이터세트(DukeMTMC)도 동의를 수집하지 않았습니다. 결국 두 데이터 세트가 모두 제거되었습니다.

문제가 있는 훈련 데이터의 피해 효과를 강조하기 위해 MIT(Massachusetts Institute of Technology)의 연구원들은 Norman이라는 AI를 만들어 노골적인 폭력을 강조한 하위 레딧에서 이미지 캡션을 수행하도록 가르쳤습니다. 그런 다음 팀은 기존 데이터를 사용하여 훈련된 신경망에 Norman을 배치했습니다. 연구원들은 두 시스템에 Rorschach 잉크 얼룩을 제공하고 AI에게 그들이 본 것을 설명하도록 요청했습니다. 결과는 놀라웠습니다. 표준 신경망이 "야구 글러브의 흑백 사진"을 본 곳에서 Norman은 "대낮에 기관총에 의해 살해된 남자"를 관찰했습니다. 실험은 AI가 자동으로 편향되지는 않지만 이러한 데이터 입력 방법과 제작자의 동기가 AI의 행동에 상당한 영향을 미칠 수 있음을 보여주었습니다.

파괴적 영향

2021년에 연구 기관인 Allen Institute for AI는 모든 윤리적 질문에 대한 답변을 알고리즘 방식으로 생성하는 ML 소프트웨어인 Ask Delphi를 만들었습니다. 프로젝트를 맡은 연구원들은 AI가 점차 더 강력해지고 친숙해지기 때문에 과학자들이 이러한 ML 시스템 윤리를 가르쳐야 한다고 말했습니다. Unicorn ML 모델은 Delphi의 기초입니다. 텍스트 문자열의 가장 가능성 있는 결말을 선택하는 등의 "상식" 추론을 수행하도록 공식화되었습니다.

게다가 연구자들은 '상식 규범 은행'을 사용했습니다. 이 은행은 Reddit과 같은 곳에서 수집된 사람들의 윤리적 평가 사례 1.7만 개로 구성되어 있습니다. 결과적으로 델파이의 결과물은 혼합백이었습니다. 델파이는 일부 질문에 합리적으로 답변한 반면(예: 남성과 여성의 평등), 일부 주제에서는 델파이가 완전히 공격적이었습니다(예: 집단 학살은 사람들을 행복하게 만드는 한 허용됩니다).

하지만 델파이 AI는 경험을 통해 학습하고 피드백을 바탕으로 답변을 업데이트하는 것 같습니다. 일부 전문가들은 모델이 진행 중이고 불규칙한 답변이 발생하기 쉽다는 점을 고려하여 연구가 공개적이고 공개적으로 사용되는 것에 대해 우려하고 있습니다. Ask Delphi가 데뷔했을 때, 일리노이 공과대학에서 젠더, 노동, 컴퓨팅 역사를 전공한 역사 교수인 Mar Hicks는 Delphi가 즉시 극도로 비윤리적인 답변을 제공했고 일부 사람들이 이를 사용하도록 초대하는 것은 연구원의 과실이라고 말했습니다. 완전 넌센스.

2023년에 세계의 나머지 AI 이미지 생성기의 편향에 대한 연구를 수행했습니다. 연구자들은 Midjourney를 사용하여 생성된 이미지가 기존 고정관념을 확증한다는 사실을 발견했습니다. 또한 OpenAI는 DALL-E 2 이미지 생성 모델의 훈련 데이터에 필터를 적용했을 때 의도치 않게 성별과 관련된 편견을 강화했습니다.

문제가 있는 학습 데이터의 의미

문제가 있는 훈련 데이터의 더 넓은 의미는 다음과 같습니다.

연구 프로젝트, 서비스 및 프로그램 개발에서 강화된 편향. 문제가 있는 교육 데이터는 법 집행 및 은행 기관에서 사용되는 경우 특히 우려됩니다(예: 소수 집단에 불리한 표적 지정).
교육 데이터의 증가 및 분류에 대한 투자 및 개발 증가.
기업이 다양한 상업적 이니셔티브를 위해 훈련 데이터를 개발, 판매 및 사용하는 방법을 제한하기 위해 더 많은 정부가 규제를 강화하고 있습니다.
AI 시스템으로 구동되는 프로젝트가 윤리적 지침을 따르도록 하기 위해 더 많은 기업이 윤리 부서를 설립합니다.
의료 분야의 AI 사용에 대한 조사가 강화되어 데이터 거버넌스가 더욱 엄격해지고 환자의 개인 정보 보호와 윤리적인 AI 적용이 보장됩니다.
AI 활용 능력을 키우고 AI가 지배하는 미래를 위한 기술을 인력에 갖추기 위해 공공 및 민간 부문의 협력을 강화합니다.
AI 투명성 도구에 대한 수요가 증가하면서 기업은 소비자 이해와 신뢰를 위해 AI 시스템의 설명 가능성을 우선시합니다.