問題のあるトレーニング データ: AI に偏ったデータを教える場合

• 著者：
• 著者名

  クォンタムラン・フォーサイト
• 2022 年 10 月 14 日

洞察の要約

私たちは学び、内面化するものです。 この格言は、人工知能 (AI) にも当てはまります。 機械学習 (ML) モデルに不完全で偏った非倫理的なデータが与えられた場合、最終的に問題のある決定や提案が行われます。 これらの強力なアルゴリズムは、研究者が注意を怠ると、ユーザーのモラルや認識に影響を与える可能性があります。

問題のあるトレーニング データのコンテキスト

2010 年代以降、研究チームは、不適切なコンテンツを含むトレーニング データセットを使用したり、非倫理的に収集されたデータセットを使用したりするために精査されてきました。たとえば、2016 年の Microsoft の MS-Celeb-1M データベースには、10 万人のさまざまな有名人の 100,000 万枚の画像が含まれていました。しかし、特派員がさらに調査したところ、多くの写真は所有者の同意や知識なしにさまざまなウェブサイトから引っ張り出された一般人の写真であることが判明しました。

この認識にもかかわらず、データセットは Facebook や州警察と関係のある中国の顔認識会社 SenseTime などの大手企業によって利用され続けました。同様に、デューク大学のキャンパス (DukeMTMC) を歩いている人々の写真を含むデータセットも同意を収集できませんでした。最終的に、両方のデータセットが削除されました。 

問題のあるトレーニング データの有害な影響を強調するために、マサチューセッツ工科大学 (MIT) の研究者はノーマンと呼ばれる AI を作成し、グラフィックの暴力を強調するサブレディットから画像キャプションを実行するように教えました。 次に、チームは従来のデータを使用してトレーニングされたニューラル ネットワークに対してノーマンを配置しました。 研究者は両方のシステムにロールシャッハのインクブロットを提供し、AI に彼らが見たものを説明するように依頼しました。 その結果は驚くべきものでした。標準的なニューラル ネットワークでは「野球のグローブの白黒写真」が見られたのに対して、ノーマン氏は「白昼堂々とマシンガンで殺害された男性」を観察しました。 この実験は、AI が自動的にバイアスされるわけではないことを示しましたが、これらのデータ入力方法とその作成者の動機が AI の動作に大きな影響を与える可能性があります。

破壊的な影響

2021 年、研究組織 Allen Institute for AI は、倫理的な質問に対する回答をアルゴリズムで生成する ML ソフトウェアである Ask Delphi を作成しました。プロジェクトの背後にある研究者らは、AI は徐々に強力になり、より身近なものになってきているため、科学者はこれらの ML システムの倫理を教える必要があると述べています。 Unicorn ML モデルは Delphi の基盤です。これは、テキスト文字列の最も可能性の高い語尾を選択するなど、「常識的な」推論を実行するために策定されました。 

さらに、研究者たちは「Commonsense Norm Bank」を使用しました。このバンクは、Reddit などの場所からの人々の倫理評価の 1.7 万件の例で構成されています。結果として、Delphi の出力はまちまちでした。デルフィはいくつかの質問には合理的に答えましたが（例：男女の平等）、一方で、いくつかのトピックに関してはまったく攻撃的でした（例：人々を幸せにする限り虐殺は容認されます）。

ただし、Delphi AI は経験から学習しており、フィードバックに基づいて回答を更新しているようです。一部の専門家は、このモデルが進行中のものであり、不規則な答えが出る傾向があることを考慮して、研究が一般に公開されることを懸念している。 Ask Delphiがデビューしたとき、ジェンダー、労働、コンピューティングの歴史を専門とするイリノイ工科大学の歴史学のマー・ヒックス教授は、Delphiがすぐに非常に非倫理的な回答を提供したことや、まったくのナンセンス。 

2023年には、 世界のその他の地域 AI画像生成器のバイアスに関する研究を実施しました。研究者らは、Midjourney を使用して、生成された画像が既存の固定観念を肯定していることを発見しました。さらに、OpenAI が DALL-E 2 画像生成モデルのトレーニング データにフィルターを適用した際、性別に関連するバイアスが意図せず強化されてしまいました。

問題のあるトレーニング データの影響

問題のあるトレーニング データのより広い影響には、次のようなものがあります。 

• 研究プロジェクト、サービス、およびプログラム開発における偏見の強化。 問題のあるトレーニング データは、法執行機関や銀行機関で使用される場合に特に懸念されます (たとえば、マイノリティ グループを不利にターゲットにするなど)。
• トレーニング データの成長と品揃えに対する投資と開発の増加。 
• 企業がさまざまな商業的イニシアチブのためにトレーニング データを開発、販売、使用する方法を制限する規制を強化する政府が増えています。
• AIシステムを利用したプロジェクトが倫理的ガイドラインに従うことを保証するために、倫理部門を設立する企業が増えています。
• 医療における AI の使用に対する監視が強化され、データ ガバナンスの厳格化につながり、患者のプライバシーと倫理的な AI アプリケーションが確保されます。
• AI リテラシーを促進するために官民の協力を強化し、AI 主導の未来に向けたスキルを従業員に提供します。
• AI 透明性ツールの需要が高まり、企業は消費者の理解と信頼のために AI システムの説明可能性を優先するようになりました。

考慮すべき質問

• 組織は問題のあるトレーニング データの使用をどのように回避できますか?
• 非倫理的なトレーニング データのその他の潜在的な結果は何ですか?