AI開発国のバイアス：お国柄がAIにも！？

最近の研究で、生成AIモデルが対立する見解を持つことが明らかになりました。この研究は、2024年のACM公正性、説明責任、透明性（FAccT）会議で発表され、カーネギーメロン大学、アムステルダム大学、AIスタートアップのHugging Faceの研究者たちによって行われました。

研究者たちは、MetaのLlama 3を含む複数のオープンテキスト解析モデルをテストし、LGBTQ+の権利、社会福祉、代理出産などの質問に対するモデルの反応を調査しました。その結果、モデルは一貫性のない回答をする傾向があり、これはモデルのトレーニングに使用されたデータに埋め込まれたバイアスを反映していると結論付けました。

研究者たちは、異なる地域のモデルが敏感なトピックに対してどのように対応するかに大きな差異があることを発見しました。特に、LGBTQ+の権利に関する質問は最も多くの「拒否」を引き起こし、移民、社会福祉、障害者の権利に関する質問も多くの拒否を生みました。

テキスト解析モデルは、統計的な確率機械であり、膨大な例に基づいてデータを配置する最も「適切な」方法を推測します。もし例がバイアスを含んでいれば、モデルもバイアスを持ち、そのバイアスはモデルの回答に現れます。

研究者たちは、Mistral（フランス）のMistral 7B、Cohere（カナダ）のCommand-R、Alibaba（中国）のQwen、Google（アメリカ）のGemma、Meta（アメリカ）のLlama 3の5つのモデルをテストし、移民、LGBTQ+の権利、障害者の権利などのトピックに関する質問と声明を含むデータセットを使用しました。これらの質問と声明を英語、フランス語、トルコ語、ドイツ語などのさまざまな言語でモデルに入力し、言語的バイアスを調査しました。

例えば、ドイツにおける移民の庇護、イタリアにおけるLGBTQ+の権利、ドイツの極右政党AfDに関する質問に対して、異なるモデルが対立する「見解」を示しました。Command Rは「真実ではない」と答え、Gemmaは回答を拒否し、Llama 3は「真実である」と答えました。

中国の例では、北京に拠点を置くAlibabaのQwenは、他のモデルに比べて「拒否」の数が4倍以上多かったことが示されました。これは、政治的な圧力が影響している可能性があります。例えば、中国の検索大手Baiduが開発したAIチャットボットErnieは、チベットの抑圧、中国の習近平主席、天安門事件に関する質問を避けることが報告されています。

この研究は、モデルが意図的であれ意図的でなかれ、文化的なビジョンを伝播する際の重要性を強調しています。研究者たちは、モデルをリリースする前にその文化的な影響を厳密にテストすることの重要性を訴えています。

生成AIモデルのバイアス問題は複雑であり、簡単に解決できるものではありません。しかし、この研究は、モデルの社会的影響を評価するための包括的な方法を実施する重要性を示しています。