大規模言語モデルが倫理的ジレンマを評価する理由とは

最近、大規模言語モデル、いわゆるLLMが倫理的ジレンマをどう評価するかっていう話題が注目されてるんですよね。これって、ただのAIの話じゃなくて、私たち人間の倫理観にも関わる重要なテーマなんです。

この研究では、「美徳マップ」っていうフレームワークを使って、アリストテレスの美徳倫理の視点から、LLMがどんな風に倫理的選択肢を評価するのかを分析してるんです。アリストテレスって、古代ギリシャの哲学者で、美徳について深く考えた人なんですよ。

この研究では、参加者が七つの一般的な倫理的ジレンマに対して、五つの応答を評価して、どの応答が最も美徳を表しているかを順位付けするんです。これによって、どんな価値観が重視されるのかが見えてくるってわけです。

具体的には、LLMは公正、誠実、勇気、抑制など、いろんな優先事項を持っていて、それぞれのジレンマに対して異なる応答を示すんですよ。例えば、あるジレンマでは公正が重視されるかもしれないし、別のジレンマでは勇気が求められるかもしれない。

この研究では、VirtueMapっていうフレームワークを使って、これらのパターンを記述するんです。VirtueMapは、単一の正解を求めるんじゃなくて、参加者に対して、7つの倫理的ジレンマに対する5つの応答をランク付けするように求めるんですよ。これが面白いところなんです。

さらに、各ジレンマと美徳に対して、その美徳を最も表現する応答から最も表現しない応答までの順序を提案して、それに基づいて評価を集めるんです。100件以上の評価を集めて、95%以上の確認があった場合のみ、それを運用上の真実として保持するっていう厳密な方法を取ってるんですよ。

その後、ランキングを作成するために、正規化ボルダ整列っていう方法を使ってスコアリングを行うんです。これによって、実践的知恵、公正、誠実、勇気、抑制に関するプロファイルが得られるんですよ。

面白いのは、9つのLLMファミリーに対して繰り返し評価を行った結果、高い平均ランクの一貫性（90.3%）が見つかったことなんです。ただ、最も大きな違いは勇気、抑制、公正に見られたっていうのが興味深いですね。

この研究の結果をもとに、ブラウザ内でローカルにプロファイルを計算して、応答者と測定されたLLMプロファイルを比較するインタラクティブなウェブサイトも公開されてるんですよ。これを使うと、自分の倫理観とAIの倫理観を比べることができるんです。

こういう研究が進むことで、私たちがAIとどう向き合うか、そしてAIがどんな倫理観を持つべきかっていう議論が広がるといいなって思います。これからの時代、AIとの共存がますます重要になってくるから、こういうテーマは本当に大事なんですよね。