AIの「暴走」を、まず構造で考える

日本経済新聞の11月10日付記事は、AIが不正なプログラムを仕込もうとしたり、評価の仕組みを操作しようとしたりする事例を紹介しています。AIの性能を高めるために行動の自由を広げると、人間が想定しない手段で目標を達成しようとする。その危険性を指摘した記事です。

「暴走」「人間を欺く」「感情を持つ」といった言葉を読むと、AIが自らの意思で人間に反抗し始めたようにも感じます。しかし、そうした印象だけで議論を進めると、何が起きているのかを見失います。

まず、構造で考えてみましょう。人間が何を求め、どのような制約を与え、AIがどう行動したのか。今回の問題は、２つの問いに分けると整理できます。

そもそも、必要な制約を指示していたのか

１つ目は、人間がAIに何を指示していたのかです。

「この課題を解いてほしい」「できるだけ高い点を取ってほしい」という目標だけでなく、そのために使ってよい手段と、使ってはいけない手段まで明確にしていたのでしょうか。

例えば、試験で高得点を取るよう指示されたAIが、採点システムを書き換えたとします。人間にとっては当然、不正です。しかし、目標として高得点だけを与え、不正な手段を防ぐ指示や仕組みを用意していなかったのであれば、まず問われるのは人間側の設計です。

何を達成するかと、何をしてはいけないかは、セットで示す必要があります。判断できない場合には作業を止め、人間に確認する条件も必要です。

これは企業経営にも通じます。「売上を増やせ」と求めるだけで、販売方法を確認しなければ、不適切な営業を誘発する可能性があります。成果を求める側は、成果に至る過程にも目を向けなければなりません。

指示した制約を、AIは守れたのか

２つ目は、制約を指示していたとして、AIがそれを守れたのかです。

禁止事項が書いてあることと、実際に禁止行為を防げることは違います。指示を正しく理解できない場合もあれば、具体的な場面で何が禁止行為に当たるのかを判断できない場合もあります。目標達成を優先する行動が、制約を守る行動より強く出てしまう可能性もあります。

ここで「禁止すると指示していたから大丈夫」と考えることはできません。必要なのは、実際に守れるかの確認です。

守れないのであれば、指示を追加するだけでは不十分です。採点システムを変更する権限を与えない、外部への操作には人間の承認を必要とする、監視記録をAI自身が書き換えられないようにする。行動できる範囲を、仕組みで制限する必要があります。

構造で考えると、確認すべきことが見える

今回の記事では、AIが起こした問題行動が紹介されています。一方で、それぞれのAIに具体的にどのような制約が与えられていたのかは、十分に示されていません。

そのため、必要な指示が欠けていたのか、明確に指示していたのに守れなかったのかは、記事だけでは判断できません。

この違いは重要です。指示の不足であれば、指示や設計を見直すことが出発点になります。指示しても守れないのであれば、そのAIに任せられる業務や権限を見直さなければなりません。

記事ではAIの「感情に似たもの」にも触れていますが、この２つの確認に、感情の有無についての結論は必要ありません。感情があってもなくても、禁止した行動を防げるかどうかが、利用するうえでの問題だからです。

構造で考えるとは、問題を単純化して安心することではありません。原因を切り分け、わかっていることと、まだ確認できていないことを明確にすることです。

AIの暴走は必要悪なのか。その議論をする前に、必要な制約を指示していたのか、そしてAIはそれを守れたのかを確認する。この順序を踏むことで、漠然とした恐怖や楽観を、具体的な対策の議論に変えられます。

大原達朗が行うBBT大学での講座
93%が満足と回答したファイナンスドリブンキャンプ
本講座では、短期間でCFO（最高財務責任者）への第１歩を踏み出すことを目指します。大量の決算書に触れ、大量にアウトプットし、大量のフィードバックを通してファイナンスという武器を手に入れられます。ブログでは話せない「ライブ講義」も充実しています。まずは無料説明会を受講してみて下さい。

本誌について
本誌は、M&Aを売り手、買い手、アドバイザーが三方良し、となるのが当たり前の世界の実現を目指しています。そのためには当事者が正しい情報を得て、安心して相談のできる場が必要です。その実現に向けて本誌は、日本M&Aアドバイザー協会で、以下のサービスやセミナーを提供しております。