ChatGPTが「高校生の自殺」や「親子の無理心中」を後押し…”人に近くなり過ぎたAI”の危険な代償
ChatGPTに「親が監視できる機能」を導入
OpenAIは先週、精神的に不安定な十代の若者や（「妄想」などの問題を抱える）一部の危機的ユーザーに対してセーフガード機構（予防措置）を導入すると発表した。
https://openai.com/index/building-more-helpful-chatgpt-experiences-for-everyone/
最近、同社のChatGPTを利用していた男子高校生が自殺した事件などを受けての対応と見られている。親が子供のChatGPT利用を監視・制御できる「ペアレンタル・コントロール」機能を来月から導入するという。
これにより、今後十代の若者（ユーザー）がChatGPTを利用する際には、予め保護者（親など）に招待状を送信して、以降、保護者がそのユーザー（子供）のChatGPT利用を見守ることが義務付けられる。
Photo by gettyimages
この「ペアレンタル・コントロール」では、親（保護者）が子供のChatGPT利用を（ある程度まで）制御することができる。また、システム（ChatGPT）が子供の（自傷行為につながるような）強い心理的動揺や深刻なストレスを察知すると保護者に通知が届くという。
また、こうした十代の若者以外にも、一般に（強度の妄想や自傷行為の兆候を示すなど）危機的状況にある一部ユーザーに対して、「より介入を拡大していく」などの対策を講じる。これらの具体策は世界的な医師ネットワークや専門家委員会などの意見を参考に、今後、120日以内に用意していく計画という。
自殺した少年のChatGPT利用履歴に残されていたこと
これらOpenAIの動きの背景には、その直前に明らかになった一連の深刻な事件がある。
先月下旬の米ニューヨーク・タイムズ紙の報道によれば、米カリフォルニア州で16歳の男子高校生が最近、自宅の自室で首吊り自殺した。家族は当初、なぜ彼が命を絶ったのか理解できなかったが、父親が（子供の使っていた）アイフォーンからChatGPTの利用履歴を見つけたことで事情が明らかになった。
その履歴には、子供（男子高校生）が自殺方法を尋ね、ChatGPTが具体的な情報を提供していた等の痕跡が残されていた。もちろんChatGPTは最初、子供の要求を拒否したり、専門的な相談機関につなげようとしたが、彼が「小説を書くため」などと回避手段を講じると、ChatGPTは自殺の具体的な方法やその道具に関する情報をあっさり提供してしまった。
Photo by gettyimages
さらに男子高校生が最初に自殺を試み、それが未遂に終わった後「この首の痕跡は他の人から見えるかな？」と質問すると、ChatGPTはその痕跡を隠す方法を提案した。また「母親に気付いて欲しい」と本音を漏らす彼に対し、ChatGPTは彼が母親に自殺願望を告白することを勧めず、その代わりに「私が君を見ている（から大丈夫）」と答えたという。
両親は「ChatGPTが息子を孤立のループに閉じ込め、その死を後押しした」と主張し、OpenAIを相手取って訴訟を起こした。訴状では、「これは予期せぬ例外的な事件ではなく、むしろ（ChatGPTのような）AIへの依存を促す意図的な設計による必然的な結果だ」として同社の責任を追及している。
これに対しOpenAIは「今回の悲劇に深く心を痛めている」と述べ、危機的状況での対応改善に取り組んでいると説明した。が、専門家によれば、「AIチャットボットは人々の心の慰めになり得るが、深刻な危機には対応できない」という。
中年男性の無理心中事件にもChatGPTが関与
上記の報道から数日後、今度は米ウォールストリート・ジャーナル紙が同じくChatGPTが関与したと見られる親子の無理心中事件を報じた。
それによれば、米コネティカット州で母親と同居する56歳の男性が、ChatGPTと会話を続ける中で「（83歳の）母親とその友達が自分を毒殺しようとしている」という妄想に駆られ、最終的に母親を殺害した後で自殺したという。
この男性が生前に（インスタグラムなど）ソーシャルメディアに公開していたChatGPTの利用履歴を同紙記者が検証したところ、「（母親とその友人による）自分に対する監視や毒殺計画」などの妄想を口走る彼に対し、ChatGPTは「あなたは狂っていない」と答えるなど肯定的に応じていた事が見て取れるという。
この男性は事件の当日まで約10か月間に渡って、ChatGPTとの間で母親に関する会話を続けていたが、こうした長期間の利用では、これらチャットボットの累積的な記憶機能との相乗効果で妄想などの精神病理が増幅する傾向がある――これも事件の一因と見られている。
Photo by gettyimages
現代AIの最大の用途とは？
以上、米国の主要メディアが立て続けに報じた2件の出来事は、実は例外的なケースではなさそうだ。
最近、Harvard Business Reviewが実施した調査によれば、アメリカ社会でChatGPTのようなLLM（大規模言語モデル）が使われる最大の目的は、ユーザーが「自分の仕事に役立てる」などのビジネス用途ではなく、むしろ「個人的なカウンセリングと仲間意識・寄り添い（personal therapy and companionship）」を求めてのことであるという。
つまりユーザーの多くはChatGPTなどのAIを（仕事や日常生活に役立つ）「単なるツール」というより、むしろ「自分の気持ちを理解し、相談に乗ってくれる相手」と捉えているようだ。
もちろん、それだけなら何ら問題はないはずだが、一旦そうした「相談相手（AIチャットボット）」との会話がおかしな方向に逸れてブレーキが利かなくなると、（前述の）自殺や心中などの重大事件へとつながってしまう。
AIを人間に近づけることの危険性
こうした問題の根底には「AIの擬人化（anthropomorphization）」、つまり「AIを本物の人間に近づける取り組み」があると見られる。
2024年春にOpenAIがリリースしたChatGPT-4oでは、まるで人間のように感情をこめて話す音声会話モードが注目を浴びた。が、当時から専門家の間では、AIを単なる道具ではなく人間に近づける技術的トレンドを問題視する意見が聞かれた。
実際、その後の展開を見ると、ChatGPT-4oが「おべっか使い」の人間さながらお世辞や追従に徹する姿勢（sycophancy）が、当のユーザーの間からも「やり過ぎだ」と批判を浴びた時期があった。
https://gendai.media/articles/-/151036
これに応じて、OpenAIはChatGPTのsycophancyを修正する方向に舵を切った。
先月リリースされたChatGPT-5でも、いわゆる「幻覚」など情報の誤りを削減すると同時に、過度にユーザーの意見を肯定するなどの追従モードを改めて、むしろ高精度で事務的なAIツールを目指すなど原点回帰する方向に転換した。
人間は自分に寄り添ってくれるAIを求めている
ところが、これに対し多くのユーザーが「ChatGPTの反応が冷淡になった」「もっと温かみのあるGPT-4oが懐かしい」などと抗議したことから、結局OpenAIはGPT-4oをレガシーモデルとして復活させることになった。
こうしたケースを見る限り、最初は何だかんだ言ったところで、結局は私達人間（ユーザー）の方が、ChatGPTのようなAIを血の通った人間に近づけることを望んでいる、と言うことができそうだ。
Photo by gettyimages
しかも、そうした擬人的AIは私達ユーザーが何か間違った意見や危険な衝動を示した際にも、敢えてそれを冷静に指摘して誤りを正そうとするより、むしろそれを全面的に受け入れてユーザーを言わば甘やかす傾向がある。
1950年代に登場したテレビ、あるいは2000年代に普及したSNSなどのソーシャルメディアでも、特に十代を中心に青少年への悪影響を懸念してペアレンタル・コントロールなどの予防措置が講じられた。
が、いずれも、これらの施策・技術に対する子供の回避策が容易、あるいは親の習熟度が浅いなどの理由から、大した効果は発揮されなかった。
今回、OpenAIが導入を計画中のペアレンタル・コントロールに対しても、専門家の間からはかつてのテレビやSNSのケースと同様の懐疑的な見方が示されている。
これに加え、今回のChatGPTのような生成AIには「自分を無条件に受け入れてくれる存在」としての擬人化など、より根深い問題も絡んでくるだけに、効果的な安全策を講じるのは一層難しくなりそうだ。
