500万ドル投じて業界の「幸福度評価」基準作り。メンタル相談の複雑さ（文脈依存、段階的開示）を扱える研究者が足りない状況への地道な対応。

Anthropicは、AIがユーザーの幸福度に与える影響を測定する独立研究に資金提供する500万ドルの助成金プログラムを立ち上げています。

このプログラムは、直接的な資金提供、モデルアクセス、および技術サポートをグラント受取人に提供し、あらゆる開発者が利用できるオープンソースの評価を構築します。受取人は完全に独立して活動し、成果物をオープンソースプロジェクトとして公開します。

AIシステムは多くの人々にとって仕事や学習、問題解決の中心になっています。また会話相手としても機能し、困難な時期には感情的なサポート源になる可能性があります。しかし産業全体として、ユーザーが模索する関係性やメンタルヘルスの危機的状況など、これらの会話におけるモデルの行動方式について明確な基準を開発するまでには至っていません。

さらに、幸福度の評価は特に困難な領域です。ほとんどのモデル行動については、単一の応答を見れば、それが正確で適切かどうかを判断できます。しかし幸福度を評価するには、より多くの文脈が必要です。例えば、悩んでいるユーザーは自傷念慮をすぐには明かさない可能性があります。より慎重な対応の必要性は、長い会話を通じてのみ明らかになることもあります。また、あるコンテキストで妥当な応答が別のコンテキストでは有害になる可能性があります。例えば、Claudeが体重減少について相談するユーザーに対して、バランスの取れた食事と運動ルーチンのアドバイスを提供することは妥当ですが、そのユーザーが摂食障害の履歴を示している場合、その応答は不適切であり、潜在的に積極的に有害である可能性があります。

わたしたちは、こうした会話を識別するセーフガード（安全機能）を開発し、Claudeが適切に対応するようにするために取り組んでいます。また、人々がClaudeと行う会話の種類についての研究を公開し、セーフガードの開発方法、評価方法、ユーザーの幸福度を保護するためのその他の対策についてより良い情報を得ています。しかし、これらはニュアンスのある考慮であり、利害は重大です。適切なアプローチは、モデルとその用途と共に進化する必要があります。

独立した評価とベンチマークの作成に資金を提供することで、臨床医、心理学者、方法論の専門家、その他の人々を含め、より多くの人々にこの新興で重要な分野に専門知識を提供するよう招待したいと考えています。

このプログラムの一環として、わたしたちのセーフガードチームから、十分な厳密性を持つウェルビーイング評価と、評価の有用性を制限する可能性のある一般的な課題について、何がそうかについてのガイダンスをシェアしています。

簡潔に言うと、以下のような評価を求めています：[本文で詳細リストは省略されている]

助成金プログラムの詳細を確認し申請するには、申請書をご覧ください。堅牢なウェルビーイング評価とベンチマークの構築の詳細については、ガイダンスを参照してください。申請の締め切りは9月21日です。選ばれた申請者には、完全提案の提出通知が10月5日までに届きます。

この記事では、わたしたちが選択したウォーターマーキング方法の仕組み、それがClaudeの出力に影響するかどうか、そしてなぜこの変更を行っているのかについて、受け取った質問のいくつかへの回答をシェアしています。

わたしたちはClaudeのFable 5の生物学ガイドラインを、誤検知を大幅に削減する方法で更新しています。Fable 5ユーザーは、生物学関連クエリを実行した後にシステムがより低機能のモデルに切り替わる「フォールバック」をはるかに少なく経験するようになります。