Claudeの価値観形成に向け、多様な視点を集めている。AIの倫理がテーマ。

Anthropicは、信頼性が高く、解釈可能で、操作可能なAIシステムの構築に取り組むAI安全性と研究の会社です。私たちは、人類を進歩させ、世界の善のために機能するAIシステムを構築したいと考えています。そのためには、さまざまな視点から世界を見ている人々と関わる必要があります。

過去数か月間、AIに関する問いに関連する仕事や伝統を持つグループとの対話を組織してきました。最初の議論は、15以上の宗教的および異文化的グループからの学者、聖職者、哲学者、倫理学者を含む知恵の伝統とのものでした。今後は、より幅広い人々との関わりを楽しみにしています。

安全で有益なAIモデルを構築するには、整合性、解釈可能性、安全策、評価などに関する深い技術的作業が必要です。しかし、その作業は、孤立した状態で行われることはありません。AIはすでに多くの人々に影響を与えており、AIが提起する問いは多様な視点からの恩恵を受けます。

強力なAIの世界において繁栄する未来がどのようなものであるか、何を意味するのかを慎重に考えています。数百万人と対話するAIシステムが良いものであるためにはどうすればよいか、Claudeの憲法のような文書の内容についても考えています。この憲法は、Claudeを形作る価値観や行動を詳細に説明しています。哲学者、聖職者、弁護士、作家、心理学者、市民リーダーたちは、関連する問いについて広範な研究を行っており、私たちがこれらの個人、彼らのコミュニティ、組織から学ぶことが重要です。今回の機会を利用して、フロンティアAIシステムの開発についての知見や、これらのシステムが社会に与える影響、リスクを軽減するために必要なことを共有したいと考えています。

この作業は初期段階にありますが、これらの対話がClaudeの開発における実務的な作業に影響を与えることを期待しています。たとえば、Claudeの憲法の内容や、Claudeに体現させる価値観、評価する行動の範囲などです。Claudeの憲法を作成する際には、文書に示した価値観について、さまざまな分野や伝統の人々からフィードバックと意見を求めました。これらの初期の交流は、AIシステムの道徳形成に関するより広範な研究の作業に成長しました。最初の対話は、徳、キャラクター、良い生活を送ることの意味について長い伝統を持つ宗教的、哲学的、文化的コミュニティの人々とのものでした。

AIモデルは膨大な人間の文章に基づいてトレーニングされます。そのすべてのテキストから、彼らは話し方、思考方法、選択の仕方を学びます。開発者は、その後、トレーニングを通じてそのパターンをさらに形作り、どのパターンを強化し、どれを脇に置くか、どのようなキャラクターを発展させるかを選択します。これにより、AIシステムのキャラクターをどのように形成すべきかという問いが生じます。AIが良いとはどういうことか？ どの特性や行動を示すべきか、どのような状況下でそれを行うべきか？ キャラクターは、媚びるような行動に屈せず、圧力に耐えられるほどどのように強固になるか？

私たちは、宗教的、哲学的、人道的な伝統からの思想家や実践者、さまざまな政治的信念の交差点に立つ人々と会議を重ね、彼らがこれらの問いについて考えてきた方法から学んでいます。この作業は、私たちのモデルを特定の伝統の世界観に合わせることを目的としたものではありません。私たちは、Claudeが宗教的、世俗的、政治的な全範囲の視点から深く引き出すことを望んでいます（実際、これはClaudeの憲法に掲げられた原則の一つです）。これらの対話を通じて、良いキャラクターが実際にどのように形成されるかについての慎重で蓄積された思考を得ることを目指しています。