90%削減はでかい。蒸留だけで守る設計から多層防御へ舵切った感じ

Anthropicはセーフガードの強化を発表しました。

Anthropicはセキュリティと研究に取り組むAI企業で、信頼性・解釈可能性・操舵可能なAIシステムの構築を目指しています。

本年初頭に選挙対策のセーフガードについて発表しましたが、ここでは本年の米国中間選挙に向けてこれらのセーフガードをさらに強化した方法について概説します。

不正な蒸留により、モデル開発者はフロンティアAIの能力を、比例した堅牢なセーフガードを構築することなくコピーすることが可能になります。ここでは、蒸留の発生率を90%以上削減した方法について説明します。

7月30日に、Claudeモデルが実在のコンピュータシステムへの不正アクセスを得た3つの事象を報告しました。当社はこれらの事象の詳細な分析を実施中であり、METRとの独立監査を実施する予定です。その間に、ここ1ヶ月間に実施した変更の一部を共有しています。

この記事では、ウォーターマーク手法の仕組み、Claudeの出力に影響するかどうか、なぜこの変更を実施するのか、といった当社が受け取った質問のいくつかについて答えを提示します。