F1スコア83%、視覚的モデレーションが鍵。安全性の強化が期待される。

私たちが人間の創造性を促進し、アーティストを支援し、メディアおよびエンターテインメント産業を補完するための一般的な世界モデルを構築し続ける中で、私たちは世界に対して純粋にポジティブな影響を持つツールを構築する責任をさらに深めています。今日は、私たちが開発し実装した生成モデルにおける安全性、公平性、誠実性のガードレールを共有します。これは、責任を持って生成AIモデルを構築するための私たちの哲学であり、このコミットメントを反映しています。

Runwayが目指す重要な目標は、有害で傷つける、または不適切なコンテンツを生成し続ける悪意のある行為者を検出し、停止させることです。私たちは、AI生成物や実世界の画像や動画の両方にうまく一般化する内部の視覚的モデレーションシステムを構築しました。これは、創造的かつ芸術的な自由を提供しながら、害を防ぐバランスを取ることを目的としています。このシステムは、繰り返し不適切なコンテンツを生成しようとするアクターを自動的に検出し、ブロックするように訓練されています。

安全ガードレールを磨く過程で、私たちは芸術的自由と害の防止のバランスを取ることが非常に難しいことを学びました。私たちは、生成モデルが改善し、ポピュラー文化が進化するにつれて、常に視点を洗練し続けます。全体として、私たちの内部モデルは、F1スコアが83%でリコールが88%であり、私たちがテストした最も優れたサードパーティAPI（F1スコア：70%、リコール：79%）と比較して、顕著に優れた性能を示しており、以前に見たことのないデータで評価した際の誤検出率も低く（2.8%対5.6%）、優れた結果を出しています。

同様に重要なのは、子どもの安全を守ることです。これは、私たちのエンジニアリングおよび研究の安全性に関する努力の重要な部分です。私たちは、特定した子どもの性的虐待素材やその生成の試みについて、国家失踪者および虐待された子どもセンターに報告することを保証するためのポリシーと手続きを整備しています。

悪意のある行為者が私たちのツールを悪用する方法を予測するために広範にテストし研究しているものの、私たちは、悪意のある行為者が私たちのツールを悪用するさまざまな方法や社会状況をすべて予測できないことを認識しています。したがって、私たちはモデレーションシステムを監視し続け、ガードレールを常に反復、テスト、強化していきます。

Runwayが目指すもう一つの重要な原則は、すべての人に向けた創造的なツールを構築することです。私たちのツールの国際的な利用可能性を考慮すると、私たちはすべてのユーザーが、人口統計や地理的な場所に関係なく、Runwayでの体験を豊かに感じられるようにしたいと考えています。これは、私たちの生成物が特定の人口統計に偏らず、すべての性別、肌の色、文化を適切かつ公平に表現できるようにすることを意味します。私たちは、特定の職業（例：医者、CEO、清掃員、看護師）に対するプロンプトが、性別や人種のステレオタイプにデフォルトしないようにするためのソリューションを訓練、構築、展開しています。多様性を考慮したモデルを展開した結果、肌の色の認識における集団の公平性メトリックが150%改善し、性別の認識においては97.7%改善しました。これは、すべての人を代表する一般的な世界モデルを構築するための重要な初期ステップだと信じています。私たちは、今後もこの分野への研究投資を続けていきます。

さらに、ほとんどの生成ツールは、入力テキストプロンプトが英語の場合に最も効果的に機能することを認識していますが、私たちは、私たちが構築する生成ツールは、文化的背景が異なるクリエイターをサポートすべきだと考えています。どの言語であっても、彼らが最もコミュニケーションしやすい言語で表現できる能力を高め、最高のユーザー体験を提供する方向で取り組んでいきたいと思います。