F1スコア83%達成、生成モデルの安全性を強化中。

私たちが人間の創造性を高め、アーティストを支援し、メディアおよびエンターテインメント業界を補完する一般的な世界モデルを構築し続ける中で、私たちは、世界に対して純粋にプラスの影響を与えるツールを構築する責任をさらに深めています。本日、私たちは生成モデルにおいて私たちが開発し実施してきた安全性、公平性、整合性に関するガードレールを共有します。これは、生成AIモデルを責任をもって構築するための私たちの哲学であり、その実現に対する私たちのコミットメントを反映しています。

Runwayが目指す重要な目標は、有害で傷つける不適切なコンテンツを生成し、永続させる悪意のある行為者を検出し、排除することです。私たちは、AI生成および実世界の画像や動画の両方に対して、創造的および芸術的な自由を提供しつつ、危害を防ぐためのバランスを取ることができる、内部で構築した視覚モデレーションシステムを構築しました。私たちのシステムは、不適切なコンテンツを生成しようと繰り返し試みる行為者を自動的に検出し、ブロックするようにトレーニングされています。

私たちは、安全性のガードレールを磨く過程で、芸術的自由と危害防止の間のバランスを取ることが非常に難しいことを学びました。生成モデルが改善され、ポップカルチャーが進化するにつれて、私たちは引き続き視点を洗練させていきます。全体として、私たちの内部モデルは、テストした最も優れたサードパーティAPIと比較して、F1スコア83%、再現率88%を達成し、未見のデータで評価した場合の誤検知率も低く（2.8%対5.6%）、優れた性能を発揮しています。

同様に重要なのは、子どもの安全を守ることです。これは私たちのエンジニアリングおよび研究の安全努力の重要な部分です。私たちは、特定した児童性的虐待資料やその生成の試みを、国家失踪者・搾取者センターに報告するポリシーと手続きを整備しています。

私たちは、悪意のある行為者が私たちのツールを悪用する可能性を予見するために徹底的なテストと研究を行っていますが、すべての異なる方法や社会的状況を予測できるわけではないことを認めます。したがって、私たちはモデレーションシステムを引き続き監視し、ガードレールを常に反復、テスト、強化していきます。

Runwayが目指すもう一つの重要な原則は、誰もが利用できる創造的なツールを構築することです。私たちのツールは世界中で利用可能であるため、ユーザーが属する人口統計や地理的位置に関係なく、Runwayでの体験が豊かであることを望んでいます。これは、私たちの生成が特定の人口統計に偏ることなく、すべての性別、肌の色、文化を適切かつ公正に表現することを意味します。私たちは、特定の職業（例：医者、CEO、清掃員、看護師）に対するプロンプトが、性別や人種のステレオタイプにデフォルトでならないようにするためのソリューションを訓練し、構築し、展開しました。多様性を考慮したモデルを展開した結果、皮膚の色の認識において150%、性別の認識において97.7%のグループフェアネスメトリックの改善が見られました。これは、すべての人を表現する一般的な世界モデルを構築するための重要な、しかし初期のステップであると考えています。この分野への研究への投資を続けていくつもりです。

さらに、ほとんどの生成ツールは、モデルの設計上、入力テキストプロンプトが英語であるときに最も効果的に機能します。しかし、私たちは、私たちが構築する生成ツールが、最も得意とする言語に関係なく、多様な文化的背景を持つクリエイターをサポートすべきだと考えています。私たちは、非常に創造的な多言語ユーザーが自分の選択した言語で表現し、最高のユーザー体験を得られるようにすることに向けて取り組んでいきます。