90%以上がAI生成動画と実写を見分けられない結果が明らかに。技術の進化は信頼性に影響を与える。

Runwayは、合成動画に関する知覚研究の結果を発表しました。私たちは、同じフレームから始まる2本の動画を人々に見せました。1本は実写、もう1本はRunway Gen-4.5で生成されたものです。人々に本物を識別するよう求めたところ、5%しか一貫して成功しませんでした。この結果を発表し、皆さんにも試してもらえるようにします。

AI動画生成モデルは、2023年初頭に公開された最初のテキストから動画を生成するモデルであるGen-2をリリースして以来、指数関数的に改善されてきました。2年前、これらのモデルは数分かかって、数秒間のぎこちないピクセル化されたクリップを生成していました。今日、最先端の動画生成モデルは実際の動画とほぼ区別できない出力を安定して生成することができます。

今週、私たちは最新の基本モデルであるGen-4.5のために、イメージから動画への機能をリリースしました。今日は、新しい研究を発表し、人々が5秒間の動画が本物か、私たちのモデルによって生成されたものであるかを判断する能力を評価しています。また、誰でも試せる新しいサイトも立ち上げています。

この研究では、1,043人の参加者を無作為に募集しました。各参加者は、ランダムな順序で20本の動画（10本は実写、10本は生成されたもの）を視聴し、それぞれが本物かAI生成かを判断しました。各動画は一度だけ生成され、出力は編集されず、質を向上させたり結果を歪めたりするために動画を再生成することはありませんでした。

参加者の90%以上は、Gen-4.5の出力を実写と安定して区別することができませんでした。1,043人中99人（9.5%）のみが統計的に有意な正確さ（≥15/20正解、p < 0.05、二項検定）を達成しました。全体の検出精度は57.1%、偶然の確率をわずかに上回るものでした。実写（58.0%）と生成された動画（56.1%）でのパフォーマンスは類似しており、体系的な検出戦略は示されませんでした。

検出精度はコンテンツのカテゴリによって異なりました。人間に関連する動画（顔、手、動作）は検出が容易でした（58-65%）、一方、動物や建築は偶然以下（45-47%）に留まり、参加者は生成された動画を本物と誤認する傾向がありました。

これらの発見は、動画の信頼性についての考え方に根本的な変化をもたらします。私たちは長年にわたって一般的な世界モデルに向けて構築を進めてきました。現実的なシミュレーションは物理的な世界の難しい問題を解決するための前提条件です。Gen-4.5は、私たちがこれまでに構築した中で最も能力のあるシミュレーターです。しかし、その能力には責任が伴います。90%の人々が合成と実際の映像を安定して区別できない場合、また特定のカテゴリーで生成されたコンテンツが現実よりも説得力がある場合、検出は信頼と検証の不十分な戦略です。

動画生成モデルは、トレーニングデータと計算をスケールアップし続ける限り、指数的な改善を続けるでしょう。AI業界と社会全体は、一般の人々が動画がAIによって生成されたかどうかを判断できないという転換点に達しました。

写真からフォトショップ、伝統的なCGIに至るまで、技術は常にコンテンツを「本物」と見なすことに関する公的意見を変えてきました。AIモデルが改善を続ける中、私たちは同様の変化が再び起こると予想しています。Runwayを含む基盤モデルの開発者は、モデル出力の品質に関する公的な議論を促進し、この技術がもたらす社会的課題に対処しつつ、AI研究と革新の限界を押し広げる責任があると考えています。

すべてのRunway生成出力にはC2PAメタデータが含まれ、私たちのモデルが生成するコンテンツの起源と由来を証明することができます。このオープン技術標準は、さまざまなメディア会社やニュース組織に受け入れられていますが、完全ではありません。信頼を保ちながら創造的な可能性を実現するために、新しい、より強力な基準を構築する必要があります。それにはC2PAのような技術的解決策が必要ですが、新たなリテラシーや更新された編集基準、信頼性についての継続的な対話も必要です。