90%以上がAI生成動画を見分けられない結果が明らかに。技術の進化がもたらす影響を考えるべき。

合成ビデオに関する知覚研究を行いました。私たちは、同じフレームから始まる2本の動画を人々に見せました。一方は実際に撮影されたもので、もう一方はRunway Gen-4.5で生成されたものでした。私たちは彼らに本物を識別できるかどうかを尋ねました。成功したのは5%でした。私たちは結果を公表し、あなた自身で試してみることができるようにしています。

AIはあなたが本物のビデオを識別できるか？私たちは1,000人に同じフレームからの2本の動画を見せました - 1本は実際のもので、もう1本は生成されたものでした。10%未満の人が違いを見分けることができました。

AI動画生成モデルは、2023年初頭に初の公開テキストからビデオへのモデルであるGen-2をリリースして以来、急速に進化しています。2年前、これらのモデルは数秒の間に荒く、ピクセル化されたクリップを生成するのに数分かかりました。今日では、リーディングモデルは実際のビデオとほぼ区別できない出力を一貫して生成することができます。

今週、私たちは最新のベースモデルであるGen-4.5の画像からビデオへの機能をリリースしました。今日は、人々が5秒の動画が本物か、私たちのモデルによって生成されたかを判断する能力を評価する新しい研究を公開しています。また、誰でも自分で試すことができる新しいサイトを立ち上げています。

この研究では、1,043人の参加者を無作為に募集しました。各参加者は、20本の動画（10本の実際のもの、10本の生成されたもの）をランダムな順序で視聴し、それぞれが本物かAI生成かを判断しました。各動画は一度だけ生成され、出力は編集されず、品質を向上させたり結果を歪めたりするために再生成されることはありませんでした。

90%以上の参加者は、Gen-4.5の出力を実際のビデオと確実に区別できませんでした。1,043人の参加者のうち99人（9.5%）だけが統計的に有意な精度（15/20以上正解、p < 0.05、二項検定）を達成しました。全体の検出精度は57.1%で、偶然よりわずかに高いだけでした。実際の動画（58.0%）と生成された動画（56.1%）のパフォーマンスは似ており、体系的な検出戦略は示されませんでした。

検出精度はコンテンツカテゴリによって異なりました。人に関連する動画（顔、手、アクション）は検出が容易で（58-65%）、動物や建築は偶然以下（45-47%）でした - 参加者は生成された動画を本物と誤認する可能性が高かったです。

これらの結果は、動画の真偽に関する考え方に根本的な変化をもたらすものです。私たちは長年にわたり、一般的なワールドモデルの構築に向けて努力してきました。リアルなシミュレーションは、物理的な世界での難しい問題を解決するための前提条件です。Gen-4.5は、私たちが今までに構築した中で最も強力なシミュレーターです。しかし、その能力には責任が伴います。90%の人々が合成と実際の映像を確実に区別できないとき、特定のカテゴリの生成コンテンツが現実よりも説得力があるとき、検出は信頼と検証のための不十分な戦略です。

動画生成モデルは、トレーニングデータと計算をスケールし続ける限り、指数関数的に改善し続けるでしょう。AI業界と社会全体は、平均的な人々が動画がAIによって生成されたかどうかを判断できない状況に達しました。

写真からPhotoshop、従来のCGIに至るまで、技術は一貫してコンテンツの「リアル」を定義する世論を変えてきました。AIモデルが引き続き改善されるにつれて、同様の変化が期待されます。Runwayを含む基盤モデル開発者は、モデル出力の質に関する公共の議論を推進し、この技術がもたらす社会的課題を軽減する方法を探る責任があると考えています。また、私たちはAI研究とイノベーションの限界を押し広げ続ける必要があります。

すべてのRunway生成出力にはC2PAメタデータが含まれており、私たちのモデルが生成するコンテンツの出所と由来を証明できます。このオープンな技術基準は、さまざまなメディア会社やニュース組織によって受け入れられていますが、絶対的ではありません。私たちは、信頼を維持しながら創造的な可能性を可能にする新しい、より強力な基準を構築する必要があります。それにはC2PAのような技術的解決策だけでなく、新しいリテラシー、更新された編集基準、および真偽についての継続的な対話が必要です。