【說明】Google Veo 2 整理:AI 生成視頻的突破性技術與物理準確性挑戰

Google 發佈了其令人印象深刻的 AI 視頻生成模型 Veo 2,並且可以在 AI Studio 上免費生成視頻。藉此發佈,我抓住機會對 Veo 2 進行了實地測試,看看它生成真實 AI 視頻的能力。在這篇文章中,我測試了 Veo 2 的物理準確性、運動一致性、空間和時間一致性、人類真實感以及圖像轉視頻的能力。儘管 Veo 2 生成了驚人的 AI 視頻,但並非每個視頻都是完美的。

Veo 2: 測試物理準確性


對於任何視頻生成模型,對物理的基本理解對於生成視覺一致的視頻至關重要。因此,提出一個評估 Veo 2 物理理解的提示。我要求 Veo 2 創建一個視頻,內容是一隻貓推倒一杯水,看看它如何處理碰撞影響、重力、加速度和液體動力學。

如你所見,這杯水在被推之前已經傾斜,而且在被撞擊之前保持這種狀態很長時間,這是不可能的。看起來這杯水在空中懸浮了一會兒,仿佛沒有重力或加速度的影響。

話雖如此,視頻的其餘部分更具可信度。貓推倒杯子後,液體從杯子中真實地灑出。總體而言,我會說 Google Veo 2 對物理的理解還不夠好。雖然它比 OpenAI 的 Sora 明顯好很多,後者對物理的理解較差,但 Google 的最新視頻生成模型仍然需要很多改進。

Veo 2: 測試運動


運動也是視頻生成模型需要正確理解的另一個複雜概念。生成一個移動物體的連貫視頻需要對物理世界有很好的理解。在這次測試中,Google 的 Veo 2 視頻生成模型表現出色。

我要求 Veo 2 生成一個男人在森林中行走的視頻。在下面的視頻中,可以看到角色在所有幀中保持一致且視覺上可信,這對於這個 AI 視頻生成模型來說是一個巨大的勝利。

不僅如此,運動非常均勻,背景幾乎一致。即使是背景中落下的樹葉和松鼠也準確地呈現出來。

不過,在測試過程中,我注意到當場景中有多個人類或物體時,Veo 2 表現得很吃力。它無法保持視覺上的一致性,這可能是由於注意力有限。無論如何,就運動和角色一致性而言,Veo 2 獲得了巨大的成功。

Veo 2: 測試空間和時間一致性


空間和時間一致性是確保 AI 生成視頻在外觀上保持一致和真實的關鍵因素。空間一致性確保單個幀中的一致性,如陰影和反射。時間一致性確保隨著視頻隨時間推移而保持幀之間的一致性,如保持一致的運動和身份。

在我的 Sora 評測中,我注意到 OpenAI 的模型在時間一致性上表現不佳,導致視頻不穩定。現在,為了測試 Google 的 Veo 2 模型,我要求它生成一個球在桌子上彈跳並與三個骰子碰撞的視頻。

Veo 2 生成了一個相當合理的視頻,當球經過桌上的藍色杯子時,處理了球的連貫性、陰影和光線的表現也相當不錯。球的運動也很均勻,但 Veo 2 重新生成了一個全新的幀,失去了所有物體之間的連貫性和關係。骰子不自然地移動,並且一隻手無緣無故地出現,這打破了時間一致性。

儘管如此,Google Veo 2 在早期視頻生成 AI 模型上顯示出明顯的改進。我認為 Google 可以通過未來的迭代更新來修復這些問題。

Veo 2: 測試電影真實感


接下來,我要求 Veo 2 生成一個男人站在雨中的城市的電影真實感視頻。這次測試的目的是評估 Veo 2 是否能夠渲染可信的人類面孔和細膩的情感。我還想看看雨水如何模擬,與周圍環境互動。

而 Veo 2 完全做到了。你可以查看這段視頻,內容真實而自然。畫面上有對人臉的景深和焦點。雨水的模擬也非常到位。

在下一個測試中,Veo 2 生成了一個未來主義的視頻,內容是一艘太空船進入地球軌道。運動非常流暢,科幻元素視覺上引人注目。Veo 2 在生成電影視頻方面非常出色,內容創作者絕對可以利用這個模型在他們的項目中嵌入短片。

Veo 2: 測試圖像轉視頻能力


由於 Veo 2 支持圖像轉視頻生成,我上傳了一張包含河流和山脈的森林靜態圖像。我要求 Veo 2 使用這張圖像創建一個視頻,並添加茂盛的植物和動物。我還提示要在河床周圍添加一群大象和鳥類。正如你在下面的視頻中看到的,Veo 2 做得相當出色。


當然,大象的出現有些神奇,這有點突兀,但除此之外,視頻的其餘部分相當可信。陰影和運動執行得很好,Veo 2 沒有改變基礎圖像。我在 OpenAI 的 Sora 上上傳了相同的圖像,但在我之前的測試中完全未能生成一致的視頻。

Google 的 Veo 2 是一個尖端的視頻生成模型,超越了所有競爭對手的 AI 模型,包括 OpenAI 的 Sora。它有時在遵循物理法則方面會出現失誤,但總體而言,通常能獲得可信的結果。Veo 2 相當能夠生成真實的人類面孔和情感。

儘管如此,我注意到當場景中有過多的人類主體或物體時,Veo 2 會表現得很吃力。此外,它在遵循冗長的指令方面也有困難。除此之外,Google 必須受到讚揚,因為它訓練出了一個強大的 AI 模型,為視頻生成設定了新的基準。

日本電話卡推介 / 韓國電話卡推介
一㩒即做:香港網速測試 SpeedTest HK