什麼是 Meta Segment Anything Model 2(SAM 2)?
Meta Segment Anything Model 2(SAM 2)是一個分割模型,能夠快速、精確地選擇任何影片或圖像中的任何物體。
SAM 2 的主要功能
在任何影片或圖像中分割任何物體
SAM 2 是第一個統一的模型,能夠跨影片和圖像分割物體。你可以使用點擊、框選或遮罩作為輸入,選擇任何影片或圖像中的物體。
即使在不熟悉的影片中也能進行強健的分割
SAM 2 能夠在模型訓練中未見過的物體、圖像和影片中進行強健的零拍表現,從而實現廣泛的實際應用。
實時交互和結果
SAM 2 設計了高效的影片處理和串流推理,實現了實時交互應用。
物體分割的最新表現
SAM 2 在影片和圖像中的物體分割表現超過了同領域的最佳模型。
如何使用 SAM 2
交互式追蹤影片中的物體
嘗試演示,使用單擊一個影格就能交互式追蹤任何影片中的物體,並創建有趣的效果。
Meta Segment Anything 的下一代
SAM 2 將影片和圖像分割能力帶入單一模型中,並保持簡單的設計和快速的推理速度。
模型架構
SAM 2 模型通過添加每個會話記憶模組,捕捉影片中的目標物體信息,將 SAM 的可提示能力擴展到影片領域。
Segment Anything 影片數據集
一個大型和多樣化的影片分割數據集,SAM 2 是在一個大型和多樣化的影片和遮罩集(遮罩隨時間變化)上訓練的,該數據集是通過在模型中交互式應用 SAM 2 生成的。
開放創新
為了讓研究社群能夠基於這項工作進行建設,我們公開發布了預訓練的 Segment Anything 2 模型、SA-V 數據集、演示和代碼。
潛在模型應用
SAM 2 可以單獨使用,也可以與其他模型結合使用,以實現未來的新體驗。
實用提示
- SAM 2 可以擴展以接受其他類型的輸入提示,例如未來啟用實時或直播影片中的創意交互方式。
- SAM 2 的影片物體分割輸出可以用作其他 AI 系統的輸入,例如現代影片生成模型,以啟用精確的編輯功能。
常見問題
- SAM 2 如何工作? SAM 2 是一個分割模型,能夠快速、精確地選擇任何影片或圖像中的任何物體。
- SAM 2 的主要功能是什麼? SAM 2 的主要功能包括在任何影片或圖像中分割任何物體、強健的分割、實時交互和結果,以及物體分割的最新表現。
- 如何使用 SAM 2? 你可以嘗試演示,使用單擊一個影格就能交互式追蹤任何影片中的物體,並創建有趣的效果。