SAM 3.1
作为 SAM 3 的直接替代品，我们更新后的模型通过引入对象复用技术，显著提升了视频处理效率。该技术允许模型在单次前向传播中跟踪多达 16 个对象。这项创新使中等对象数量视频的处理速度翻倍，在单个 H100 GPU 上的吞吐量从每秒 16 帧提升至每秒 32 帧。因此，SAM 3.1 能够在复杂视频中实现实时对象跟踪，同时降低对 GPU 资源的总体需求，从而使高性能应用能够在更小巧、更易获取的硬件上运行。
SAM 3.1 核心升级本质
❌ 旧方式（SAM 3）
每一帧 + 每一个对象 → 单独跑一次模型
✅ 新方式（SAM 3.1）
一帧 + 多个对象 → 一次前向传播搞定
| 对象数量 | SAM 3 | SAM 3.1 |
|---|---|---|
| 少（1-2个） | 本来就快 | 提升有限 |
| 中（5-15个） | 多次重复推理 | 🚀 提升最大 |
| 多（>16） | 爆算力 | 仍受限制 |
H100 运行速度
| 指标 | SAM 3 | SAM 3.1 |
|---|---|---|
| FPS | 16 (62.5 ms) | 32(31.25 ms) |
| 推理方式 | 单对象循环 | 多对象并行 |
| GPU利用率 | 低（重复计算） | 高（并行计算） |
查看所有虚拟环境
(sam3) xt@3090-server:~/lixiaogang/sam3_test$ conda env list
# conda environments:
#
base /home/xt/miniconda3
barcode_angel /home/xt/miniconda3/envs/barcode_angel
chuku_ocr /home/xt/miniconda3/envs/chuku_ocr
label-studio /home/xt/miniconda3/envs/label-studio
lane-det /home/xt/miniconda3/envs/lane-det
mask2former_env /home/xt/miniconda3/envs/mask2former_env
mask2former_road /home/xt/miniconda3/envs/mask2former_road
mlflow_env /home/xt/miniconda3/envs/mlflow_env
onnx_env /home/xt/miniconda3/envs/onnx_env
paddle /home/xt/miniconda3/envs/paddle
paddle_longwei /home/xt/miniconda3/envs/paddle_longwei
pct_planner /home/xt/miniconda3/envs/pct_planner
remote_control /home/xt/miniconda3/envs/remote_control
rk21 /home/xt/miniconda3/envs/rk21
rkPaddle /home/xt/miniconda3/envs/rkPaddle
rknn_env /home/xt/miniconda3/envs/rknn_env
rkpaddlecls /home/xt/miniconda3/envs/rkpaddlecls
ry5 /home/xt/miniconda3/envs/ry5
sam3 * /home/xt/miniconda3/envs/sam3
sam3_onnx /home/xt/miniconda3/envs/sam3_onnx
siglip2 /home/xt/miniconda3/envs/siglip2
yolo /home/xt/miniconda3/envs/yolo
yolo26 /home/xt/miniconda3/envs/yolo26
yolov8_env /home/xt/miniconda3/envs/yolov8_env
下载模型
pip install modelscope
modelscope download --model facebook/sam3.1 --local_dir ./sam3.1
0
次点赞
