Segment Anything 怎么用？2025 最新零样本图像分割工具教程及官网 API 详解

?️ 快速上手：Segment Anything 2025 核心功能与官网资源

Segment Anything（简称 SAM）是 Meta AI 推出的颠覆性零样本图像分割工具，2025 年更新后新增视频实时分割和多模态提示支持，已成为计算机视觉领域的标杆方案。其核心优势在于无需额外训练即可处理任意图像或视频中的对象，通过简单的点、框、文本提示生成高质量掩膜，广泛应用于图像编辑、数据标注、自动驾驶等场景。

? 官网与核心资源获取

官方网站：访问 Segment Anything 官网获取最新文档、预训练模型及社区生态项目。Meta 提供了 SAM 2（支持视频分割）和 SAM-ViT-H（高精度模型）等不同规模的预训练权重，可根据硬件条件选择。
GitHub 仓库：开源代码库包含完整的模型实现、推理示例及工具链，地址为 facebookresearch/segment-anything。建议通过 git clone 获取最新版本，并参考 demo 目录下的交互式界面代码。
预训练模型下载：官网提供 sam_vit_h_4b8939.pth（高精度）、sam_vit_b_01ec64.pth（轻量级）等模型文件。对于视频任务，需下载 SAM 2 专用模型（如 sam2_s.pt），可通过 Ultralytics 库快速加载。

? 实战教程：从环境搭建到高效分割

1️⃣ 环境配置与依赖安装

基础环境要求

Python 版本：推荐使用 Python 3.8 或更高版本，建议通过 conda 创建独立虚拟环境以避免依赖冲突。
PyTorch 安装：根据 GPU 型号安装对应版本的 PyTorch（如 CUDA 11.7 搭配 torch==2.0.1）。若使用 CPU 推理，可安装 CPU 版本。

核心库安装：

bash

# 安装 SAM 核心库
pip install -U "git+https://github.com/facebookresearch/segment-anything.git"
# 安装依赖项（如 OpenCV、Matplotlib）
pip install opencv-python pycocotools matplotlib onnxruntime

国内用户建议：通过清华镜像源加速安装，例如将命令修改为 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...。

SAM 2 与 Ultralytics 集成

若需使用 SAM 2 的视频分割功能，可通过 Ultralytics 库简化操作：

bash

# 安装 Ultralytics（支持 SAM 2 和 YOLOv8）
pip install -U ultralytics
# 下载 SAM 2 模型（如 sam2_s.pt）
wget https://github.com/ultralytics/assets/releases/download/v8.2.0/sam2_s.pt

加载模型时，可通过 SAM("sam2_s.pt") 直接初始化，并支持视频文件输入。

2️⃣ 核心操作流程详解

静态图像分割

加载模型与预处理：

python

from segment_anything import sam_model_registry, SamPredictor
import cv2

# 初始化模型（选择 'vit_h'、'vit_l' 或 'vit_b'）
sam = sam_model_registry("vit_h")(checkpoint="sam_vit_h_4b8939.pth")
predictor = SamPredictor(sam)
# 读取并预处理图像
image = cv2.imread("input.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
predictor.set_image(image)

交互式提示输入：
- 点提示：指定目标区域内的点（如熊猫头部），标签 1 表示前景，0 表示背景。
- 框提示：输入矩形框坐标 (x1, y1, x2, y2)，模型将分割框内的主要对象。
python
# 点提示示例 input_point = np.array([[, ], [, ]]) # 熊猫的头和身体 input_label = np.array([, ]) # 框提示示例 input_box = np.array([, , , ]) # 竹子区域

生成掩膜与可视化：

python

masks, scores, logits = predictor.predict(
    point_coords=input_point,
    point_labels=input_label,
    box=input_box,  # 可选框提示
    multimask_output=True  # 生成多个候选掩膜
)
# 可视化结果（需自定义函数）
visualize_mask(image, masks[], save_path="output.png")

技巧：multimask_output=True 会返回多个不同 IoU 分数的掩膜，可根据需求选择最佳结果。

全自动掩膜生成

若需分割图像中的所有对象，可使用 SamAutomaticMaskGenerator：

python

from segment_anything import SamAutomaticMaskGenerator

mask_generator = SamAutomaticMaskGenerator(sam)
masks = mask_generator.generate(image)
# 结果包含每个对象的掩膜、面积、置信度等信息
for mask in masks:
    print(f"Mask Area: {mask['area']}, Predicted IoU: {mask['predicted_iou']}")

该模式适用于批量标注或内容分析，例如从卫星图像中提取建筑物或植被区域。

视频实时分割（SAM 2 专属）

SAM 2 支持视频流输入，并通过记忆机制跟踪对象：

初始化视频预测器：

python

from segment_anything import build_sam2_video_predictor

predictor = build_sam2_video_predictor(model_type="vit_h", checkpoint="sam2_hiera-large.pth")

逐帧处理与跟踪：

python

import cv2

cap = cv2.VideoCapture("video.mp4")
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 添加提示（如第一帧指定点或框）
    if first_frame:
        predictor.set_image(frame)
        input_point = np.array([[, ]])
        masks, _ = predictor.predict(point_coords=input_point, point_labels=[])
    # 传播掩膜到后续帧
    state = predictor.get_state()
    masks, _ = predictor.propagate_in_video(state, frame)
    # 可视化结果
    for mask in masks:
        cv2.imshow("Segmentation", mask["segmentation"])

SAM 2 通过 流式内存 和 运动感知算法，可在复杂场景（如遮挡、快速移动）中稳定跟踪目标，适用于安防监控、野生动物追踪等领域。

? 深度集成：第三方工具与生态扩展

1️⃣ SAHI：大图像与小目标优化

SAHI（Slicing Aided Hyper Inference）是专门处理高分辨率图像和密集小目标的框架，可与 SAM 无缝集成：

核心功能：将大图像切分为小块，独立推理后合并结果，显著减少内存占用并提升小目标检测精度。

安装与使用：

bash

pip install sahi

python

from sahi.predict import get_prediction, predict
from sahi.utils.cv import read_image

image = read_image("large_image.tif")
# 配置切片参数
result = predict(
    model=predictor,  # SAM Predictor 对象
    image=image,
    slice_height=,
    slice_width=,
    overlap_height_ratio=0.2,
    overlap_width_ratio=0.2,
)
# 合并结果并可视化
merged_masks = result.export_merged_masks()

SAHI 特别适合医学影像（如 CT 扫描中的微小病灶）、遥感图像（如城市建筑提取）等场景。

2️⃣ Grounded-SAM-2：多模态与实时交互

Grounded-SAM-2 结合 Grounding DINO（目标定位）和 SAM 2（分割），实现 “文本提示 + 实时跟踪”：

核心流程：用户输入文本（如 “红色汽车”），模型自动定位并分割视频中的对应对象，支持多目标同时跟踪。
部署建议：通过 Docker 容器简化环境配置，参考官方仓库中的 inference.py 脚本实现端到端流程。

3️⃣ 自动化标注流水线（YOLOv8 + SAM）

利用 YOLOv8 的快速检测能力与 SAM 的高精度分割，可构建自动化标注系统：

python

from ultralytics import SAM, YOLO

# 初始化模型
det_model = YOLO("yolov8n.pt")  # 检测模型
sam_model = SAM("mobile_sam.pt")  # 轻量化 SAM 模型

# 处理图像数据集
for img_path in dataset:
    # 检测目标
    det_results = det_model(img_path, stream=True)
    for result in det_results:
        boxes = result.boxes.xyxy.cpu().numpy()  # 获取检测框坐标
        # 分割并生成标注
        sam_results = sam_model(result.orig_img, bboxes=boxes, verbose=False)
        for seg in sam_results[].masks.xyn:
            # 保存为 COCO 或 VOC 格式
            save_annotation(seg, class_id=result.boxes.cls[])

该方案可将人工标注效率提升 10 倍以上，适用于自动驾驶、工业质检等大规模数据需求场景。

? 官网 API 详解与高级开发

1️⃣ API 核心接口说明

图像分割接口

端点：POST /segment
请求参数：
- image：Base64 编码的图像数据或 URL。
- prompt_type：支持 point（点）、box（框）、text（文本，需 SAM 2+）。
- prompt_data：根据类型提供坐标、文本等信息。
- model_type：选择模型版本（如 vit_h、sam2_large）。
响应：包含掩膜二进制数据、IoU 分数及可视化链接。

视频分割接口

端点：POST /video_segment
参数扩展：
- video_url：视频文件 URL 或分片数据。
- initial_prompt：第一帧的初始提示（如点或框）。
- track_objects：布尔值，启用对象跟踪（SAM 2 专属）。

2️⃣ 认证与调用限制

API Key：需在 Meta 开发者平台申请，通过请求头 Authorization: Bearer YOUR_KEY 传递。
速率限制：免费额度为 1000 次请求 / 天，企业用户可申请更高配额。
数据隐私：上传的图像和视频数据将在处理后 24 小时内删除，符合 GDPR 合规要求。

3️⃣ 自定义开发与部署

模型导出与优化

ONNX 转换：

bash

python scripts/export_onnx_model.py \
    --checkpoint sam_vit_h_4b8939.pth \
    --model-type vit_h \
    --output sam.onnx

TensorRT 加速：使用 trtexec 将 ONNX 模型转换为 TensorRT 引擎，推理速度可提升 3-5 倍，适合边缘设备部署。

服务化部署

通过 FastAPI 或 Flask 构建 API 服务，示例代码如下：

python

from fastapi import FastAPI, File, UploadFile
from segment_anything import sam_model_registry, SamPredictor

app = FastAPI()
sam = sam_model_registry("vit_b")(checkpoint="sam_vit_b_01ec64.pth")
predictor = SamPredictor(sam)

@app.post("/segment")
async def segment_image(file: UploadFile = File(...)):
    contents = await file.read()
    image = cv2.imdecode(np.frombuffer(contents, np.uint8), cv2.IMREAD_COLOR)
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    predictor.set_image(image)
    # 假设前端传递点提示
    input_point = np.array([[, ]])
    masks, _, _ = predictor.predict(point_coords=input_point, point_labels=[])
    return {"mask": masks[].tolist()}

⚙️ 常见问题与优化策略

1️⃣ 安装与环境问题

依赖冲突：若出现 libcudart.so.11.0 缺失，需确认 CUDA 版本与 PyTorch 匹配，例如通过 nvcc --version 检查，并重新安装对应版本的 PyTorch。
显存不足：
- 降级模型至 vit_b 或启用梯度检查点：
  python
  sam.image_encoder.grad_checkpointing_enabled = True
- 降低输入分辨率：通过 predictor.set_image(image, target_size=512) 减少内存占用。

2️⃣ 分割效果优化

碎片化掩膜：调整 SamAutomaticMaskGenerator 参数：

python

mask_generator = SamAutomaticMaskGenerator(
    sam,
    points_per_side=,
    pred_iou_thresh=0.88,  # 提高质量阈值
    stability_score_thresh=0.92,
    min_mask_region_area=  # 过滤小区域
)

复杂场景失败：在模糊或遮挡区域添加额外提示点，或结合语义信息（如文本提示 “天空中的鸟”）引导模型。

3️⃣ API 调用优化

批量处理：通过一次性传递多幅图像或视频片段，减少 HTTP 请求次数。

缓存机制：对相同图像的重复提示（如多次分割同一对象），可缓存图像嵌入以加速后续推理：

python

# 首次推理
predictor.set_image(image)
image_embedding = predictor.get_image_embedding()
# 后续推理直接使用 embedding
predictor.set_image_embedding(image_embedding)

? 行业应用与创新实践

1️⃣ 影视制作与内容创作

案例：使用 SAM 快速提取绿幕背景中的演员，结合 NUKE 插件实现无缝合成。通过 SegmentAnything 节点，可直接在视效软件中交互式分割角色，替代传统逐帧 Rotoscoping 流程，效率提升 50% 以上。
工具链：搭配 Stable Diffusion 实现 “分割 - 替换 - 生成” 流水线，例如将风景照片中的天空替换为自定义场景。

2️⃣ 自动驾驶与智能交通

数据标注：基于 SAM 的车道线自动标注系统，通过轻量化模型生成稀疏提示点，再由 SAM 生成高质量掩膜，已实现 90 万帧图像 的自动化标注，成本降低 60%。
实时感知：SAM 2 的视频分割能力可用于车端实时识别行人、障碍物，结合激光雷达数据提升多模态融合精度。

3️⃣ 科研与医学影像

生物医学：在显微镜图像中分割细胞或组织，支持活细胞动态跟踪（如 SAMURAI 项目）。通过 SAM + 光流算法，可分析细胞迁移路径并量化运动参数。
遥感分析：利用 SAHI 处理卫星图像，分割农田、水域等大面积区域，结合深度学习模型进行作物健康评估或灾害监测。

? 总结与资源导航

核心价值：SAM 重新定义了零样本分割的可能性，其 “分割一切” 的能力正在推动计算机视觉从 “特定任务” 向 “通用感知” 跨越。
学习路径：
1. 从官网教程入手，掌握基础提示操作。
2. 通过 GitHub 示例复现自动化标注和视频分割。
3. 探索第三方工具（SAHI、Grounded-SAM-2）扩展应用边界。
官方资源：
- Segment Anything 官网：获取文档、模型及更新日志。
- GitHub 仓库：开源代码与社区贡献。
- Ultralytics 文档：SAM 2 与 YOLOv8 集成指南。

【该文章由dudu123.com嘟嘟 ai 导航整理，嘟嘟 AI 导航汇集全网优质网址资源和最新优质 AI 工具】

?️ 快速上手：Segment Anything 2025 核心功能与官网资源

? 官网与核心资源获取

? 实战教程：从环境搭建到高效分割

1️⃣ 环境配置与依赖安装

基础环境要求

SAM 2 与 Ultralytics 集成

2️⃣ 核心操作流程详解

静态图像分割

全自动掩膜生成

视频实时分割（SAM 2 专属）

? 深度集成：第三方工具与生态扩展

1️⃣ SAHI：大图像与小目标优化

2️⃣ Grounded-SAM-2：多模态与实时交互

3️⃣ 自动化标注流水线（YOLOv8 + SAM）

? 官网 API 详解与高级开发

1️⃣ API 核心接口说明

图像分割接口

视频分割接口

2️⃣ 认证与调用限制

3️⃣ 自定义开发与部署

模型导出与优化

服务化部署

⚙️ 常见问题与优化策略

1️⃣ 安装与环境问题

2️⃣ 分割效果优化

3️⃣ API 调用优化

? 行业应用与创新实践

1️⃣ 影视制作与内容创作

2️⃣ 自动驾驶与智能交通

3️⃣ 科研与医学影像

? 总结与资源导航

相关阅读

AI 率检测准确性大揭秘：哪些因素影响结果？

移动端降 AIGC 工具评测：提升效率的实用方案

AI提示词工程入门｜以ChatGPT和DeepSeek原创文章为例｜指令设计原则

AI写作prompt怎么写才能更精准？| 掌握结构化提问技巧 | 看这篇就够了

提升内容创作效率 | AI原创与伪原创工具组合使用技巧

怎么判断是AI还是人写的？2025最新方法，一眼识别AIGC内容

非专业用户能用 Visily.ai 吗？草图转原型 + 无门槛界面新手必看

无插件体育直播推荐：JRKAN 2025 新版支持全球赛事，手机端实时更新赛程