魔塔社区
ModelScope 是由阿里巴巴 (达摩院) 发起的开源模型社区
| 项目 | 千问3‑VL‑8B‑Instruct | 千问3‑VL‑8B‑Thinking | 千问3‑VL‑8B‑Instruct‑FP8 |
|---|---|---|---|
| 参数规模 | 8B | 8B | 8B |
| 模型目的 | 指令式推理 | 思考/逻辑推理能力加强 | 指令式推理（优化 FP8 效率） |
| 最佳场景 | 任务引导式理解、分类、描述型任务 | 复杂多步推理、逻辑推理、连续推断任务 | 性能优先、显存敏感（更低显存占用） |
| 是否支持视觉（VL） | ✅ 视觉 + 文本 | ✅ 视觉 + 文本 | ✅ 视觉 + 文本 |
| 推理速度 | 🟢 中等 | 🟡 稍慢 | 🔵 较快 |
| 显存占用 | 🟠 适中 | 🔴 较高 | 🔵 较低 |
| 是否适合 Int4 / FP8 | ⭐ Int4 | ⚠ Int4 成效不如 Instruct | ⭐ FP8 优化效果好 |
| 推理准确性 | ⭐⭐ | ⭐⭐⭐（逻辑 & 思考更强） | ⭐⭐（与 Instruct 相当） |
| 对场景分类任务适配度 | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ |
| 推荐用途 | 主力分类 & 任务执行 | 多步推理情境 | 部署性能优化版本 |
千问3‑VL‑8B‑Instruct‑FP8
| 属性 | 说明 |
|---|---|
| 模型名称 | 千问3‑VL‑8B‑Instruct‑FP8 |
| 版本/发布日期 | 2026.03.02 |
| 参数量 | 8B（80亿参数） |
| 类型 | 视觉-语言（VL）多模态理解 |
| 定位 | 指令式推理模型（Instruct），优化 FP8 量化 |
| 任务能力 | - 场景分类（office / corridor / road 等） - 光照评估（normal / low_light / strong_glare） - 结构特征识别（墙壁、天花板、地面材质） - 文本 + 图像联合推理 |
| 框架支持 | Transformers / accelerate / bitsandbytes / PyTorch |
| 授权 | Apache 2.0 |
目标
在 RTX3090 上成功运行：千问3‑VL‑8B‑Instruct‑FP8 + 图像输入 + JSON输出
环境准备
什么是 Conda
Conda 是一个“环境管理器 + 包管理器”
没有 Conda 时
系统里只有一个 Python
项目A：
需要 torch 2.1 + CUDA11.8
项目B：
需要 torch 1.13 + CUDA11.3
👉 直接冲突 💥
有 Conda 后
环境1（qwen_vl）：
Python 3.10 + torch 2.1
环境2（old_project）：
Python 3.8 + torch 1.13
创建个干净的环境
conda create -n qwen_vl python=3.10 -y
conda activate qwen_vl
创建完成后
xt@xt-2288H-V5:~/miniconda3/envs/qwen_vl$ tree -L 1
.
├── bin
├── compiler_compat
├── conda-meta
├── etc
├── include
├── lib
├── man
├── share
├── ssl
└── x86_64-conda-linux-gnu
激活后环境变成新的qwen_vl
(base) xt@xt-2288H-V5:~/miniconda3/envs/qwen_vl$ conda activate qwen_vl
(qwen_vl) xt@xt-2288H-V5:~/miniconda3/envs/qwen_vl$ python3 --version
Python 3.10.20
pytorch 环境
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
0
次点赞
