2024年AI大模型赋能智能座舱研究报告-艾瑞咨询
清华博士带你一口气搞懂人工智能和神经网络-bilibili
大模型行业
截至2024年7月30日，全国范围内通过登记备案的行业大模型有136款，占比达69%。行业大模型深度赋能教育、金融、办公、政务、医疗等领域，形成上百种应用模式，赋能千行百业，在AI大模型的加持下，2024年中国人工智能产业市场规模将达2800亿元。
| 时间 |
事件/技术 |
描述 |
| 1950s |
图灵测试 |
艾伦·图灵提出，考察机器是否能模仿人类智能的行为。 |
| 1956 |
达特茅斯会议 |
人工智能作为学科的正式诞生，开始关注符号推理和知识表示。 |
| 1980s |
神经网络的反向传播算法 |
反向传播算法提出，使得多层神经网络的训练成为可能。 |
| 1990s |
神经网络沉寂，传统机器学习方法兴起 |
由于计算资源限制，神经网络发展受到瓶颈，支持向量机等方法崛起。 |
| 2006 |
深度学习复兴 |
Geoffrey Hinton等提出深度信念网络（DBN），推动深度学习复兴。 |
| 2012 |
AlexNet突破 |
使用深度卷积神经网络（CNN）在ImageNet上大幅提升图像分类性能。 |
| 2014 |
GAN的提出 |
Ian Goodfellow提出生成对抗网络（GAN），开启生成式模型的新纪元。 |
| 2018 |
BERT和Transformer的提出 |
Google提出BERT，通过Transformer架构极大提高自然语言处理任务的表现。 |
| 2018 |
GPT-2的推出 |
OpenAI推出的GPT-2，通过Transformer架构成为生成式语言模型的典范。 |
| 2019 |
GPT-3的推出 |
OpenAI推出的GPT-3，1750亿参数，成为强大的生成式语言模型，表现优秀。 |
| 2021 |
DALL·E和CLIP的发布 |
OpenAI推出的DALL·E和CLIP，结合文本和图像的多模态学习，推动视觉语言模型发展。 |
| 2022 |
ChatGPT的发布 |
基于GPT-3.5和GPT-4，OpenAI发布的对话生成模型ChatGPT，展现强大的自然语言能力。 |
| 2023-未来 |
多模态学习与自监督学习的兴起 |
大模型开始处理文本、图像、音频等多模态数据，自监督学习方法在预训练中得到广泛应用。 |
国内外大模型厂商
商业模式
- 面向C端的付费订阅模式
- 面向B端的API调用授权
通义千问 Qwen
Qwen2.5-github
Qwen2.5（通义千问 2.5）是 阿里巴巴推出的最新一代开源大语言模型，在推理能力、代码生成、数学计算、中文理解、对话对齐等多个方面进行了大幅优化。
特点
| 特点 |
描述 |
| 🚀 更强的推理能力 |
提高数学计算、代码生成、逻辑推理能力 |
| 📝 中文 & 多语言优化 |
更流畅的中文表达，同时支持英语等多语言 |
| 💡 长文本处理 |
最高支持 128K 上下文窗口，适合长文档分析 |
| 🖥️ 代码能力提升 |
代码生成更精准，支持 Python、Java、C++ 等 |
| 🤖 优化对话 & 指令对齐 |
更符合人类自然对话逻辑，减少幻觉（hallucination） |
| 📸 多模态支持（Qwen-VL2.5） |
具备 图像理解、OCR 识别能力 |
| 🔓 完全开源（Apache 2.0） |
免费可商用，支持二次开发 & 企业部署 |
参数规模
| 模型 |
参数规模 |
上下文窗口 |
适用场景 |
| Qwen2.5-0.5B |
0.5B |
128K |
轻量级应用，移动端 |
| Qwen2.5-1.8B |
1.8B |
128K |
轻量 NLP 任务，边缘设备 |
| Qwen2.5-7B |
7B |
128K |
代码生成，日常问答 |
| Qwen2.5-14B |
14B |
128K |
较复杂的 NLP 任务 |
| Qwen2.5-72B |
72B |
128K |
强大推理 & 多模态任务 |
| Qwen-VL2.5（多模态） |
72B |
128K |
图像+文本理解 |
DeepSeek
杭州深度求索人工智能基础技术研究有限公司
DeepSeek R1
| 特点 |
描述 |
| 🚀 强大推理能力 |
在数学、逻辑推理、代码能力上表现优秀 |
| 🧠 更好的对话对齐 |
提高了指令跟随能力，更符合人类直觉 |
| 📖 长文本处理 |
支持 128K 上下文窗口，适用于长文档处理 |
| 📝 强化代码能力 |
代码生成、理解能力大幅提升 |
| 🔓 开源（Apache 2.0） |
免费可商用，支持企业二次开发 |
| 模型 |
参数规模 |
上下文窗口 |
适用场景 |
| DeepSeek R1-6B |
6B |
128K |
轻量级任务，代码理解 |
| DeepSeek R1-16B |
16B |
128K |
代码生成，数学计算 |
| DeepSeek R1-67B |
67B |
128K |
复杂推理、NLP 任务 |
DeepSeek V3
| 特点 |
描述 |
| 📸 图像理解 |
DeepSeek V3 是多模态大模型，支持图像 + 文本任务 |
| 📝 OCR 识别 |
具备较强的文字识别和解析能力 |
| 🎨 视觉问答（VQA） |
支持图像问答，能理解复杂图片内容 |
| 🖼️ AI 绘画 |
生成式 AI 图像处理能力 |
| 🔓 可能开源 |
目前未完全开源，但未来可能开放部分能力 |
部署deepseek R1的硬件需求
| 模型版本 |
参数规模 |
GPU（最低） |
GPU（推荐） |
CPU |
内存（RAM） |
存储（SSD） |
| DeepSeek R1-6B |
6B |
1 × A10 (24GB) |
1 × A100 (40GB) |
8 核 |
32GB |
50GB |
| DeepSeek R1-16B |
16B |
2 × A100 (40GB) |
1 × H100 (80GB) |
16 核 |
64GB |
100GB |
| DeepSeek R1-67B |
67B |
8 × A100 (80GB) |
8 × H100 (80GB) |
32 核 |
128GB |
1TB |
deepseek 混合专家和openAI 单一专家训练对比
| 特性 |
DeepSpeed 混合专家训练 (MoE) |
OpenAI 训练方式 |
| 模型结构 |
多个专家网络，每次仅激活部分专家进行推理 |
单一大规模模型，所有参数都在每次推理时使用 |
| 计算效率 |
通过稀疏激活（只激活部分专家），节省计算资源和内存 |
计算资源密集，整个模型在每次推理时都需要激活 |
| 训练方法 |
动态专家选择，激活部分专家进行训练 |
全模型训练，使用大规模并行计算 |
| 任务多样性 |
主要用于大规模任务，如自然语言处理、图像生成等 |
适用于多任务训练，如语言生成、问答、代码生成等 |
| 资源需求 |
高效的资源使用，适合超大规模模型训练 |
高计算资源需求，适合大规模并行训练 |
| 适用场景 |
需要处理超大规模数据集，且计算资源有限的场景 |
通用任务处理，如生成式任务和强化学习微调 |
| 训练策略 |
稀疏激活，减少计算开销 |
使用强化学习与监督学习的结合 |
| 灵活性 |
针对不同任务，专家的组合可以动态调整 |
强调多任务学习，但模型结构固定 |
| 模型大小 |
模型规模可以非常庞大，通过稀疏激活减少计算开销 |
模型规模较大，且训练时计算开销较高 |
本机硬件配置
sudo lshw -short
H/W path Device Class Description
================================================================
system System Product Name (SKU)
/0 bus TUF GAMING B550M-PLUS
/0/0 memory 64KiB BIOS
/0/2c memory 64GiB System Memory
/0/2c/0 memory Project-Id-Version: lshwReport-Msgid-Bugs-To: FULL NAME <EMAIL@ADDRESS>PO-Revision-Date: 2012-10-07 14:34+0000Last-Translator: lumingzh <luming
/0/2c/1 memory 32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
/0/2c/2 memory Project-Id-Version: lshwReport-Msgid-Bugs-To: FULL NAME <EMAIL@ADDRESS>PO-Revision-Date: 2012-10-07 14:34+0000Last-Translator: lumingzh <luming
/0/2c/3 memory 32GiB DIMM DDR4 Synchronous Unbuffered (Unregistered) 2400 MHz (0.4 ns)
/0/2f memory 1MiB L1 cache
/0/30 memory 8MiB L2 cache
/0/31 memory 64MiB L3 cache
/0/32 processor AMD Ryzen 9 5950X 16-Core Processor
/0/100 bridge Starship/Matisse Root Complex
/0/100/0.2 generic Starship/Matisse IOMMU
/0/100/1.1 bridge Starship/Matisse GPP Bridge
/0/100/1.1/0 /dev/nvme0 storage KINGSTON SNV2S1000G
/0/100/1.1/0/0 hwmon0 disk NVMe disk
/0/100/1.1/0/2 /dev/ng0n1 disk NVMe disk
/0/100/1.1/0/1 /dev/nvme0n1 disk 1TB NVMe disk
/0/100/1.1/0/1/1 volume 511MiB Windows FAT volume
/0/100/1.1/0/1/2 /dev/nvme0n1p2 volume 931GiB EXT4 volume
/0/100/1.2 bridge Starship/Matisse GPP Bridge
/0/100/1.2/0 bus Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0/0 usb1 bus xHCI Host Controller
/0/100/1.2/0/0/3 input2 input INSTANT USB GAMING MOUSE Keyboard
/0/100/1.2/0/0/6 input AURA LED Controller
/0/100/1.2/0/0/7 bus USB2.0 Hub
/0/100/1.2/0/0/7/2 input5 input Telink VGN V98pro Mouse
/0/100/1.2/0/1 usb2 bus xHCI Host Controller
/0/100/1.2/0.1 scsi3 storage Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0.1/0.0.0 /dev/sda volume 7452GiB ST8000NM000A-2KE
/0/100/1.2/0.2 bridge Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0.2/0 bridge Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0.2/8 bridge Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0.2/9 bridge Advanced Micro Devices, Inc. [AMD]
/0/100/1.2/0.2/9/0 enp6s0 network RTL8125 2.5GbE Controller
/0/100/3.1 bridge Starship/Matisse GPP Bridge
/0/100/3.1/0 /dev/fb0 display GK208B [GeForce GT 710]
/0/100/3.1/0.1 card0 multimedia GK208 HDMI/DP Audio Controller
/0/100/3.1/0.1/0 input11 input HDA NVidia HDMI/DP,pcm=3
/0/100/3.1/0.1/1 input12 input HDA NVidia HDMI/DP,pcm=7
/0/100/3.1/0.1/2 input13 input HDA NVidia HDMI/DP,pcm=8
/0/100/3.1/0.1/3 input14 input HDA NVidia HDMI/DP,pcm=9
/0/100/7.1 bridge Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
/0/100/7.1/0 generic Starship/Matisse PCIe Dummy Function
/0/100/8.1 bridge Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
/0/100/8.1/0 generic Starship/Matisse Reserved SPP
/0/100/8.1/0.1 generic Starship/Matisse Cryptographic Coprocessor PSPCPP
/0/100/8.1/0.3 bus Matisse USB 3.0 Host Controller
/0/100/8.1/0.3/0 usb3 bus xHCI Host Controller
/0/100/8.1/0.3/1 usb4 bus xHCI Host Controller
/0/100/8.1/0.4 card1 multimedia Starship/Matisse HD Audio Controller
/0/100/8.1/0.4/0 input15 input HD-Audio Generic Front Mic
/0/100/8.1/0.4/1 input16 input HD-Audio Generic Rear Mic
/0/100/8.1/0.4/2 input17 input HD-Audio Generic Line
/0/100/8.1/0.4/3 input18 input HD-Audio Generic Line Out Front
/0/100/8.1/0.4/4 input19 input HD-Audio Generic Line Out Surround
/0/100/8.1/0.4/5 input20 input HD-Audio Generic Line Out CLFE
/0/100/8.1/0.4/6 input21 input HD-Audio Generic Front Headphone
/0/100/14 bus FCH SMBus Controller
/0/100/14.3 bridge FCH LPC Bridge
/0/100/14.3/0 system PnP device PNP0c01
/0/100/14.3/1 system PnP device PNP0c02
/0/100/14.3/2 system PnP device PNP0b00
/0/100/14.3/3 system PnP device PNP0c02
/0/100/14.3/4 communication PnP device PNP0501
/0/100/14.3/5 system PnP device PNP0c02
/0/101 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/102 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/103 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/104 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/105 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/106 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/107 bridge Starship/Matisse PCIe Dummy Host Bridge
/0/108 bridge Matisse/Vermeer Data Fabric: Device 18h; Function 0
/0/109 bridge Matisse/Vermeer Data Fabric: Device 18h; Function 1
/0/10a bridge Matisse/Vermeer Data Fabric: Device 18h; Function 2
/0/10b bridge Matisse/Vermeer Data Fabric: Device 18h; Function 3
/0/10c bridge Matisse/Vermeer Data Fabric: Device 18h; Function 4
/0/10d bridge Matisse/Vermeer Data Fabric: Device 18h; Function 5
/0/10e bridge Matisse/Vermeer Data Fabric: Device 18h; Function 6
/0/10f bridge Matisse/Vermeer Data Fabric: Device 18h; Function 7
/1 input0 input Power Button
/2 input1 input Power Button
/3 input10 input Eee PC WMI hotkeys
系统硬件配置摘要
| 类别 |
设备 |
描述 |
| 系统 |
TUF GAMING B550M-PLUS |
主板型号 |
| BIOS |
64KiB BIOS |
BIOS 内存大小 |
| 内存 |
64GiB System Memory |
系统内存，总容量 64GB |
| 内存条 |
32GiB DIMM DDR4 2400 MHz (2 x 32GB) |
内存条：2 x 32GB DDR4 |
| 缓存 |
L1 Cache: 1MiB, L2 Cache: 8MiB, L3 Cache: 64MiB |
CPU 缓存 |
| 处理器 |
AMD Ryzen 9 5950X 16-Core Processor |
16 核处理器，AMD Ryzen 9 5950X |
| 存储 |
KINGSTON SNV2S1000G (1TB NVMe SSD) |
1TB NVMe 固态硬盘 |
| 存储 |
ST8000NM000A-2KE (7.5TB HDD) |
7.5TB 硬盘 |
| 显卡 |
GK208B [GeForce GT 710] |
NVIDIA GeForce GT 710 显卡 |
| 网络接口 |
RTL8125 2.5GbE Controller |
2.5GbE 网卡 |
| USB控制器 |
xHCI Host Controller |
支持 USB 3.0 控制器 |
| 音频控制器 |
GK208 HDMI/DP Audio Controller |
HDMI 音频控制器 |
| 电源按钮 |
Power Button |
电源按钮 |
英伟达显卡参数
| 显卡型号 |
架构 |
CUDA 核心数量 |
显存 |
适用范围 |
光线追踪 |
Tensor 核 |
价格范围 |
| RTX 4090 |
Ada Lovelace |
16384 |
24GB GDDR6X |
顶级显卡，适合高端图形渲染和AI训练 |
支持 |
支持 |
$1600 - $2500 |
| RTX 4080 |
Ada Lovelace |
9728 |
16GB GDDR6X |
高端显卡，适合游戏和专业工作站 |
支持 |
支持 |
$1200 - $1800 |
| RTX 4070 Ti |
Ada Lovelace |
7680 |
12GB GDDR6X |
高性价比显卡，适合游戏和内容创作 |
支持 |
支持 |
$800 - $1100 |
| RTX 4070 |
Ada Lovelace |
5888 |
12GB GDDR6 |
中高端显卡，适合游戏和工作负载 |
支持 |
支持 |
$600 - $800 |
| RTX 3060 Ti |
Ampere |
4864 |
8GB GDDR6 |
中端显卡，适合深度学习和游戏 |
支持 |
支持 |
$400 - $500 |
| RTX 3060 |
Ampere |
3584 |
12GB GDDR6 |
中端显卡，适合游戏、内容创作和推理 |
支持 |
支持 |
$350 - $450 |
| RTX 3050 |
Ampere |
2048 |
8GB GDDR6 |
入门级显卡，适合游戏和轻量级深度学习 |
支持 |
支持 |
$200 - $300 |
| RTX 2080 Ti |
Turing |
4352 |
11GB GDDR6 |
高端显卡，适合高要求游戏和计算任务 |
支持 |
支持 |
$1000 - $1500 |
| RTX 2080 Super |
Turing |
3072 |
8GB GDDR6 |
高端显卡，适合深度学习和图形渲染 |
支持 |
支持 |
$700 - $1000 |
| RTX 2070 Super |
Turing |
2560 |
8GB GDDR6 |
中高端显卡，适合游戏和AI推理 |
支持 |
支持 |
$500 - $700 |
| RTX 2060 Super |
Turing |
2176 |
8GB GDDR6 |
中端显卡，适合游戏和轻量级计算任务 |
支持 |
支持 |
$400 - $600 |
| GeForce GT 710 |
Kepler |
192 |
2GB DDR3 |
入门级显卡，适合办公、视频输出和轻度图形任务 |
不支持 |
不支持 |
$40 - $60 |
