从抢购算力说起
2026 年，抢购算力已经成为 AI 行业的常态。中国的算力紧张，根源在于算力依赖显卡，而高端显卡几乎只有英伟达一个选择。很多人知道英伟达卖显卡，但对 CUDA 这个名词并不熟悉。CUDA 是英伟达最核心的竞争壁垒，这道壁垒花了整整二十年才构筑完成。理解 CUDA 的来龙去脉，才能理解今天算力市场的格局。
CUDA 到底是什么
CUDA 的全称是 Compute Unified Device Architecture，即统一计算设备架构。它本质上是一套编程接口和开发工具包，让开发者能够使用 C、C++ 等语言直接调用 GPU 进行通用计算。
用一个类比来理解：GPU 像一块肌肉，具备强大的并行计算能力；CUDA 则是指挥肌肉发力的神经系统，负责把计算任务调度到成千上万个核心上。没有 CUDA，GPU 只能渲染游戏画面；有了 CUDA，GPU 才能执行 AI 训练、科学计算等复杂任务。CUDA 的核心价值在于把 GPU 从图形渲染工具变成了通用计算设备。
2006 年之前的 GPU 世界
在 CUDA 出现之前，GPU 的唯一用途就是图形渲染。想用 GPU 做矩阵乘法之类的科学计算，开发者必须把计算任务伪装成图形渲染任务，这种方法被称为 GPGPU（General Purpose GPU）。这就像你想请厨师做一顿饭，却只能通过点菜的方式来沟通，告诉他你要一盘特定颜色和形状的菜，效率极低且极其痛苦。
黄仁勋的豪赌
2006 年，英伟达 CEO 黄仁勋做出了一个当时看来极其疯狂的决定：投入约 100 亿美元开发 CUDA 平台。这个数字在当时英伟达市值仅几百亿美元的背景下，几乎等于押上了公司的全部身家。华尔街的质疑声铺天盖地，投资者无法理解一家游戏显卡公司为什么要烧钱去做一个前途未卜的通用计算平台。黄仁勋的判断很简单：GPU 不应该只用来打游戏。
G80 架构（GeForce 8800 GTX）是第一款支持 CUDA 的显卡，它实现了统一着色器架构，让 GPU 的所有核心可以执行任意计算任务，而不再局限于画三角形。这个架构设计奠定了此后二十年 GPU 计算的基础范式。
漫长的冷启动期
CUDA 发布后并没有迎来爆发，反而经历了长达六七年的冷遇。2006 到 2008 年间几乎无人问津，只有少数科研人员在尝试使用；2008 到 2010 年学术界开始关注，产业界依然无动于衷；2010 到 2012 年英伟达股价持续低迷，投资者的质疑声从未停歇。
这期间英伟达做了三件关键的事情。第一，免费开放 CUDA 工具包，任何开发者都可以下载使用，不收取任何授权费用。第二，资助大学教育，推动 CUDA 进入计算机科学的课程体系，培养下一代开发者。第三，持续迭代硬件架构，从 Fermi 到 Kepler 再到 Maxwell，每一代都在 CUDA 性能和功能上做实质性改进。这六年的投入像是在种树，地面上看不到果实，但根系在土壤深处悄悄扎稳。
AlexNet 改变了一切
2012 年，ImageNet 图像识别竞赛上出现了一个转折点。研究生 Alex Krizhevsky 用两块 GTX 580 显卡训练了一个深度神经网络 AlexNet，错误率直接降到 15.3%，而传统方法的错误率还在 26% 以上。训练时间从数月缩短到几周，硬件成本从数百万美元降到几千美元。
| 对比维度 | AlexNet | 传统方法 |
|---|---|---|
| 错误率 | 15.3% | 26%+ |
| 训练时间 | 几周 | 数月甚至数年 |
| 硬件成本 | 几千美元 | 数百万美元 |
关键在于 AlexNet 的实现深度依赖 CUDA。没有 CUDA 提供的并行计算能力，这个实验根本无法在合理时间内完成。这件事让全世界 AI 研究者意识到，GPU 加 CUDA 加深度神经网络就是 AI 的突破口。从这一天起，CUDA 从科研人员的实验工具变成了 AI 研究的标准配置。
二十年的迭代积累
CUDA 从 1.0 发展到 14.x，经历了二十年的持续迭代，每个主要版本都带来了实质性的能力提升。
| CUDA 版本 | 年份 | 关键特性 |
|---|---|---|
| 1.0 | 2006 | 基础编程模型 |
| 2.0 | 2008 | 双精度浮点支持 |
| 4.0 | 2011 | 动态并行 |
| 6.0 | 2014 | 统一内存 |
| 8.0 | 2016 | Volta 架构优化 |
| 10.0 | 2018 | Turing 架构、Tensor Core |
| 11.0 | 2020 | Ampere 架构、多实例 GPU |
| 12.0 | 2022 | Hopper 架构、H100 |
| 14.x | 2026 | Rubin 架构适配 |
到 2026 年，这二十年积累的数据相当可观：开发者数量超过 500 万，优化算子库超过 3000 个，GitHub 上依赖 CUDA 的项目达到数千万量级，95% 以上的 AI 学术论文默认使用 CUDA。这些数字不是一朝一夕积累出来的，是二十年一代又一代硬件和软件迭代的自然结果。
多层嵌套的壁垒
CUDA 的护城河不只是技术领先，而是构建了一个让竞争对手根本无法入场的多层嵌套体系。最外层是生态网络效应，全球 500 万开发者习惯使用 CUDA，学术论文默认 CUDA，开源项目全部绑定 CUDA，新人进入 AI 领域第一个学的就是 CUDA。往里一层是软件栈深度，3000 多个高度优化的算子库，加上 cuDNN、cuBLAS、NCCL 等核心计算库和 TensorRT、RAPIDS 等工具链，构成了极其完整的开发生态。再往里是人才和知识积累，二十年培养的 GPU 编程专家、编译器团队和性能优化经验。更深层是硬件制造差距，3nm 制程领先竞品两到三代，HBM3e 内存技术和 NVLink 高速互联都掌握在英伟达手中。最底层是架构设计能力，虽然有一定公开论文可以参考，但要追平仍然需要巨大的人才和资金投入。
这五层壁垒相互嵌套，每一层都建立在前一层之上。竞争对手即使突破了一层，还有四层在等着。
软件栈锁定
英伟达构建了一个从底层硬件到上层框架的完整软件栈。最底层是 NVIDIA GPU 硬件，往上是 CUDA Runtime 和 Driver API 提供的编程接口，再往上是 cuDNN、cuBLAS、NCCL、cuSPARSE 等核心计算库，然后是 TensorRT、RAPIDS、Numba 等性能优化工具，最上层是 PyTorch、TensorFlow、JAX 等开发者直接使用的深度学习框架。
关键问题是，每一层都只对 NVIDIA 硬件做了深度优化。PyTorch 对 CUDA 的优化最完善，AMD 的 ROCm 支持总是残缺不全。cuDNN 的性能远超任何替代实现，AMD 至今没有对标的计算库。NCCL 的多卡通信方案成熟稳定，AMD 的 RCCL 至今仍有大量未修复的 bug。这意味着开发者即使想选择其他硬件，整个软件生态也不支持。
开发者迁移的代价
假设一家 AI 公司想把基础设施从 NVIDIA 迁移到 AMD，摆在面前的挑战相当棘手。50 万行 CUDA 代码需要全部重写，团队需要重新培训，CI/CD 流程需要重建，第三方开源库的兼容性需要逐一验证，迁移期间性能和稳定性必然下降。
| 挑战维度 | 具体内容 |
|---|---|
| 代码资产 | 数十万行 CUDA 代码需要全部重写 |
| 人才储备 | 团队精通 CUDA，需要重新培训 |
| 基础设施 | CI/CD 全基于 NVIDIA GPU，需要重建 |
| 第三方依赖 | 开源库绑定 CUDA，迁移兼容性差 |
| 迁移风险 | 迁移期间 bug 增多、性能下降 |
迁移成本之高，让绝大多数公司根本换不起。开发者锁定的本质不是 CUDA 技术本身有多完美，而是换一套生态的代价大到无法承受。
学术界的自我强化
学术界对 CUDA 的绑定更值得单独拿出来说。一篇论文的作者用 CUDA 编写实验代码，论文发表后代码开源，后续研究者想复现结果就必须使用 CUDA，然后又写出更多 CUDA 代码。这个循环不断自我强化，最终的结果是 95% 的 AI 论文默认使用 CUDA。想发 paper、想复现别人的结果、想用开源模型，就必须有 NVIDIA GPU。学术界已经被牢牢绑定在 CUDA 生态上。
竞品为什么追不上
AMD 在 2016 年推出了 ROCm（Radeon Open Compute），试图对标 CUDA。但两者的差距一目了然：CUDA 从 2006 年开始积累，拥有 500 万开发者和 3000 多个算子库；ROCm 起步晚了整整十年，开发者数量估计不足 5 万，算子库只有 200 个左右，稳定性和兼容性都远未达到生产可用的水平。很多 CUDA 代码无法直接迁移到 ROCm，文档不完善，社区活跃度很低。
英特尔的处境更差。oneAPI 在 2020 年才推出，比 CUDA 晚了 14 年。英特尔自家 GPU 的硬件性能跟不上，没有开发者愿意投入精力学习一套新 API，市场份额几乎可以忽略不计。
| 对比维度 | CUDA | ROCm | oneAPI |
|---|---|---|---|
| 发布时间 | 2006 | 2016 | 2020 |
| 开发者数量 | 500 万+ | 不足 5 万 | 极少 |
| 算子库 | 3000+ | 约 200 | 极少 |
| 稳定性 | 极高 | 经常出 bug | 缺乏验证 |
| 框架支持 | 原生级 | 适配残缺 | 几乎没有 |
这里有一个残酷的追赶悖论。即使 AMD 今天追上了 CUDA 2022 年的水平，CUDA 已经是 2026 年的 14.x 版本了，英伟达已经发布了 Rubin 架构。NVIDIA 每年迭代一次，AMD 每年追赶一点，差距永远存在。追赶者的困境在于，你追上的永远是过去的目标。
硬件层面的差距
CUDA 的护城河不只是软件，硬件同样是一道高墙。英伟达与台积电建立了深度合作关系，每一代 GPU 都能拿到最先进的制程工艺。H100 使用 4nm 制程，B200 使用 4NP，Rubin R100 直接上 3nm，预计 2026 年下半年量产。台积电的最先进制程优先供给英伟达，这种合作关系背后是巨大的采购规模和长期信任积累。
高端 AI 训练还需要高带宽内存（HBM），这是目前最高端的内存封装技术，由 SK 海力士和三星生产。H100 配备 80GB HBM3，带宽 3.35 TB/s；B200 配备 192GB HBM3e，带宽达到 8 TB/s；B300 和 Rubin 系列进一步提升。NVIDIA 拥有 HBM 的优先供应权，竞品在内存规格上天然落后一代。
| GPU | 内存规格 | 带宽 |
|---|---|---|
| H100 | 80GB HBM3 | 3.35 TB/s |
| B200 | 192GB HBM3e | 8 TB/s |
| B300 | 192GB+ HBM3e | 8 TB/s+ |
多卡训练需要高速互联技术。NVLink 4.0 提供 900 GB/s 带宽，NVLink 5.0 将达到 1.8 TB/s，而 AMD 的 Infinity Fabric 只有约 400 GB/s，性能和稳定性都有明显差距。硬件层面的领先意味着，即使竞品的软件生态追上来，物理层面的性能差距仍然无法弥补。
二十年挖出来的河
回到最初的问题：CUDA 的护城河是怎么一步步挖出来的？核心逻辑其实不复杂。黄仁勋在 2006 年押注了一个当时几乎没人相信的方向，认为 GPU 可以成为通用计算工具。此后六年冷启动期，英伟达靠免费工具和大学教育默默培养了第一批开发者。2012 年 AlexNet 证明了这条路的价值，学术界开始大规模转向 CUDA。接下来的十年里，英伟达构建了完整的软件栈生态。等到 2022 年大模型爆发，CUDA 已经无处不在，成为了 AI 基础设施的事实标准。
竞争者面对的不是某个天才设计带来的技术优势，而是二十年持续投入积累出来的生态深度。500 万开发者、3000 个算子库、95% 的论文绑定，这些数字背后的时间成本才是护城河的真正含义。要复制这一切，需要同样漫长的时间周期，而英伟达并没有停下来等待。