推理算力行业深度：发展现状、竞争格局、发展趋势、产业链及相关公司深度梳理

1/21 2025 年 2 月 17 日 行业|深度|研究报告 行业研究报告 慧博智能投研 推理算力行业深度：发展现状、竞争格局、发展趋势、产业链及相关公司深度梳理 推理算力（Inference Computing Power）指在人工智能（AI）模型中，利用已训练完成的算法对输入数据进行实时预测或决策所需的计算能力。其核心价值在于将实验室中的 AI 模型转化为实际应用，是AI 商业化落地的关键环节。 推理算力作为 AI 技术应用的核心环节，正在迎来爆发式增长。随着生成式 AI 的快速发展，推理算力的需求将逐步超过训练算力，尤其是在科学研究、编程、办公软件、医疗健康和金融等领域，推理算力的应用场景将更加广泛。未来，随着国产 AI 芯片厂商的逐步崛起，推理算力的市场格局将发生深刻变化，国产芯片有望在 3-5 年内占据更大的市场份额。此外，推理芯片的市场规模潜力巨大，预计到 2025 年，推理芯片的需求将达到 600 亿美元左右。 围绕推理算力，下面我们从 AI 技术的两个环节开始溯源，进而了解推理算力发展现状、竞争格局、未来发展趋势，并对产业链及相关公司进行梳理，希望能够帮助大家更好了解推理算力。 目录 一、AI 技术及推理算力 ....................................................................1 二、推理算力发展现状 .....................................................................2 三、推理算力竞争格局及市场空间 ...........................................................3 四、推理算力产业链 .......................................................................4 五、国内推理算力相关公司 .................................................................9 六、推理算力的未来发展趋势 .............................................................. 19 七、参考研报 ........................................................................... 20 一、AI 技术及推理算力 1.AI 技术的两个环节 AI 技术在实际应用中包括两个环节：训练(Training)和推理(Inference)。训练是指通过大数据训练出一个复杂的神经网络模型，使其能够适应特定的功能。训练需要较高的计算性能、能够处理海量数据、具有一定的通用性。推理是指利用训练好的神经网络模型进行运算，利用输入的新数据来一次性获得正确结论的过程。 2/21 2025 年 2 月 17 日 行业|深度|研究报告 云端推理占比逐步提升，AI 落地应用数量增加。根据 IDC 数据，随着人工智能进入大规模落地应用的关键时期，2022 年在云端部署的算力里，推理占算力已经达到了 58.5%，训练占算力只有 41.5%，预计到 2026 年，推理占到 62.2%，训练占 37.8%。云端推理占比逐步提升说明，AI 落地应用数量正在不断增加，人工智能模型将逐步进入广泛投产模式。 2.推理算力 推理算力是 AI 技术实际应用中的关键环节，主要涉及利用训练好的模型对新数据进行快速处理和响应。推理的过程不需要重复使用训练侧的算力，而是随着应用场景、用户数量和使用频次的增长而扩展。推理算力的需求通常通过“云端训练，端侧推理”的模式来实现，即将训练好的模型下放到端侧设备（如手机、服务器等），端侧设备利用这些模型进行实时推理运算。 二、推理算力发展现状 1.2024 年推理算力需求开始爆发 2024 年，推理算力的需求已经开始爆发式增长，尤其是在生成式 AI 的应用中，推理算力的需求远超训练算力。根据 IDC 的预测，到 2026 年，中国智能算力规模将达到每秒十万亿亿次浮点运算（ZFLOPS），年复合增长率达到 52.3%。这一增长主要来自于推理端的需求释放，尤其是在大模型的应用中，推理算力的需求已经逐步超过训练算力。 pOsNmPrOqNrOmOpQoQrPtO8OcM9PoMmMmOrMeRoOpMiNoOoP9PmNsNMYqRmRMYnPmM 3/21 2025 年 2 月 17 日 行业|深度|研究报告 2.预计今年为算力爆发元年 此外，2025 年被认为是算力爆发的元年，推理算力的需求将迎来井喷式增长。以字节跳动的豆包模型为例，截至 2024 年 12 月中旬，其日均 token 使...