AI Infra

摘要

• AI Infra是指人工智能基础设施，是构建AI所需的基础设施的缩写。在讨论中，AI Infra涵盖了连接算力和应用的AI中间层基础设施，包括数据准备，模型训练，模型部署和应用整合等环节。它不仅与算力相关，还包括大数据的开端，例如谷歌的三大件：Google File System, MapReduce和BigTable
• 从更广义的角度看，AI Infra包括人工智能基础框架技术，设计大模型训练，部署领域的各种底层设施。在狭义上，基础软件栈是AI Infra的核心组成部分，其主要目标是优化算力算法，促进应用落地。

概述

• AI Infra(AI基础设施)是指为上层的AI算法应用提供支持的AI全栈底层技术，通过合理利用计算机体系结构，可以实现AI计算的加速和部署。
• AI Infra主要包括以下内容：
  • AI 训练框架 & 推理引擎
  • AI 编译 & 计算架构
  • AI 硬件 & 体系结构
    

详解

• 业内有一句广为流传的谚语：当大家都去挖金矿时，卖铲子的最赚钱。
• 在19世纪中叶的淘金热中，挖金矿的死了一波又一波，反而那些卖铲子，卖牛仔裤的人赚的盆满钵满。正如卖铲子的人在淘金热中成为最大赢家，在当今AIGC时代，AI Infra也扮演者类似的角色。
• 在大模型这座金矿刚刚开始挖掘的当下，挖金子的AI还没有盈利，卖铲子的英伟达却赚翻了，市值一度冲破3万亿美元，超过苹果成为仅次于微软的全球第二大公司。
• AI Infra是指在大模型生态系统中，链接算力和应用的中间层基础设施，包括硬件，软件，工具链和优化方法等，是一个整体解决方案。

附录

• 参考链接： https://chenzomi12.github.io/