一块“不可能”的芯片。
（本文作者为 硅谷101，钛媒体经授权发布）
文 | 硅谷101
十年前，这是一家没人看好的公司。从成立第一天起，它就只想做一种从来没有被造出来过的芯片。它试图挑战英伟达的霸主地位，却在成立之初屡屡碰壁，多次濒临倒闭。
十年磨一剑。今年5月，Cerebras终于上市了，市值一度接近千亿美元。CEO Andrew Feldman说：我们愿意和每一家hyperscaler（超大规模云厂商）合作，提升AI推理速度，除了英伟达 。
我们有幸沟通了Cerebras的早期投资人，和最早证明Cerebras产品可以落地的研究人员，还与Cerebras内部负责产品的高管讨论了近两年公司的转型，以及IPO之后的动作。串起这些蛛丝马迹后，我们很惊讶地发现：要理解Cerebras上市的辉煌，需要回到10年前。
回到一块白板，一家快要倒闭的创业公司，一场几乎没有人相信的物理学赌局，还有一个拥有当时全球最大语言模型的AI实验室，如何在一个不可能的时间节点，成为这个故事里最关键的那一页。
以下，就是Cerebras的故事。
2014年，吴恩达离开斯坦福AI实验室，加入百度。
受到Google Brain的启发，百度投入3亿美元，成立了位于硅谷的AI实验室。他们最主要的目的是：让深度学习发挥商业价值。对于当时的互联网公司来说，深度学习的应用大多在物理层面：自动驾驶、机器人、语音识别。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我当时会这么兴奋是因为在英伟达的时候，我就在想，我们应该把整个CUDA的路线图都转向深度学习，因为AI终于开始真正起作用了。一开始，这主要是在视觉任务上被证明的，比如图像识别。但后来，Andrew（吴恩达）加入百度之后，我们开始重新思考这个问题。他的想法是：我们应该做一些真正有产品影响力的东西，做一些人们真的会使用的东西。所以我们才从语音开始。因为语音的用户规模，比图像搜索要大得多。
Greg Diamos告诉我们，当年，吴恩达给百度带来了一批顶尖的AI研究员，Greg就是其中之一。在此之前，Greg在英伟达构建CUDA软件架构：而当时的CUDA，还是一个无人问津的内部项目。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
那时候，CUDA差不多就是个笑话，没有人用它。
AI实验室成立后不久，百度团队就发表了一篇知名的论文《Deep Speech》：一个端到端的语音识别模型，允许人们点击麦克风标志，对搜索引擎说话。他们还训练了世界上最初的几个深度神经网络，下一步的计划，是训练语言模型（language model）。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我们当时有一个疯狂的卷发研究员，叫Dario Amodei。我们一起研究语言模型，也研究如何扩大语言模型的规模。那段时间，我们拥有世界上最大的、用于深度学习的CUDA集群，这后来也挺有名的。
百度团队研究的语言模型，在当年是全球最大的：拥有3亿参数。训练这个模型，需要三个月的时间。在这个过程中，他们发现了一个规律： 模型越大、数据越多、算力越强，模型就越聪明。而且这个提升是可以预测的，是线性的。
这个规律被称为Scaling Law（规模定律）。几年后，这个经过验证的结果被百度团队写进了一篇论文，题为《Deep Learning Scaling is Predictable, Empirically》。Dario Amodei后来将这个发现带去了OpenAI，它成为了GPT的核心逻辑。
Greg Diamos
现任TensorWave ScalarLM架构师，MLCommons联合创始人
我第一次看到这个规律的时候，就觉得这是通向智能的道路。我当时简直不敢相信，智能居然有路可达。你想象一下，像我这一代学计算机的人，一直被教育说：计算机科学里的进步都非常困难，每一点提升都来之不易。有些问题几乎是碰不得的，比如语音、语言、视觉这些问题，都非常非常难。但这个东西，就是能跑通。而且它很简单。你需要做的，只是训练一个更大的语言模型。
但问题也随之而来：如果Scaling Law是对的，那么训练未来真正有用的模型，所需要的算力将是现有GPU集群完全无法提供的量级。百度的研究员们意识到，他们需要一种新的硬件。
在百度团队发现Scaling Law的同一年，五个硅谷工程师决定离开AMD。在此之前，他们在一家叫做SeaMicro的微服务器硬件公司共事，这家公司在2012年被AMD以3.34亿美元收购。这五个人的名字是：Andrew Feldman、Gary Lauterbach、Michael James、Sean Lie和J-P Fricker。其中，Andrew和Gary是SeaMicro的联合创始人。
第一次聚在一起的时候，五个人在一块白板上写下了他们的愿望：他们希望，硅谷的计算机历史博物馆里有一天会出现他们的名字。 从第一天起，Cerebras的目标就是：造一个为AI而生的硬件。
我们知道，最初的AI训练靠CPU和GPU搭配。CPU是总指挥，负责调度任务。GPU则像一座巨大的工厂，里面有成千上万个小工位，可以进行大规模并行计算。但AI训练远不止一次计算，参数、梯度、激活值全得在显存、缓存、计算单元和GPU间来回倒腾。一旦模型大到单卡塞不下，就得切成几块分给多卡，让它们互相配合。
所以真正拖慢AI的，很多时候是数据在不同芯片、不同内存、不同机器之间来回移动这个过程。
许多芯片公司解决这个问题的思路，是把GPU拼成一个集群，再花大量工程解决它们之间如何通信的问题。而Cerebras的思路是， 把尽可能多的计算单元、内存和互联，放到一整片晶圆上 ，做成Wafer-Sca