两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。
根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍！
他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。
根据官方公布的具体细节，这款芯片只有一个核心，但是配备了144GB的HBM3e显存：
两人原本计划从哈佛休学一年，在一家芯片公司找到了一份负责ApacheTVM开源编译器和微内核的工作。
但在工作中，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。
当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款针对当下爆火的AI加速芯片。
在创始人之一的Uberti看来，通用设计无法获得他们正在研发的专有加速芯片所能带来的那种性能提升：
「必须在单一架构上下大力气，让芯片处理AI任务，目标太大了，必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。」
「如果你回顾四年前的GPT-2，与Meta最近的 Llama模型相比，只有两个区别——大小和激活函数。训练方式存在差异，但这对于推理来说并不重要。」
Transformer的基本组件是固定的，虽然存在细微差别，但他们并不担心短期之内就会出现新的构架代替Transformer。
所以他们决定做一个Transformer构架的专用集成电路（ASIC），在未来和英伟达等一系列芯片巨头在大模型推理市场中竞争。
他们认为，Etched.ai推出的第一款芯片，相比于H100，单位价格内将获得140倍的吞吐量性能！
二到底是什么样的背景，能让两个本科还没有毕业的学生，敢于挑战芯片业目前最炙手可热的赛道呢？
在进入大学之前，他参与了美国最著名的青少年科技创新大赛FIRST Tech Challenge，团队获得了Top 10奖项。团队开发的自动驾驶软件排在600个参赛团队第二名。
另一位创始人Chris Zhu，也是在哈佛就读时就在校外疯狂实习，甚至还没有从哈佛毕业，就已经成为兼职教员。
而英伟达和AMD这边，最近打得更是热火朝天，甚至连官方都直接下场写博客硬刚。
PPT显示，由8块MI300X组成的服务器在大模型推理方面的表现，要比同样规模的H100速度最高提升1.6倍之多。
英伟达表示，如果H100 GPU使用了优化过的软件进行正确的基准测试，它的性能将大大超过MI300X。
作为回应，英伟达展示了采用TensorRT-LLM优化设置后，两款GPU在Llama 2 70B上的比较结果。
可以看到，当批处理大小设置为1时，H100的性能达到了MI300X的2倍。
甚至21岁华裔小哥开发AI加速芯片“Sohu”2人公司估值3400万美元，当采用与AMD相同的2.5秒延迟时，H100的性能可以达到MI300X的14倍之多。
1. 在同样采用vLLM FP16的设置时，相比于发布会上展示的1.4倍性能，AMD最新的优化已经让这一优势扩大到了2.1倍。
AMD指出，英伟达在H100上进行基准测试时使用的是自家专有的技术TensorRT-LLM，而非更广泛使用的vLLM。
此外，在延迟方面，英伟达只关注吞吐量的性能，却忽视了实际工作中的延迟问题。
最后，AMD表示，之所以选择使用FP16，是因为它非常流行，而且目前vLLM还不支持FP8。
数据中心的专用架构主要集中在DLRM（深度学习推荐模型），因为GPU很难加速这类任务。
Meta最近宣布已经构建了自己的DLRM推理芯片，并且已经得到广泛部署。
而Etched.ai要做的就是更近一步，在硬件层面完成这个设计，从而使得LLM的推理速度和能效都更上一层楼。
而投资人之所以愿意给两位本科辍学生投入如此之大的一笔钱，更重要的是迄今为止，所有人都认为现在LLM推理的成本过高，其中一定有创新的空间。
除了这样的明星初创公司以外，传统巨头对于大模型推理市场同样抱有很高的期待。
苏妈在各种场合不断表示，未来大模型推理市场的规模将远远大于模型训练市场。所以AMD也一直在强调自己的产品已经对这个市场做好了充分地准备。
从英伟达和AMD首次公开对比自家产品的性能这件事来看，GPU领域的竞争显然正在加剧。
目前，英伟达除了要面对AMD的挑战之外，还需要考虑英特尔和Cerebras取得的快速进展。
就在12月14日，首席执行官Pat Gelsinger展示了英特尔最新的AI芯片——采用5nm工艺制程，性能提升了1.5倍的Gaudi 3。
鉴于竞争如此激烈，AMD可能会被诸如微软、Meta和甲骨文这些已经宣布将其技术集成到数据中心的公司，视为备选方案。
Gelsinger预测，到2027年，GPU市场规模将达到惊人的4000亿美元，这无疑为激烈的竞争提供了广阔的舞台。
官方微信
官方微博
