初创公司Etched AI近日宣称，他们成功开创了一项新的技术，将Transformer架构直接“烧录”到了芯片中，创造出了世界上大的专门用于Transformer推理的服务器Sohu。据称，这项技术可以运行万亿参数的模型，甩英伟达几百条街。
该服务器具有多项功能，包括实时语音代理，能够在毫秒内处理成千上万的词;更好的编码与树搜索能力，可以并行比较数百个响应;多播推测解码功能，实时生成新内容;支持未来的万亿参数模型，只需一个核心，支持全开源软件栈，可扩展至100T参数模型;还具备高级解码技术，包括光束搜索和MCTS解码。
此外，每个芯片还配备了144GB HBM3E，支持MoE和转换器变体，为服务器的高性能提供了有力支持。这一突破性技术的问世甩英伟达几百条街？Etched AI推AI推理加速芯片Sohu 将Transformer架构直接“烧录”到芯片中，将为Transformer架构的应用带来新的可能性。
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
Transformer作者创立的大模型公司，再获5650万美元投资，换算成人民币有四亿多。英伟达、AMD有两位创始人的老东家谷歌，都是这轮融资的参投者。EssentialAI的业务并不会与Adept产生直接竞争。
在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在AI大模型领域，Transformer架构不能这么形容，因为它几乎撑起了「整个江山」。与类似规模的Transformer相比，Mamba具有5倍的生成吞吐量Mamba-3B的质量与两倍于其规模的Transformer相当。
Meta的研究者发表了一项关于Transformer架构的新研究，提出了一种名为System2Attention的全新注意力机制。该研究旨在解决大型语言模型在推理能力上的不足，特别是在处理复杂任务时可能出现的错误。S2A的引入为解决当前LLM推理能力不足的问题提供了一种创新性的解决方案。
百度发布Apollo开放平台9.0，全面升级自动驾驶开发领域，包括工程、算法和工具三方面，重构12万行代码，新增20万行。工程框架拆分成小软件包，提高灵活性;算法优化感知算法，支持4D毫米波雷达;工具升级包括高精地图、传感器标定等，提升Dreamview效率。项目网址:论文网址:
小羊驼团队的新研究火了。他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进加速LLM推理。其中有两位华人:傅奕超以及张昊，后者博士毕业于CMU，硕士毕业于上交大，现在是加州大学圣地亚哥分校助理教授。
最新研究指出，经过过度训练，中度的Transformer模型能够展现出结构性泛化能力，这一现象被称为结构顿悟。在自然语言处理中，先前的研究认为像Transformer这样的神经序列模型在泛化到新的结构输入时难以有效地捕捉句子的层级结构。这一发现有望在未来的深度学习研究中引起更多关注，为模型设计和训练策略提供指导。
【新智元导读】今天，李飞飞携斯坦福联袂谷歌，用Transformer生成了逼真视频，效果媲美Gen-2比肩Pika。2023年俨然已成AI视频元年!视频大数据时代，真的来了!刚刚，李飞飞的斯坦福团队同谷歌合作，推出了用于生成逼真视频的扩散模型W.A.L.T。研究人员发现联合培训可以使这两个指标都有显著改善。
斯坦福大学和卡内基梅隆大学的研究团队联合提出了一种新的序列模型，名为Mamba，它在语言、音频和DNA序列等任务上超越了Transformer模型。Mamba采用了一种新的架构，具有线性复杂度和更高的推理吞吐量。Mamba的出现对于序列建模领域来说是一个重要的突破，未来还有许多研究和实践的工作需要进行。
来自UC伯克利，港大等机构的研究人员，开创性地提出了一种「白盒」Transformer结构——CRATE。他们通过将数据从高维度分布压缩到低维结构分布，实现有效的表征，从进一步实现了有竞争力的模型性能。如果CKPT_DIR是None，则此脚本用于在CIFAR10上通过随机初始化来训练CRATE。
在当前技术发展的背景下，英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新，实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术，优化了内核，支持多种量化选择，提供更优的KV缓存访问和内存分配策略，使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力，该工具包展现了英
ZOYO是一款基于人工智能的房地产工具，为房产经纪人、房地产经纪公司、房主、室内设计师、建筑师和承包商提供前沿的AI技术支持。它包括AI虚拟装修、AI物品移除、AI图片放大等功能，帮助用户获得在房地产行业中的竞争优势。
Musho是一个网页设计辅助工具,可以通过简单的提示来自动生成美观大方的网页设计和配套文字,开发者只需要在此基础上进行定制和完善。它具有生成效果精美、开发友好、易于定制化的优点。该产品为网页设计提供设计模板,同时涵盖品牌、演示文稿、社交媒体等更多应用场景。
aisplash是一个提供免费AI生成图片和免版税图片的平台。用户可以搜索各类图片,也可以成为内容贡献者。网站使用OpenAI的DALL-E和Midjourney等算法生成图片。图片可免费用于商业用途。
GPT Movie Recommender是一款基于 GPT 技术的电影推荐工具，用户可以根据自己的喜好和需求输入影片类型和附加信息，然后获得个性化的电影推荐。该工具内置 GPT 技术，能够智能分析用户输入并给出相应的推荐，帮助用户更快地找到符合自己口味的电影。
HITWIT.AI是一个教育平台，提供10分钟高强度学习课程，结合多模态人工智能和元认知。用户可以从任何文档、视频或主题学习，并获得思维导图和图表，以及最佳间隔的测验来保持记忆。平台致力于帮助用户从人工智能中学习，让用户能够与人工智能进行对话交流，提供个性化的学习体验。用户可以选择自己感兴趣的学习内容，AI导师将与用户进行对话交流，找到并填补学习中的空白。此外，HITWIT.AI还提供FIT分数来衡量用户的学习进度，并提供长期记忆的最佳间隔重复测验。
SciPub+是一款AI驱动的学术写作助手平台。它提供10个写作助手,涵盖学术论文的各个环节,包括提纲、文献综述、方法与结果、介绍、结论等,辅助用户高效完成学术论文写作。其AI算法能自动生成推荐框架,协助克服写作障碍,减少不必要的重复改写。平台秉承学术界最佳实践,输出符合学术标准的高质量学术论文。
RingleDingle是一个提供自定义音乐贺卡服务的网站平台。用户可以自主设计贺卡图像,生成唯一的朗朗上口的歌曲,制作带音乐动画的电子贺卡。无需绘画技能,即可打造独一无二的音乐贺卡。
Deep Realms是一款 AI 驱动的故事创作平台，通过智能算法和大数据分析，帮助用户释放想象力，生成富有创意的故事。用户可以通过选择不同的故事元素和情节，让 AI 帮助编写出独特的故事内容。深域支持多种故事类型和风格，帮助用户轻松创作出精彩纷呈的故事作品。平台简洁易用，无需编程或写作技巧，适用于任何想要创作故事的人群。
GreenThumb Beta是一款园艺问题智能助手，能够回答与园艺相关的问题。它基于AI技术，提供快速准确的园艺知识解答。产品定位于为园艺爱好者提供便捷的问题解决方案。定价灵活，可根据用户需求提供不同的服务套餐。
Aspire Avatars是一款AI头像创作应用，提供高质量且价格实惠的头像包。用户只需用相机拍摄，即可快速创建逼真的头像，应用还提供不断更新的各种主题，满足用户不同的需求。无论是用于游戏、社交媒体、职业头像还是纯粹娱乐，头像都是用户探索数字世界的通行证。产品定位于提供高质量、真实、多样化的头像创作体验。用户可免费下载应用，也可通过应用内购买获取更多头像包。
这款应用是一款集成了GPT和文本转语音功能的AI助手，能够实现消息同步、自定义提示、文本转图像以及键盘扩展等功能。用户可以在iPhone、iPad和macOS设备上进行多设备同步使用，支持多语言，提供订阅服务。通过iCloud实现消息同步，支持Shortcuts和Siri，同时还集成了稳定扩散模型。用户还可以自定义对话内容和提示，并且通过键盘扩展功能在任何应用中快速使用AI。此外，用户还可以预览和拖动生成的图像至其他应用中。
AI Repurpose Video 是一款利用人工智能将长视频转换为短视频剪辑的工具，适用于 Reels、TikTok、YouTube 等社交媒体平台。通过 AI Repurpose Video，您可以在社交媒体上获得更高的用户参与度。该产品提供准确的说话者识别，确保剪辑后的视频保持上下文和连贯性，捕捉原始视频中每个声音的精髓。AI Repurpose Video 还提供多种时尚且可定制的字幕样式，让您的文字视觉上更具吸引力，与品牌或个人风格保持同步。此外，该产品还能自动识别最佳时刻，并为您的视频提供相关和引人注目的 B-roll 素材，让您的叙事更加出色。通过 AI 支持的字幕翻译，打破语言障碍，将您的内容传播到全球各地的观众。AI Repurpose Video 可将冗长的视频转换为适合社交媒体的短内容，一次创作，永久复用。
BetterLegal Assistant是一款基于AI的在线合同分析工具。它可以在几分钟内分析合同的关键条款,帮助用户理解合同的隐藏影响,避免盲目签署法律文件。该工具支持50多种语言,提供合同公平性评估、潜在负面影响、建议谈判要点等六大功能。定价仅需几美元,大大节省了昂贵的法律顾问费用。
Autonoma是一个AI驱动的代码文档生成工具。它可以自动为代码库生成文档,支持Confluence类似的界面。主要功能包括:自动生成代码注释和文档;文档实时更新;支持多种语言;导出多种格式文档等。
HyFluid是一种从稀疏多视角视频中推断流体密度和速度场的神经方法。与现有的神经动力学重建方法不同，HyFluid能够准确估计密度并揭示底层速度，克服了流体速度的固有视觉模糊性。该方法通过引入一组基于物理的损失来实现推断出物理上合理的速度场，同时处理流体速度的湍流性质，设计了一个混合神经速度表示，包括捕捉大部分无旋能量的基础神经速度场和模拟剩余湍流速度的涡粒子速度。该方法可用于各种围绕3D不可压缩流的学习和重建应用，包括流体再模拟和编辑、未来预测以及神经动态场景合成。
KORUS是一个革命性的动态数字收藏品,与知名唱片公司mau5trap合作,邀请了3位具有突破性的艺术家。用户可以体验独特的音乐AI带来的持续性内容和 DROP。
News Sentinel是一个利用AI从新闻和社交数据中发现隐藏的交易信号和风险洞见的工具。它可以为用户提供市场趋势的智能信号、重要事件的实时预警、新闻实时订阅、AI风险分析、Web3雷达等功能,帮助用户做出明智的投资决策,优化投资组合。
ClipDish 是一款革命性的食谱应用，将人工智能的魔力带到您的厨房中！通过 ClipDish，您可以保存没有视觉杂乱的食谱，还可以使用 AI 助手进行烹饪。与混乱的烹饪说再见，与 ClipDish 一起迎接简便、有序和烹饪技巧的新世界！ 主要功能： - 使用 AI 助手 Ask Chef 解答您的烹饪问题 - 清爽无干扰的食谱保存 - 简化的餐饮计划 - 设备间的同步 ClipDish 提供免费试用，订阅服务提供更多功能。
Pieces是一个使用AI来帮助开发人员管理代码片段、屏幕截图以及搜索和复用这些资源的工具。它提供代码协同编写功能,并集成了多种开发工具,使开发人员能够更高效地工作。
TECHPRESSO 是一款每日 AI 和科技新闻摘要服务，用户可以每天在5分钟内了解最重要的AI和科技新闻，内容由60多家媒体精选而来。该产品定位于为专业人士提供最新的科技资讯，包括行业动态、公司动态等，旨在帮助用户更加了解人工智能和科技领域的最新发展。定价灵活，适用于个人用户和企业用户。
官方微信
官方微博
