牛牛游戏 “邪修”AI芯片的Taalas，成色若何？｜AGI焦点

图片来自Taalas官网

打着“颠覆”的旗子的公司，老是会接二连三涌现。

最近，一家来自加拿大多伦多的芯片“小厂”Taalas引起了AI圈温顺。有声息觉得，它很可能撬动英伟达足下了多年的AI芯片商场。

当地时分2月20日，成立于2023年的初创公司Taalas发布了首款居品Taalas HC1芯片，专为Llama 3.1 8B模子优化，吸收30芯片集群时已毕每秒12000 tokens的推理速率，较传统GPU有计划擢升50倍能效。

Taalas称，公司通过结构化ASIC技巧将芯片定制周期裁汰至两个月，已累计融资2.19亿好意思元。24名敬业的职工的竭力，干预3000万好意思元，打造出了这款领有“极致的专科化、速率和动力遵循”的居品。

Taalas首创东谈主兼CEO是曾任AMD架构师的业界传闻东谈主物柳比沙·巴伊奇（Ljubiša Bajić）。

在公司官网的先容著述中，巴伊奇称，这款芯片聘请了Meta公司2024年7月推出的开源大模子Llama 3.1 8B当作运行平台，峰值推理速率接近17000 tokens/秒，比咫尺商场中开始进的技巧快近10倍，构建成本禁止到蓝本的1/20，功耗禁止至蓝本的1/10。

截图来自酬酢平台X

巴伊奇给出了一组测试数据，Taalas我方在Llama 3.1 8B上测试了英伟达的主力居品H200和B200，末端为230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它们的48倍。

此前这一数据，是由孤苦分析平台Artificial Analysis测出的最高值，来自刚刚完成H轮融资、估值230亿好意思元的Cerebras，为1981 tokens/秒，也仅为HC1的11%。

在实测演示中，大模子对用户问题的详备解答，达到甚而超越了“秒回”的水平。

不外，AI在无数回应的刹那间，东谈主类对话者也产生了扑面而来的压迫感。

图片来自Taalas官网

这一号称“打破极限”的表露，真是如斯引起了无数的讨论。高歌“颠覆将至”者有之，质疑其过甚其辞、过度营销者亦有之。

令咱们风趣的是，在喧嚣背后，Taalas的技巧和居品究竟有何非凡之处？又是否当得起其自称的“寰宇上速率最快、成本和功耗最低的推理平台”呢？

将模子径直“刻”在芯片上

在说合了其首款居品HC1的关连公开信息之后，咱们发现，Taalas的技巧阶梯，与咫尺商场主流的ASIC阶梯比拟，极具颠覆性，号称“邪修版”ASIC。

与英伟达和AMD代表的业界主流GPU通用估量技巧阶梯不同，Taalas更接近ASIC（专用集成电路）阶梯。

这一技巧阶梯通过为特定哄骗场景定制硬件瞎想，以追求极致能效和成本效益。天然它的适用性、功能丰富度、可互换性，远低于能遁藏多场景的GPU，但自客岁以来，以谷歌TPU为首，ASIC技巧领有成本（TCO）低、打造大模子才气绝不失态等脾气，得到了商场认同，出货量大幅擢升。

野村证券揣测，2026年，ASIC芯片的总出货量可能会初度越过GPU。而在GPU商场处于两巨头把持的情况下，大多数芯片初创也王人聘请了ASIC阶梯，包括商场闻名度较高的Cerebras、SambaNova，以及，此前刚刚被英伟达将中枢团队纳入囊中的Groq。

巴伊奇在AMD和英伟达王人有任职履历，之前还创立了一家专注于AI芯片研发的独角兽Tenstorrent公司。Tenstorrent通过开源RISC-V架构和软硬件协同瞎想，禁止AI估量成本。

而“挑战英伟达把持地位”，一直是巴伊奇所宣扬的中枢绪念，亦然Tenstorrent公司备受温顺的“牌号”标签。

不外，英伟达的发展，要远好于AMD及各样AI芯片初创公司，巴伊奇也在探索中有了更“顶点”的设思。

2022年至2023年间，巴伊奇冉冉脱离了此前责任，初始操办创办Taalas。他与他的妻子、曾在AMD任系统工程高档司理莱拉·巴伊奇（Lejla Bajic），以及，曾任AMD高档瞎想工程师并在Tenstorrent担任过ASIC瞎想总监的德拉贡·伊格纳托维奇（Drago Ignjatovic）成为了Taalas调解首创东谈主。

Taalas公司20余东谈主的中枢工程师团队，多数来自AMD、苹果、谷歌、英伟达和TensorRent。

2024年，Taalas公司完成5000万好意思元的首轮融资，并认真出当今公众视线。

巴伊奇强调，Taalas竭力于科罚AI发展靠近的两大贫瘠——“高蔓延”和“天文数字般的算力成本”，并建议“单芯片性能超越袖珍GPU数据中心”这一极具贪念，甚而显得有些“纵欲”的磋磨。

成本商场为巴伊奇的贪念投票。限度咫尺，Taalas咫尺已完成三轮融资，总和越过2亿好意思元。

Taalas奉行“The Model is The Computer”（这句话亦然公司的slogan），不错默契为，将传统“在估量开发上运行模子”的范式，调解为“模子自己成为估量开发”。

技巧已毕旅途上，Taalas建议“无需软件，径直将模子刻在芯片上”，这与传统的ASIC芯片仍需使用软件，通过编译过程将软件代码滚动为芯片领导不同。

Taalas通过EDA（电子瞎想自动化）经由，将特定大模子径直滚动为定制芯片。

也就是说，每款使用Taalas的大模子，王人会领有专属于自身的定制芯片，已毕巴伊奇所说的“统统专科化”（Total specialization）。

与此同期，算力也解脱了软件敛迹和编译过程，数据险些不需要在内存和估量单元之间移动，“内存墙”由此隐藏，推理成本随之大幅禁止，推理速率则权臣擢升。

截图来自酬酢平台X

咫尺来看，Taalas的主要业务操作经由也比较简便。大约是客户向Taalas提供自身所需的模子，Taalas在一周内将其滚动为电路瞎想，通过台积电代工在两个月内托付专属芯片。

可思而知，若是Taalas能为每个主流模子，王人提供出近似HC1在Llama 3.1 8B上那样的性能飞跃，那么，抢庄牛牛各大厂商很可能会对其居品趋之若鹜。

骨子上，包括孤苦东谈主工智能说合员本杰明·马里（Benjamin Marie）、Devtools创业参谋人肖恩·王（swyx）等产业界东谈主士和The Next Platform记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒体东谈主士，王人已在积极先容Taalas的新址品，看好其远景者不在少数。

Taalas的死穴在哪？

不外，在公论热度落地到商用商场之前，Taalas还有好多问题需要被看到。

起初，Taalas需要面对的是，其居品能否适用更先进、大领域的模子。

2024年，Meta推出Llama 3.1时，发布了8B、70B和405B三种参数领域版块，Taalas摄取的是最小的8B。

很显然，在咫尺大模子进化速率极快、领域越来越大的布景下，Taalas的居品能否匹配，是否靠近彰着“天花板”，王人是必须科罚的问题。

巴伊奇称，公司将在本年春季推出一款适用中等领域推理模子的居品，届时表露若何，值得温顺。

与此关连的，咫尺测评体验中，不少质疑声息调解在，Taalas让本已不算聪惠的Llama变得“更笨了”。

一些用户发帖称，HC1“幻觉严重”“谜底彰着无理，质地远低于同参数GPU版”，“回答速率快但错得也快”，其实用性欠安。

截图来自酬酢平台X

骨子上，关于若何默契Taalas给出的测试数据，也有较多质疑声息。

一位温顺芯片产业的深爱者对作家默示，Taalas相配于内置了问题的谜底，是以，估量速率“秒杀”英伟达等一众业界翘楚，然则，将”1+1=2”的问题换为“2*2=？”，它的表露可能就会“掉链子”。

Taalas能在极其有限的特定场景下“秒杀英伟达”，但咫尺其他英伟达能作念的事，关于Taalas来说可能更难。

更为要害的问题是，Taalas能否跟得上大模子的迭代周期。

一位半导体行业从业者对作家默示，Taalas的芯片“表露很牛，但咫尺可能没啥大的用处”，因为大模子还在不休迭代，而Taalas的迭代才气和速率成疑。

{jz:field.toptypename/}

该行业东谈主士觉得，“要等以后大模子达到某个层级不再大领域、快速迭代了，这种芯片才能有更大舞台”。

而在酬酢平台上的讨论中，不少质疑调解在HC1“模子锁定”的“只读”方法导致的“逾期”和“吊销”风险，并觉得这是其交易化、领域化的紧要坎坷。

咫尺，一款顶尖大模子能保合手起初上风的时分窗口不外月余，而Taalas托付芯片（而非量产）即使也曾很快，但也需要至少两个月。

改写AI芯片划定的将来已来

援手HC1跳动性的声息也不在少数。

在知乎的关连讨论中，中国科学院估量技巧说合所副说合员赵永威指出，天然Taalas“咫尺的情景还莫得哄骗价值”，但不妨碍它会成为“一颗有历史兴味兴味的芯片”。

他觉得，这种“硬连线”的方法，是将来芯片发展的一大趋势，咫尺的质疑由Taalas来扛，自后者在扩充关连见解时就会愈加松懈。他也涌现，我方场地单元也在说合近似技巧阶梯，并提到，禁止经济成本，既是关连阶梯的说合磋磨，也应该是宣传发力点场地。

闻名科技记者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在著述中提到，Taalas照实需要模子的每一次更新中再行瞎想芯片，但其在推理引擎上蚀刻新模子，只需要改换瞎想中的两层金属，而不是统统吊销。讨论到推行模子的成本高达数十亿好意思元，Taalas芯片的更新成本微不及谈。

摩根觉得，在主要模子发布闭幕时分延长，东谈主们对进修模子依赖度增多时，Taalas芯片有望取得更世俗的商场认同。

也有一些分析称，收获于低蔓延、低功耗的脾气，Taalas着实的用武之地或在于角落推理场景，比如，机器东谈主、自动驾驶汽车，甚而高端智高手机等开发中。这些开发不需要运行总共模子，只需要踏实运行定制化的模子，而更快的速率和更低的破费，显然更有意于产业普及AI大模子。

不外，即即是关连居品能着实领域化地进入商场并大展拳脚，新的情景和问题也会随之涌现。

比如，大模子的底层架构（Transformer）是否会遇到另一场“转变”？这似乎决定着“模子即芯片”技巧阶梯的气运。还有，生态系统成立的问题，英伟达天然是硬件公司，但CUDA软件生态和开发者的重度依赖，才是其着实的护城河，而这亦然Taalas看中且专门颠覆的。

但这些王人是后话了，至少咫尺来看，Taalas距离英伟达还很远方，更遑论“颠覆英伟达”了。关联词，巴伊奇在这条路上依旧步调不休，Taalas文告，蓄意在本年冬季推出第二代HC2居品，将具备更快的实施速率和更强的性能。

届时，一代居品的商场反应和二代居品的迭代遵循，将进一步考据今天各方对这股横空出世的新势力的判断。（作家｜胡珈萌，剪辑｜李程程）