本地跑100B大模型!Acrab发布边缘AI芯片GΞLIX 1:5nm制程加持
最新7月23日消息,初创企业Acrab正式发布其首款边缘AI终端SoC GΞLIX 1,该芯片基于5nm制程工艺,支持100B参数规模大模型本地运行。
硬件层面,GΞLIX 1采用异构计算架构,集成20核Arm CPU、3TFLOPS GPU、独立NPU及音视频处理引擎,AI总算力达650TOPS。作为横向参照,高通骁龙X Elite平台的NPU算力约为45TOPS,英特尔酷睿Ultra系列的NPU在40TOPS上下。

缓存与内存子系统围绕大模型推理的高吞吐需求设计,芯片配备8MB L1缓存,共享L2缓存带宽768GB/s,外挂256-bit位宽LPDDR5X内存,传输速率8533MT/s。大模型推理过程中权重读取和KV Cache存取对内存带宽高度敏感,这套配置为100B模型的端侧部署提供了基础保障。
此次Acrab重点展示的是预填充阶段性能。预填充是大语言模型接收用户输入后、开始逐Token生成输出前的全量编码过程,其速率直接决定长文本输入场景下的首ToKen延迟。Acrab通过矢量硬件单元加速Transformer注意力机制计算,并对预填充路径做了针对性优化。
在官方公布的预填充性能测试中,在配备40k KV缓存和10k Token输入的Gemma 26B A4B配置下,这款芯片跑出了1416.8 Token/s的成绩,达到苹果M4 Pro Mac Mini的7.5倍。
软件生态方面,Acrab同步推出完整软件栈及智能体参考设计,覆盖底层驱动到上层应用框架的开发链路。第一方终端设备Agent Box也一同亮相,作为GΞLIX 1的参考实现供开发者评估和原型验证。
《本地跑100B大模型!Acrab发布边缘AI芯片GΞLIX 1:5nm制程加持》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
美光扔出王炸!DDR6带宽暴涨2倍 400层NAND量产
快科技10月22日消息,据报道,美光近日在2026年OCP峰会上公布下一代存储技术路线图,覆盖DDR6、LPDDR6、vHBM及G11 NAND四大方向,多项指标较上代实现翻倍级提升。DDR6的带宽预计达到DDR5的两... -
内存越堆越烫!SK海力士把散热件塞进夹层:热阻降低30%
快科技10月22日消息,SK海力士的下一代高带宽内存(HBM)定名iHBM,思路是把散热结构直接做进内存封装内部,不再只靠外置的散热器和冷板把热带走。HBM难散热是结构决定的,多层DRAM(动态随机... -
DIY寒冬将至!2027年PC内存更难买也更贵:产能全被AI吃了
快科技10月22日消息,据集邦咨询最新研究报告,2027年PC内存供应可能进一步收缩,原因是存储厂商持续将产能向AI加速器所需的高带宽存储器及数据中心其他存储产品倾斜。这或将推高面向消费者的... -
突发!美光桃园工厂刚刚宣布今起罢工24小时:内存恐再涨价
快科技10月22日消息,据报道,美光在中国台湾地区的劳资协商出现分化:台中工会昨日与公司达成协议并撤回调解,桃园工会则因利润分享方案未获具体回应,于今日上午9点启动24小时罢工。与台中... -
你还在纠结32GB还是64GB内存:单条1TB DDR6已经公布!
快科技10月22日消息,美光在2026年OCP峰会上公布了下一代存储技术路线图,涉及DDR6、LPDDR6、HBM与G11 NAND四条产品线。其中DDR6被定位为面向高可靠性服务器市场,美光称其带宽将达到DDR5的两...












