面向边缘侧LLM推理，后摩智能与北京大学等高校合作成果获 ISCA 2025 最佳论文
2025-08-01
近日，北京后摩智能科技有限公司与北京大学集成电路学院孙广宇长聘副教授团队、上海交通大学张宸助理教授团队、香港科技大学谢源讲席教授团队、东南大学司鑫副教授团队及阿里巴巴达摩院合作的研究成果《H2-LLM: Hardware-Dataflow Co-Exploration for Heterogeneous Hybrid-Bonding-based Low-Batch LLM Inference》，成功荣获第52届计算机体系结构国际研讨会（ISCA）最佳论文奖。作为国内学术机构在该会议上的首次获奖成果，其核心创新聚焦于边缘侧大语言模型（LLM）推理加速架构的关键技术突破，为解决边缘设备高效LLM推理难题提供了创新性方案。
随着LLM在智能对话、代码生成、边缘推理等场景的规模化应用，如何在边缘设备上实现低延迟、高能效的推理计算，成为行业亟待攻克的技术瓶颈。现有DRAM近存计算架构虽具备高带宽优势，但受限于芯片计算逻辑嵌入设计，算力供给不足，难以满足边缘侧对计算密集型任务的加速需求。针对这一挑战，合作团队基于混合键合（Hybrid Bonding）新兴工艺，研发出面向边缘侧的H2-LLM推理加速架构。该架构通过提出通用近存计算架构模板，抽象设计空间以协调工艺中算力与带宽的权衡，并采用“以数据为中心”的数据流抽象优化异构硬件资源利用，实现了计算密集型与访存密集型算子的协同加速。实验数据显示，相较于基线DRAM近存架构，H2-LLM在LLM推理的预填充（Prefill）和解码（Decoding）阶段实现2.72倍的性能提升与1.48倍的能效优化，为边缘设备部署大语言模型提供了关键技术支撑。此次成果是产学研协同创新的典范。北京大学孙广宇团队在领域定制芯片架构设计与自动化领域处于国际领先地位，研究成果多次获得顶级会议和期刊的最佳论文奖，并在多款芯片设计中实现产业验证。后摩智能与上海交通大学、东南大学、阿里巴巴达摩院的合作，充分发挥了各方在学术研究、技术开发和应用场景方面的优势，推动了边缘计算与大模型推理技术的工程化落地。ISCA作为计算机体系结构领域的顶级国际会议，自1973年创办以来，始终是学术界与产业界技术交流的核心平台，与MICRO、HPCA、ASPLOS并称“体系结构四大会”。谷歌TPU、寒武纪芯片、华为昇腾等具有全球影响力的架构创新均曾在此首发。此次获奖标志着中国在边缘计算与LLM推理架构领域的研究已跻身国际顶尖行列，对推动我国人工智能底层技术发展具有重要意义。未来，后摩智能将继续秉承开放合作、创新驱动的理念，与更多顶尖高校、科研机构和企业开展深度合作，共同推动智能计算技术的创新与发展。同时，后摩智能也将继续加强与各方的合作，围绕国家新一代人工智能战略需求，持续聚焦边缘侧计算与大模型推理的技术融合，共同推动智能计算技术的产业化应用。
