MILE|米乐-应对端侧AI算力、内存、功耗“三堵墙”困境，安谋科技Arm China“周易”X3给出技术锦囊

AI年夜模子正加快从云端向边沿与端侧渗入，然而，算力、内存、功耗等却成为了制约其范围化落地的“高墙”。专为AI计较而生的神经收集处置惩罚器（NPU），成为破墙要害。安谋科技Arm China“周易”X3 NPU IP，经由过程架构立异、软硬件协同优化与开放生态等，为应答端侧AI“算力墙”、“内存墙”、“功耗墙”困境给出技能锦囊。

端侧AI从CNN向Transformer迁徙，对于高精度浮点运算的需求激增。传统NPU受限在架构适配性差、算力调理效率低等，难以满意繁杂AI场景的动态需求。为应答年夜模子对于端侧算力的严苛需求，“周易”X3提供了高效的解决方案。Desesmc

“周易”X3的破局之道于在底层架构改造，它采用专为年夜模子而生的DSP+DSA全新架构，实现从定点转向浮点计较，统筹CNN与Transformer，解决了传统NPU“偏科”问题。单Cluster可提供8-80FP8TFLOPS的矫捷算力配置，能精准匹配差别场景的多样化算力需求。相较上一代产物，“周易”X3实现机能进级——AIGC年夜模子能力晋升10倍、CNN模子机能晋升30%-50%，充实开释年夜模子算力潜能。Desesmc

年夜模子参数范围重大，内存带宽与存储压力是另外一年夜瓶颈。若没法高效处置惩罚数据读写与存储，将致使AI使命卡顿与相应延迟。“周易”X3经由过程多重技能进级应答内存挑战：Desesmc

超高速数据通道：单Core带宽高达256GB/s，能快速完成海量数据的读写，削减数据于内存中的滞留时间。计较焦点带宽相较上一代晋升4倍，可保障数据高效传输；Desesmc

智能存储架构：进级的L2Memory存储体系有用削减DDR访存，晋升数据吞吐效率；Desesmc

硬件解压引擎：集成自研解压硬件WDC，使年夜模子Weight软件无损压缩后经由过程硬件解压能分外得到约15%的等效带宽；Desesmc

低精度加快模式：撑持端侧年夜模子运行必备的W4A8/W4A16计较加快模式，统筹存储容量、带宽与精度需求，于包管模子效果的条件下显著晋升计较效率。Desesmc

实测数据显示，多核算力线性度达70-80%、年夜模子Prefill阶段使用率可达72%、Decode阶段有用带宽使用率冲破100%[1]，充实验证其内存调理能力与体系协同优化的卓着体现。Desesmc

终端装备于有限电池容量及散热前提下，亟需经由过程算力与能效的协同优化，实现高机能AI使命与长续航的均衡。Desesmc

“周易”X3集成AI专属硬件引擎AIFF，搭配专用硬化调理器，能将CPU负载降至0.5%如下，且调理延迟极低。NPU于并行处置惩罚多项AI使命时，无需依靠CPU频仍参与调理，显著降低CPU与NPU间的通讯开消，从而降低体系功耗、有用延伸装备续航时间。Desesmc

此外，“周易”X3采用可扩大的多核架构和条理化的内存互连架构，撑持算力矫捷裁剪及扩大，体系可按照AI使命繁杂度实现“按需供能”，有用降低无效计较与数据搬移，实现能源使用效率最年夜化。Desesmc

应答端侧AI“三堵墙”挑战，离不开软硬件的深度协同。“周易”X3配套的CompassAI软件平台依附完美易用、开放生态、安全保障等多维上风，成为面临端侧AI“三堵墙”困境的超强“金牌辅助”。Desesmc

Desesmc

“周易”NPUCompassAI软件平台Desesmc

CompassAI软件平台提供端到端同一东西链，可实现“一键部署，开箱即用”。原生撑持HuggingFace、主流AI框架与OS，撑持160+算子与270+模子，并对于LLM/VLM/VLA和MoE等年夜模子推理举行深度优化，实现从CNN到Transformer模子的无缝接入，年夜幅降低模子部署门坎与成本。同时，平台对于量化算法的撑持与具有的动态Shape能力，可于晋升机能的同时有用降低功耗，防止无效计较。Desesmc

此外，CompassAI软件平台提供多种软件东西，并开放IR规格、开源量化东西等焦点组件。开发者基在DSL编程语言，经由过程富厚的NN编译器插件实现自界说算子，共同可视化调试东西，可以或许实现全链路可不雅测、可优化，极年夜晋升差别场景下的开发效率，为端侧AI的算力调理、功耗节制提供底层软件支撑。Desesmc

于安谋科技“AIArmCHINA”战略指引下，公司将以AI为焦点、Arm®生态为支撑、本土立异为根底，连续推进“周易”NPU、“星斗”CPU、“山海”SPU及“玲珑”多媒体处置惩罚器四年夜自研IP产物的研发，与财产伙伴协同共建中国智能计较生态，助推端侧AI的范围化落地。Desesmc