I-Parakeet：可在手机NPU运行的纯整数端侧ASR

发生了什么

针对现有Conformer语音识别模型因体积大、量化后仍需浮点操作兜底，难以充分利用移动NPU算力的部署痛点，研究团队基于NVIDIA 0.6B参数的Parakeet-CTC模型，通过整数版核心注意力改造、Swish激活近似、分层激活值范围校准三项技术，打造了可在手机NPU端无浮点依赖运行的I-Parakeet模型。

关键信息

基础模型

NVIDIA Parakeet-CTC（0.6B参数）

核心特性

纯整数实现，无浮点操作、无CPU兜底

测试设备

高通手机NPU

LibriSpeech test-other集WER

4.97%

实时因子（RTF）

0.048

相对CPU基准的速度提升

7.5倍

背景

当前主流Conformer语音识别模型普遍体积较大，边缘部署难度高；即便经过量化压缩，多数模型仍会因数值敏感操作需要浮点算力兜底，无法充分发挥移动NPU等整数加速器的全部潜力。

为什么重要

这项工作打通了高精度Conformer语音识别模型在端侧NPU上的全整数部署路径，降低了端侧语音识别的算力门槛；对开发者而言，提供了可复用的纯整数量化改造方案，无需浮点算力即可部署高精度ASR；对普通用户来说，能获得更低延迟、更省电的本地语音识别体验，兼顾识别准确率与隐私安全。

后续看点

后续可关注该纯整数ASR方案在主流手机平台的适配落地，以及其在复杂实际语音场景下的准确率表现。