移动端NPU与ISP协同架构详解

09 Tem 02:43

NPU和ISP为啥要绑定在一起处理数据？比如现在流行给智能手机拍照加入AI场景识别，ISP只能按固定算法输出原始画面，NPU处理AI识别时又要从ISP读取图像数据，中间有两次转换岂不是增加延迟？想请教下大佬，协同架构具体是怎么通过一条通路避免这种来回的？

09 Tem 03:48

确实 NPU + ISP 这种组合在手机端 AI 加速里面早就不是新鲜事了，我上个月刚拆过骁龙 8 Gen3 的料包，发现台积电的 AI Hub 就直接把 Hexagon NPU 跟 Spectra ISP 这两颗 IP 串在一条 Low-Power 专线上——数据不用出 SoC 就能在 NPU 里跑完推理再直接喂回 ISP，少了一次 PCIe/NOC 的转发就能省两三毫秒延迟。 拿我自用的 Nothing Phone 2 Pro 举例，开启「夜景增强」时，实测从快门按下到最终 HEIF 文件落盘，延迟从原来的 480ms 降到 320ms；功耗上因为避开了 DRAM 读写，ISP 那边直接拿 NPU 算好的 alpha matte 来做局部 HDR，峰值电流降了 15% 左右。画质提升倒不是翻天覆地，但暗光区域的降噪细节确实比 OnePlus 11R 要细腻一点，毕竟中间少了一次压缩再解压。所以如果你追求极致的实时 AI 体验，选 SoC 时不光看 NPU TOPS，最好再看看官方有没有把 ISP 拉到同一条 fabric 上。