数字集成电路 · RTL · 模型编译

INT8 NPU

4×4 脉动阵列与 ResNet-50 整数推理

我独立设计并实现了这款 NPU 和配套的 TFLite/ONNX 编译工具。编译器将模型转换为硬件任务,由 NPU 读取并执行。项目仍在迭代,当前版本已在 RTL 仿真中跑通 ResNet-50,各层的整数输出均与参考模型一致。

4×4
INT8 脉动阵列
72
条硬件任务全部通过数值校验
2.48×
同频加速比 · 相比串行供数基线

系统架构

主机提供任务描述符的起始地址与数量,NPU 自主读取并调度。矩阵乘法、卷积和全连接共用计算引擎,池化与残差加法使用独立引擎;不同任务通过 DDR 交接数据。

NPU 系统架构:读取互连、任务调度、计算引擎与共享写回通路
实线为数据,虚线为控制与配置。点击查看原图。

计算与存储

设计 INT8 乘加阵列、INT32 累加和量化后处理,结合分块调度、A/B 双缓冲与数据复用,协调数据搬运、计算和写回。

模型编译

实现算子映射、权重布局、量化参数转换与 DDR 内存规划,将 ResNet-50 转换为 72 条硬件任务,由 NPU 自主调度执行。

验证与优化

建立独立整数参考模型,逐层核对 RTL 输出及完整 DDR 数据;通过统一条件的性能对照,测量双缓冲和后续优化的实际收益。

ResNet-50 整网执行周期

  1. Burst,串行供数

    1,212,904,532 周期
  2. Burst,双缓冲

    948,269,129 周期
  3. 当前版本

    489,351,345 周期

相比启用 Burst 的串行供数基线,当前版本整网周期减少 59.65%,同频加速比为 2.48 倍。

测试使用 ONNX 模型权重与合成 INT8 输入,在相同条件下比较整数计算结果和 RTL 执行周期。

技术细节与验证记录

性能指标与对照条件

  • 双缓冲及预取调度:相对串行供数基线,周期减少 21.82%。
  • 后续组合优化:在双缓冲基础上再减少 48.40%。
  • 整网有效吞吐率为 8.0683 MAC/周期,有效利用率为 50.43%;统计包含数据搬运与辅助算子开销。
  • DDR 读取量:2,093,158,512 → 1,278,406,224 字节,减少 38.92%。

完整网络数值验证

  • 输入为 224×224×3;72 条任务包括 53 Conv、16 Add、1 MaxPool、1 GAP、1 FC。
  • 三组全部通过逐层数值核对,29,404,672 字节的完整 DDR 数据镜像均与独立 NumPy 整数参考一致。
  • 三组均启用 Burst,共用模型、输入、量化参数与 DDR 时序。外部读 64 bit、写 32 bit;读 Burst 首拍等待 20 周期。
  • 串行与双缓冲基线由历史代码重建,并补入对照测试所需的功能。

当前计算与存储路径

当前版保留原生 64 位操作数读取、A/B 双 Bank、输出驻留累加、跨 K 输入复用与部分和槽,并已删除卷积读取缓存。硬件支持局部卷积与池化融合;本次 ResNet-50 的 72 条任务仍逐条执行,通过 DDR 交接。

旧版计算与存储图

下图记录精简前的存储结构,其中 2 KiB 卷积读取缓存已从当前版移除。SRAM 深度、位宽与部分和路径按图示旧版记录保留。

旧版计算与存储图,包含当前版已删除的卷积读取缓存
旧版架构记录 · 点击查看原图。
历史性能与 DMA 调试记录

MNIST CNN

历史版本通过输入分块复用、AXI Burst 与数据拼装,将整网周期由 531,563 降至 74,527,减少 85.98%。四张测试图片的五层输出全部与软件参考一致。

CIFAR-10 ResNet-8

历史原生 64 位通路与卷积缓存优化将周期由 1,486,468 降至 1,255,817,减少 15.52%。另一版固定配置完成十张图片、140 组层输出核对。

DMA 完成信号漏接

增加输入复用后,DMA 可能提前完成,导致全连接层漏接单周期完成脉冲而超时。改为从发出请求时开始锁存完成状态,直到两路输入都就绪;修复后通过输出比对和整网回归。

DFT 实验 · 旧版综合网表

完成 16 条扫描链插入,覆盖 75,137 个触发器;开展 stuck-at ATPG,故障覆盖率(Fault coverage)为 78.58%。另完成单个 SRAM 宏的 MBIST 正常运行与故障注入验证。

共保存 16,502 条图样,Test coverage 为 92.19%。覆盖率采用未折叠故障统计,部分检测按 50% 计分:Fault coverage 以全部 2,747,638 个故障为分母,Test coverage 扣除 405,530 个不可检测故障。

MBIST 使用 DW_mbist_ctrl 与 DW_mbist_apg,连接一块 32×64 单端口 SRAM。无故障存储器通过测试;将读数据 bit0 固定为 0 后,MBIST 检出故障;全部 32 个地址均有读写访问。

GitHub 源码 ↗

一个小问题 · 自愿回答

你是为什么来到这里?

想了解谁在看这些项目,帮助我把作品集做得更好。

你是为什么来到这里?

不询问姓名或联系方式,仅用于汇总统计。浏览器会记住你的选择,避免重复打扰。