|
|
|
| 基于FPGA的多路视频采集及AI加速 |
| 吴铭 黄国宁 汪保祥 宋可平 鄢秋荣 吴武飞 |
| 南昌大学数学与计算机学院 南昌大学信息与工程学院 |
|
|
|
|
摘要 基于MES50HP开发板及PC主机实现了多源视频采集、拼接及AI协同处理的加速工作。所提出的系统可支持同时采集HDMI、网口、摄像头和光纤4路视频数据，视频采集拼接后，将缩放后存入双倍速率同步动态随机存储器(DDR)中，输出部分分为2路，其中1路数据用于HDMI回环输出，另外1路通过PCIE传至PC主机用于结果显示，并在PC端读取PCIE传回的数据并显示目标检测结果，其中视频采集和目标识别加速部分主要由2块MES50HP开发板构成。本系统在FPGA上实现了卷积加速器，卷积加速器计算完神经网络的一层后再通过PCIE传至主机进行结果显示，卷积计算与图像采集进行深度融合，具有实时、低成本的特点，可广泛应用于边缘计算等领域。实验结果表明：针对红绿灯数据集，该方法在低成本PC主机上实现的最大平均精度均值(mAP)为0.746,最高帧率达45帧。
|
|
| 关键词 ：
现场可编程门阵列,
外设组件互联快速总线,
AI加速,
视频采集,
边缘计算,
嵌入式人工智能
|
|
|
| 基金资助:国家自然科学基金资助项目(62002147)； 中国博士后科学基金资助项目(2020TQ013)； 江西省自然科学基金面上资助项目(20232BAB202009)； |
|
|
|
