摘要
本申请公开了一种基于加速器的模型部署方法及系统,涉及计算机应用技术领域,该方法将模型文件转换为中间表示,基于中间表示的算子节点匹配核接口函数,并通过核接口函数实现编译部署的指令生成。具体地,基于核接口函数将中间表示转换为指令文件,将指令文件部署于硬件加速器上。本申请通过核接口函数实现指令转换,核接口函数与算子的匹配关系,便于新增算子的扩展与部署。本申请提供的部署方法逻辑简单,模型部署流程灵活可扩展,有利于提升部署效率,进而提升模型的推理能力。
技术关键词
模型部署方法
硬件逻辑单元
生成微指令
描述符
节点
数据依赖关系
硬件加速器
错误日志
解码
指令流
信号
计数器
模块
参数
规模
计算机