Paddle Inference部署推理（八）
八：Paddle Inference推理 （python）API详解
7. 使用 ONNXRuntime 进行预测
API定义如下：
# 启用 ONNXRuntime 进行预测
# 参数：None
# 返回：None
paddle.inference.Config.enable_onnxruntime()
# 禁用 ONNXRuntime 进行预测
# 参数：None
# 返回：None
paddle.inference.Config.disable_onnxruntime()
# 判断是否启用 ONNXRuntime
# 参数：None
# 返回：bool - 是否启用 ONNXRuntime
paddle.inference.Config.onnxruntime_enabled()
# 启用 ONNXRuntime 预测时开启优化
# 参数：None
# 返回：None
paddle.inference.Config.enable_ort_optimization()
ONNXRuntime设置代码示例：
# 引用 paddle inference 预测库
import paddle.inference as paddle_infer
# 创建 config
config = paddle_infer.Config("./model.pdmodel", "./model.pdiparams")
# 启用 ONNXRuntime 进行预测
config.enable_onnxruntime()
# 通过 API 获取 ONNXRuntime 信息
print("Use ONNXRuntime is: {}".format(config.onnxruntime_enabled())) # True
# 开启 ONNXRuntime 优化
config.enable_ort_optimization()
# 设置 ONNXRuntime 算子计算线程数为 10
config.set_cpu_math_library_num_threads(10)
# 禁用 ONNXRuntime 进行预测
config.disable_onnxruntime()
# 通过 API 获取 ONNXRuntime 信息
print("Use ONNXRuntime is: {}".format(config.onnxruntime_enabled())) # False
原文地址：https://blog.csdn.net/weixin_46319994/article/details/144040839
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！