CUDA与TensorRT学习四:模型部署基础知识、模型部署的几大误区、模型量化、模型剪枝、层融合
文章目录
一、模型部署基础知识
1)FLOPS和TOPS
2)Roofline model
二、模型部署的几大误区
三、模型量化
1)mapping-and-shift
2)quantization-granularity
3)calibration-algorithm
4)PTQ-and-quantizatin-analy
5)QAT-and-layer-fusion
四、模型剪枝
1)pruning granularity
2)channel level pruning
3)sparse tensor core
五、层融合
原文地址:https://blog.csdn.net/weixin_43679037/article/details/142709983
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!