简介

  • pytorch相关笔记

pytorch生态部署方案

  • Pytorch虽然社区生态好，各种功能模块都是非常好用，但是部署生态一直饱受诟病。
  • ONNX的规范及代码主要由微软，亚马逊，Facebook和IBM等公司共同开发，也主要是为了来对抗谷歌的Tensorflow框架的部署生态。

Pytorch保存模型转化为ONNX模型

  • 通过Pytorch保存下来的模型pth，因为pth部署无法跨平台移植，我们必须将模型转化成通用格式
  • 优化由于推理（或模型评分）的机器学习模型非常困难，因为需要调整模型和推理库，充分利用硬件功能。如果想要在不同类型的平台（云/Edge、CPU/GPU 等）上获得最佳性能，实现起来会异常困难，因为每个平台都有不同的功能和特性。 如果模型来自需要在各种平台上运行的多种框架，会极大增加复杂性。 优化框架和硬件的所有不同组合非常耗时。此时ONNX的作用就显现出来的，专注于模型推理。