部署深度学习模型

TVM 能够将模型部署到各种不同的平台上。这些“如何操作”描述了如何准备模型并将其部署到许多受支持的后端。

• Deploy the Pretrained Model on Android
  • Setup Environment
  • Start RPC Tracker
  • Register Android device to RPC Tracker
  • Load pretrained keras model
  • Compile the model with relay
  • Deploy the Model Remotely by RPC
  • Execute on TVM
  • Sample Output
• Deploy the Pretrained Model on Raspberry Pi
  • Build TVM Runtime on Device
  • Set Up RPC Server on Device
  • Prepare the Pre-trained Model
  • Compile The Graph
  • Deploy the Model Remotely by RPC
• 编译 PyTorch 目标检测模型
  • 从 torchvision 加载预训练的 maskrcnn 并进行跟踪
  • 下载测试图像并进行预处理
  • 导入 graph 到 Relay
  • 使用 Relay VM 编译
  • 使用 Relay VM 推理
  • 获得得分大于 0.9 的 boxes
• 使用 TVM 部署框架预量化模型
  • 部署已量化的 PyTorch 模型
  • 从 torchvision 加载量化准备，预训练的 Mobilenet v2 模型
  • 量化，跟踪和运行 PyTorch Mobilenet v2 模型
  • 使用 PyTorch 前端将量化的 Mobilenet v2 转换为 Relay-QNN
  • 编译和运行 Relay 模块
  • 计算输出标签
  • 性能度量
  • Deploy a quantized MXNet Model
  • Deploy a quantized TFLite Model
• Deploy a Framework-prequantized Model with TVM - Part 3 (TFLite)
  • Necessary imports
  • Download pretrained Quantized TFLite model
  • Utils for downloading and extracting zip files
  • Load a test image
  • Get a real image for e2e testing
  • Load a tflite model
  • TFLite inference
  • TVM compilation and inference
  • Accuracy comparison
  • Measure performance
• 在 CUDA 上部署已量化模型
  • 准备数据集
  • 导入模型
  • 量化模型
  • 运行推理
• Deploy a Hugging Face Pruned Model on CPU
  • Load Required Modules
  • Configure Settings
  • Download and Convert Transformers Model
  • Convert to Relay Graph
  • Run the Dense Graph
  • Run the Sparse Graph
  • Run All the Code!
  • Sample Output
• 部署 Single Shot Multibox Detector(SSD) 模型
  • 初始和设置参数
• Deploy the Pretrained Model on Jetson Nano
  • Build TVM Runtime on Jetson Nano
  • Set Up RPC Server on Device
  • Prepare the Pre-trained Model
  • Compile The Graph
  • Deploy the Model Remotely by RPC