定义新的模型架构

本页面将指导你如何在 MLC 中添加新的模型架构。

这个笔记本（可在 Colab 中运行）应包含在 MLC LLM 中添加模型所需的所有信息：https://github.com/mlc-ai/notebooks/blob/main/mlc-llm/tutorial_add_new_model_architecture_in_tvm_nn_module.ipynb

在笔记本中，利用 tvm.nn.module 在 MLC LLM 中定义模型。还使用 JIT （即时编译）来调试实现。

你也可以参考以下 PR，了解在 MLC LLM 中添加模型架构的具体示例：

• GPTNeoX PR

• GPT-2 PR

• Mistral PR

备注

当添加模型变体，且其架构已在 mlc-llm 中支持时，你 只需要转换权重 （例如，当 MLC 支持 llama-2 时添加 CodeLlama；当 MLC 支持 mistral 时添加 OpenHermes Mistral）。另一方面，新的模型架构（或推理逻辑）需要更多的工作（遵循上述教程）。