常见问题解答
这是关于 MLC-LLM 的常见问题解答(FAQ)列表。欢迎提出新的条目建议!
- ... 如何自定义模型的 temperature 和重复惩罚?
请查看 自定义 MLC Chat 配置 教程。
- ... MLC-LLM 使用的量化算法是什么?
请查看 配置量化 教程。
- ... 为什么我在模型编译结束时遇到错误
free(): invalid pointer, Aborted (core dumped)
? 如果您从源代码编译了 TVM-Unity 并且没有在 cmake 配置中隐藏 LLVM 符号,就会发生这种情况。请按照在 Building TVM Unity from Source 教程中的说明编译隐藏 LLVM 符号的 TVM-Unity,或者使用预构建的 MLC-LLM pip wheels。