常见问题解答

这是关于 MLC-LLM 的常见问题解答(FAQ)列表。欢迎提出新的条目建议!

... 如何自定义模型的 temperature 和重复惩罚?

请查看 自定义 MLC Chat 配置 教程。

... MLC-LLM 使用的量化算法是什么?

请查看 配置量化 教程。

... 为什么我在模型编译结束时遇到错误 free(): invalid pointer, Aborted (core dumped)

如果您从源代码编译了 TVM-Unity 并且没有在 cmake 配置中隐藏 LLVM 符号,就会发生这种情况。请按照在 Building TVM Unity from Source 教程中的说明编译隐藏 LLVM 符号的 TVM-Unity,或者使用预构建的 MLC-LLM pip wheels