便携式API

XGrammar 采用轻量级的 C++ core 实现,可以集成到多种平台中。除了 C++ 后端,还提供了即用型的 Python 和 JavaScript/TypeScript 库。

对于 Python 库,只需查看 Python API参考。下面从高层次上了解一下 JavaScript 库。

面向基于 Web 的 LLM 的 Javascript SDK

JS SDK 设计用于在浏览器中运行的 LLM,包括 WebLLM。WebLLM 与 XGrammar的 JS SDK web-xgrammar 集成。它使用 emscripten 将 C++ 代码编译成 WebAssembly。

要使用这个 SDK,只需运行 npm install @mlc-ai/web-xgrammar。更多信息,请参见 这里