便携式API¶
XGrammar 采用轻量级的 C++ core 实现,可以集成到多种平台中。除了 C++ 后端,还提供了即用型的 Python 和 JavaScript/TypeScript 库。
对于 Python 库,只需查看 Python API参考。下面从高层次上了解一下 JavaScript 库。
面向基于 Web 的 LLM 的 Javascript SDK¶
JS SDK 设计用于在浏览器中运行的 LLM,包括 WebLLM。WebLLM 与 XGrammar的 JS SDK web-xgrammar
集成。它使用 emscripten 将 C++ 代码编译成 WebAssembly。
要使用这个 SDK,只需运行 npm install @mlc-ai/web-xgrammar
。更多信息,请参见 这里。