代码资源库

高吞吐 LLM 推理与服务引擎，PagedAttention 显著提升吞吐。

在 CPU/端侧高效运行 LLM，量化推理的事实标准之一。

一条命令在本地跑开源大模型，开发者本地推理首选。

面向复杂 LLM 程序的高性能服务框架，结构化生成与高并发。

Hugging Face 的生产级 LLM 推理服务。

构建 LLM 应用与 Agent 的通用框架，生态最广。

可视化 LLM 应用开发平台，编排工作流与 Agent，企业自部署友好。

可自托管的工作流自动化，接 AI 节点做业务编排。

开源软件工程 Agent，能读写代码、跑命令、改 bug。

把私有数据接入 LLM 的数据框架，RAG 常用底座。

面向大规模向量检索的数据库，RAG 与语义搜索常用。

统一的大模型微调框架，支持上百种模型与多种高效微调法。

更快、更省显存的 LLM 微调，个人显卡也能跑。

参数高效微调库（LoRA 等），低成本适配大模型。

节点式图像/视频生成工作流，扩散模型玩家与生产管线首选。

OpenAI 的通用语音识别模型，多语言转写基线。