• SGLang ， 24年1月开源，这是一个由 LMSYS Org 团队开发的、面向大语言模型（LLM）和视觉语言模型（VLM）的高性能、开源通用服务引擎。
• 性能更加惊艳。在运行 Llama 3.1 405B 时，它的吞吐量和延迟表现都优于 vLLM 和 TensorRT-LLM，甚至能达到 TensorRT-LLM 的 2.1 倍，vLLm 的 3.8 倍。
• 业界 xAI 的 Grok2 目前已采用 SGLang 作为其 LLM 推理引擎， 显著提升了分析信息和输出响应速度。Microsoft Azure 使用 SGLang。

DiffSynth-Studio 是由魔搭社区（ModelScope, 阿里2022年11月开源的模型社区）算法工程师段忠杰主导开发的开源扩散模型引擎，致力于构建统一的 Diffusion 模型生态。该项目支持多种主流文生图/文生视频模型（如 Stable Diffusion、可图、CogVideoX），并兼容 ControlNet、LoRA、IP-Adapter 等生态模型，显著提升中文场景下的生成能力。[^1]

ms-swift[^3]是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持600+纯文本大模型与300+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。

• 其中大模型包括：Qwen3、Qwen3-Next、InternLM3、GLM4.5、Mistral、DeepSeek-R1、Llama4等模型，
• 多模态大模型包括：Qwen3-VL、Qwen3-Omni、Llava、InternVL3.5、MiniCPM-V-4、Ovis2.5、GLM4.5-V、DeepSeek-VL2等模型。

除此之外，ms-swift汇集了最新的训练技术，包括集成

• Megatron并行技术，包括TP、PP、CP、EP等为训练提供加速，
• 以及众多GRPO算法族强化学习的算法，包括：GRPO、DAPO、GSPO、SAPO、CISPO、RLOO、Reinforce++等提升模型智能。
• DPO、KTO、RM、CPO、SimPO、ORPO等偏好学习算法，
• 以及Embedding、Reranker、序列分类任务。

ms-swift提供了大模型训练全链路的支持，包括使用

• vLLM、SGLang和LMDeploy对推理、评测、部署模块提供加速，
• 以及使用GPTQ、AWQ、BNB、FP8技术对大模型进行量化。

VeOmni 是字节跳动与火山引擎联合研发的 统一多模态训练框架，核心目标是解决多模态模型（如 DiT、LLM、VLM、视频生成模型）训练中的碎片化问题，实现 “统一多模态、统一并行策略、统一算力底座”。其经过千卡级真实训练任务验证，支持从百亿级语言模型到 720P 视频生成模型的全流程训练。[^1]

vllm专门为了多模态单独推出了推理框架vllm-omni，调研一下

HW24年狠抓了训练，但是推理性能稍微落下，dsv3的出现，强化学习的爆火，反过来对推理性能提出了很高的要求。为此高性能的vllm推理框架变成了hw首先适配的目标。

1. 一方面我需要大致了解vllm框架的设计，
2. 另一方面，我主要需要关注vllm-ascend实现了哪些接口。