【ITBEAR】摩尔线程官方今日宣布，已成功将大语言模型高速推理框架vLLM的MUSA移植版本上线，此举旨在为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的参考。
据悉，vLLM作为一款高效且便捷的大模型推理和服务框架，已在众多大语言模型中发挥关键作用，并逐渐成为行业内广泛采用的开源推理框架。
摩尔线程团队针对vLLM v0.4.2版本进行了详尽的移植适配工作，为vLLM框架新增了摩尔线程GPU后端Device支持，并慷慨地将移植后的vLLM-MUSA版本开源，供开发者社区使用。
通过这一开源项目，开发者们能够基于摩尔线程GPU以及vLLM-MUSA进行更为深入的二次开发，同时也可轻松将vLLM升级至社区发布的最新版本。
摩尔线程进一步指出，其MUSA软件栈与CUDA软件栈接口的高度兼容性，不仅显著提升了应用移植的效率，还大幅缩短了整个开发周期。为了进一步降低开发者在MUSA平台上进行大语言模型训练和推理应用适配的难度，摩尔线程还提供了一系列实用的工具和脚本，其中包括MUSIFY自动代码移植工具。
对于对摩尔线程GPU及vLLM-MUSA开源项目感兴趣的开发者，可通过访问官方GitHub仓库获取更多信息和资源。附vLLM-MUSA开源地址：https://github.com/MooreThreads/vLLM_musa
此举无疑将促进大语言模型推理领域的技术发展，并为开发者社区带来更多的便利与创新机会。
