AI应用技术服务、大模型应用技术服务、操作系统 OpenEuler；底层计算库：CANIN;推理引擎：vLLM 昇腾适配版；AI 框架：PyTorch 华为适配版；基础大模型：DeepSeek R1、Qwen3.5;Docker 容器、安装、调试、测试、专业 技术服务-->IT疑难问题解决方案

AI应用技术服务、大模型应用技术服务、

操作系统 OpenEuler；

底层计算库：CANIN;推理引擎：

vLLM 昇腾适配版；

AI 框架：PyTorch 华为适配版；

基础大模型：DeepSeek R1、Qwen3.5;

Docker 容器、安装、调试、测试、专业 技术服务-->IT疑难问题解决方案

推理开发
根据大语言模型推理、多模态推理及传统模型推理三大类开发场景，
为开发者提供文档、软件/工具丰富的模型资源库及最佳实践案例，
帮助开发者快速掌握昇腾推理开发

大语言模型推理
文本生成推理，服务化端到端全流程加速
获取资源查看文档
多模态模型推理
高性能视图生成
传统模型推理
高效适配CV、NLP等典型模型

开源生态推理引擎
vLLM Ascend是用于在昇腾NPU上高效运行vLLM推理框架的硬件适配插件，
实现了昇腾NPU与vLLM框架的无缝对接。
借助MindIE Turbo昇腾通用加速套件可在昇腾NPU上实现高效大语言模型推理支持，
达到更大的吞吐、更低的时延

MindIE推理引擎
客户自研推理引擎

开发资源
安装资源
开源生态推理引擎资源获取
通过Dockerfile文件构建镜像，准备具体模型运行所需的基础环境，

包括CANN、FrameworkPTAdapter、MindIE Turbo、vLLM和vLLM Ascend，
可实现模型快速上手推理，镜像制作可以参考“镜像制作指导”
获取MindIE Turbo
MindIE推理引擎镜像获取
该镜像已具备模型运行所需的基础环境，
包括：CANN、FrameworkPTAdapter、MindIE与ATB Models，可实现模型快速上手推理
镜像获取
模型列表
vLLM Ascend大语言模型支持列表
vLLM Ascend支持的大语言模型及版本
已支持：
DeepSeek
Qwen
LLaMA
InternLM
Baichuan
...
查看列表
MindIE大语言模型支持列表
MindIE支持的大语言模型及版本
已支持：
DeepSeek
Qwen
LLaMA
ChatGLM
Baichuan
...
查看列表


详见 ---》https://www.hiascend.com/developer/inference