CD8180/ CD8160 SoC，是否支持NPU推理LLM，没找到编译好的cix或者转换工具

[allentern]

orange pi 6 plus，
下载了ai_model_hub_25_Q3，常见的yolo、ppocr等都有cix，可以跑。
但是llm只能cpu、gpu跑，没有看到llm的cix或者转换工具，请问可以到哪里下载？

[andyt9527]

目前 llm 是只支持通过 cpu/gpu 推理的。
只有向量化的模型，比如clip，siglip，vit 等模型是可以在 NPU 推理的。

[allentern]

目前 llm 是只支持通过 cpu/gpu 推理的。 只有向量化的模型，比如clip，siglip，vit 等模型是可以在 NPU 推理的。

请问是否会支持qwen3系列NPU推理？如果是，预计什么时候。
我们需要考虑一下后面的计划。非常感谢！

我们也尝试过了，不行，注册早鸟计划，下载cixbuild。
折腾来折腾去，发现关键貌似是有些算子目前还不支持，GQA等。

[Yanxingang]

目前 llm 是只支持通过 cpu/gpu 推理的。 只有向量化的模型，比如clip，siglip，vit 等模型是可以在 NPU 推理的。

请问是否会支持qwen3系列NPU推理？如果是，预计什么时候。 我们需要考虑一下后面的计划。非常感谢！

我们也尝试过了，不行，注册早鸟计划，下载cixbuild。 折腾来折腾去，发现关键貌似是有些算子目前还不支持，GQA等。

他们这个NPU目前应该就不支持自回归的LLM inference，甚至有可能因为其硬件架构设计的原因，导致根本无法支持LLM inference，或者LLM inference性能极差