在RISC-V上运行DeepSeek并成功启用XTheadVector扩展:RuyiSDK开发者全家桶里还有这种好东西!
本周五在中国科学院软件研究所组织的线下交流活动中,来自 PLCT 实验室测试团队的伙伴们展示了如何使用 RuyiSDK 集成的工具链,在搭载 SG2042 处理器的 Milk-V Pioneer Box 上运行起来 DeepSeek R1 Distill 模型,并且成功利用XTheadVector扩展进行了加速。这也表示所有支持 XTheadVector(含RVV0.7.1) 扩展的芯片模组/开发板(例如 TH1520/Milk-V Meles)在运行 DeepSeek 等大模型时可以更为充分的利用硬件算力。