DeepSeek открыла код DeepInfer для запуска своей модели ИИ

Китайская DeepSeek 20 октября выпустила в открытый доступ исходный код DeepInfer — собственного фреймворка для эффективного запуска ИИ-моделей. Как сообщила South China Morning Post 21 октября, он предназначен для DeepSeek-V4.1-Flash и поддерживает графические процессоры Nvidia SM100 Blackwell и чипы Huawei Ascend 950.


DeepInfer отвечает за инференс — работу уже обученной модели, когда она обрабатывает запросы и выдаёт ответы. Такие фреймворки помогают оптимизировать этот процесс: от их эффективности зависят ресурсы, необходимые для обслуживания модели.

У DeepSeek-V4.1-Flash открыты веса — параметры, полученные при обучении. Это позволяет сторонним облачным провайдерам запускать её на собственной инфраструктуре. Теперь компания открыла и разработанное внутри неё программное обеспечение для работы с моделью.

По сообщению SCMP, DeepSeek заявила, что публикация DeepInfer поможет сообществу снизить вычислительные затраты и энергопотребление и сделать ИИ доступнее.