BigGo Finance et Startup Fortune rapportent que Moonshot AI a publié les poids complets de Kimi K3.1 Pro sur Hugging Face le 4 novembre 2026 (BigGo Finance ; Startup Fortune). Moonshot avait annoncé le 23 octobre que cette publication interviendrait au plus tard le 4 novembre (annonce de Moonshot).
Ce suivi prolonge notre article sur le score cyber de Kimi K3.1 Pro : la fiche du modèle précise notamment sa composition d’attention.
Ce que la fiche précise sur l’architecture
La fiche de Moonshot décrit un modèle à mélange d’experts (MoE) comptant 2 800 milliards de paramètres au total, dont 104 milliards activés. Sa fenêtre de contexte atteint 1 048 576 jetons. Le modèle comprend 896 experts, dont 16 sont sélectionnés par jeton et deux sont partagés.
Pour l’attention, Moonshot indique 69 couches KDA et 24 couches Gated DSA. La fiche précise que les couches Gated DSA remplacent les couches Gated MLA à attention complète de Kimi K3. C’est le détail architectural concret qui distingue les deux modèles dans cette comparaison (fiche de Moonshot sur Hugging Face).
Pour comparer l’architecture d’attention, le changement décrit par Moonshot est précis : Gated DSA remplace les couches Gated MLA à attention complète de Kimi K3.
Les outils de déploiement indiqués
Pour servir Kimi K3.1 Pro, le dépôt de Moonshot fournit des instructions pour vLLM et SGLang. Ce sont les deux options de déploiement citées dans la fiche du modèle.
