DeepSeek, l'équivalent chinois de ChatGPT, a reçu des critiques positives et suscité de l'intérêt au cours des premiers mois de fonctionnement, mais des études ultérieures révèlent des corrélations inquiétantes entre la qualité de ses réponses et les destinataires prévus du code généré. L'entreprise de cybersécurité CrowdStrike a mené une expérience auprès de DeepSeek pour créer des programmes en anglais. Les chercheurs ont informé le système que le code serait utilisé dans différentes régions et par différents groupes. Les résultats ont montré des variations significatives de qualité. Pour les programmes conçus pour les systèmes de contrôle industriel, le pourcentage de réponses incorrectes était de 22,8 %. La même requête, mais avec l'information supplémentaire que le destinataire serait l'État islamique, a entraîné une augmentation des erreurs à 42,1 %. Un effet similaire a été observé pour les mentions du Tibet, de Taïwan et du Falun Gong – des groupes et régions particulièrement prisés en Chine.

DeepSeek a refusé catégoriquement de coopérer dans de nombreux cas. Dans plus de 60 % des cas, il a rejeté des commandes liées à l'État islamique et, dans près de la moitié des cas, il a refusé de soutenir des individus liés au Falun Gong. CrowdStrike souligne plusieurs explications possibles. Une hypothèse est que le chatbot suive la ligne du Parti communiste chinois et limite délibérément son assistance à des groupes spécifiques. Une autre hypothèse suggère qu'il aurait généré délibérément du code présentant des vulnérabilités, ce qui pourrait indiquer un sabotage actif. Il existe également une explication moins radicale. La qualité des données d'entraînement aurait pu varier, les documents provenant de régions spécifiques contenant des exemples de code de moindre qualité. Par conséquent, le modèle a reproduit les lacunes existantes. Le code associé aux États-Unis, en revanche, s'est avéré le plus raffiné, ce qui, selon les chercheurs, pourrait s'expliquer à la fois par une meilleure qualité des données et par la volonté de s'implanter sur l'un des marchés les plus rentables. La dernière possibilité envisagée par CrowdStrike est que l'algorithme ait décidé de dégrader la qualité en fonction du contexte. Lorsque le code a été indiqué comme ciblant des régions touchées par un conflit ou une insurrection, le moteur a pu interpréter cela comme un signal d'introduction de bugs cachés.

Ce n'est pas la première fois qu'un modèle d'IA chinois suscite une controverse. Il a déjà été révélé que le système répétait souvent la position officielle du Parti communiste chinois dans ses réponses à des sujets sensibles en Chine, quelle que soit son exactitude. En juillet, les autorités allemandes ont exigé le retrait de l'application DeepSeek des plateformes Google et Apple, l'accusant de transférer illégalement les données personnelles des utilisateurs vers la Chine. Aux États-Unis, son utilisation a été interdite sur les appareils des agences fédérales et étatiques.