Maintenant qu’on a vu dans le précédent post qu’il est facile de faire tourner DeepSeek en local en allant droit au but, on peut maintenant s’intéresser à tout ce qu’il y a autour. Que signifie « distilled » dans le cas d’un LLM, est-ce que DeepSeek exécuté en local envoie des données en Chine même si vous vous doutez de la réponse, et d’autres précisions qui méritent d’être évoquées.
Distill-Qwen- c’est quoi?
Les plus observateurs auront probablement remarqués dans la première partie que le nom du modèle, qui apparaissait sur le bouton violet en haut de la fenêtre, n’est pas seulement DeepSeek-R1 mais que ce sont est suivi par Distill-Qwen, qui lui-même est suivi par autre chose mais on va l’ignorer.
Il s’agit simple d’un modèle « étudiant » plus petit (deepseek-r1-Distill-Qwen) qui est entraîné pour imiter les sorties d’un modèle « enseignant » plus grand (de la série Qwen d’Alibaba, comme Qwen-72B ou Qwen-1.8B). Il est alors optimisé pour réduire les ressources computationnelles, accélérer l’inférence et minimiser l’utilisation de mémoire, le rendant adapté aux appareils embarqués ou aux déploiements nécessitant des coûts réduits.
Même s »il conserve une grande partie des capacités du modèle enseignant, l’inconvénent est qu’il peut sacrifier une certaine précision ou subtilité comparé au modèle de base deepseek-r1. Mais en compensation il Intègre des connaissances de Qwen, améliorant potentiellement les performances dans des domaines où Qwen excelle (par exemple, le Natural Language Processing en chinois, la généralisation multitâches).
Quand utiliser quoi? Si vous devez avoir votre propre instance de R1, on pourrait résumer ainsi:
- Utilisez deepseek-r1 pour des scénarios où la performance est critique et les ressources suffisantes.
- Utilisez deepseek-r1-Distill-Qwen dans des environnaux contraints en ressources ou pour des applications nécessitant une inférence rapide, tout en profitant des forces de Qwen via la distillation.
Mais du coup pourquoi avoir sa propre instance alors que R1 est dispo en ligne?
DeepSeek vous ment! C’est David Bombal qui le dit
David Bombal, célèbre papa hacker qui n’en a pas l’air qui nous partage depuis des années son savoir sur Youtube a récemment partagé un short que voici
On voit clairement que malgré le blabla-bullshit de la compagnie derrière le LLM, DeepSeek-R1 envoie bien des données chez Winnie
Faisons maintenant le test en exécutant LM Studio et en vérifiant avec Wireshark ce qui est capture en TLS ou même HTTP.
On lance Wireshark et ajoute le filtre tls || http pour filtrer les 2 en même temps.
Ensuite on peut entrer un prompt et le laisser répondre. Une fois terminé on voit que Wireshark est toujours vide pour les requêtes TLS et HTTP.
Que peut-on en conclure?
Si vous êtes certain qu’aucune donnée personnelle, privée ou confidentielle n’apparaît dans vos questions, vous pouvez éventuellement utiliser la version en ligne. Si vous êtes étudiant en astrophysique par exemple et que vous avez besoin de faire des recherches pour vos cours sur les échelles de temps et d’espace, pourquoi pas, vous aurez des réponses ultra-complètes.
Mais si vous avez pour quelle que raison que ce soit besoin de garder privés ces échanges/recherches/conversations, alors mieux vaut utiliser la version en ligne
À vous de choisir l’outil qui vous convient le mieux en fonction du contexte du moment.