IA locale: pourquoi comment

[lincruste]

Yo.
Les copains, je suis très intéressé à l'idée de faire taffer une IA locale pour convertir tout un tas de fonctions ASM x86 vers du C.
Il y a en a plusieurs milliers, et il n'est pas réaliste que je le fasse moi-même, je suis loin d'en avoir les compétences, et si ça avait dû être fait par quelqu'un ce serait déjà fait depuis longtemps.

Il y a 15/20 piges, un héros nommé John Jordan a décompilé Frontier Elite III: First Encounters et a fourni tout le code avec une partie des données en assembleur x86 32 bits.

Ça a permis à des pionniers d'une autre époque de faire une version D3D:
https://ffeartpage.com/ffed3d.htm (admirez ce website, y'a même un webring avec Altavista, il manque que le livre d'or)

Un autre mec a bien senti que le site de John Jordan durerait pas et a heureusement tout sauvegardé sur un dépôt GitHub :
https://github.com/videogamepreservation/jjffe (cliquez pas c'est horrible)

Alors j'ai bricolé une usine à gaz avec OSS Code et le modèle Copilot gratos, et assez curieusement ce truc avec mes pauvres instructions a pu compiler le code assembleur avec NASM pour faire une version GNU/Linux native, c'était déjà assez ouf.

Mais ce qu'il faudrait vraiment, ce dont l'humanité a VRAIMENT besoin, c'est que le meilleur jeu vidéo du monde soit débarrassé de sa prison binaire et devienne vraiment portable. L'objectif ultime pour moi c'est une version PS Vita, ou même mieux, 3DS, mais déjà sur un PC ce serait beau.

Maintenant faut être sérieux, c'est pas possible pour moi ou pour tout autre humain équilibré de porter tout ça en C+SDL2 et de ré-architecturer tout ce bordel pour avoir un front end multiplateformes et toute la logique en C ou C++ avec une IA sans soit passer à la caisse et se ruiner en token avec un modèle "frontière", soit en mode gros radin en déléguant le taf à... UNE IA LOCALE !

Déjà avant tout, pour tester, j'ai essayé d'installer Cline ou l'extention OLLAMA pour VS Code, je peux faire tourner un modèle Wish genre qwen2.5-coder:7b qui rame pas exagérément sur un i5 avec 32Go de RAM et une 1060GTX avec 6Go VRAM, mais même si c'est lent, le problème c'est que contrairement à Copilot qui est très très TRÈS mis en avant sur VS Code, j'ai l'impression que qwen ne prend pas en compte mon environnement local, aucune interaction avec le terminal, l'arborescence locale, les fichiers sources en .asm, là où Copilot dans VS Code allait piocher allégrement dans les sources, analysait le code, suggérait comment installer l'assembleur et modifiait le code pour que ça compile avec une toolchain moderne.
Même avec une déclaration du répertoire parent comme une source "Trusted", le qwen il se contente de me répondre des gentillesses dans le chat, ce qui est sympa mais inutile.

J'ai pas mal tourné en rond avant de me dire que ça venait peut-être du modèle lui-même qui n'est pas entraîné pour ça.

J'en viens à ma question: est-ce que parmi vous tas de petits hackers il y en a qui ont réussi à interfacer un LLM local avec VS/OSS Code ou autre IDE ?
Vous êtes passés par quelle configuration, quels outils, quel modèle ?
Est-ce que vous trouvez ça réaliste ?
Pourquoi (justifiez). Interdiction d'écrire votre nom sur la feuille sous peine d'annulation du concours.

@on-off Tiens salut, ça va ?

[on-off]

on-off Tiens salut, ça va ?

Vscode ou autre, tu peux lui donner un provider IA locale (comme ollama, lmstudio, etc.) tant qu'ils expostent une API compatible OpenAi ou autre, tu leur files l'url, le port et ça connectera les deux.

Par contre, ollama, c'est facile, mais lent et on ne peut pas régler grand chose.
Si tu veux ça dans vscode ou autre, c'est standard, tu peux passer par "continue.dev" par exemple, ou autre.
Il faut juste un plugin ou autre qui aille connecter sur ton provider llm (ollama ou autre).

Autre point, un modèle 7b c'est vraiment pas gros, et là ce sont les connaissances qui manquent au modèle, et le raisonnement surtout qui va bien et qui est bien meilleur chez les "plus gros". Il tourne à combien de token/s ? (on parlera pas de prefill, jamais à l'heure du goûter)

[on-off]

Mince, il est parti manger un kinder.

J'en viens à ma question: est-ce que parmi vous tas de petits hackers il y en a qui ont réussi à interfacer un LLM local avec VS/OSS Code ou autre IDE ?
Vous êtes passés par quelle configuration, quels outils, quel modèle ?
Est-ce que vous trouvez ça réaliste ?
Pourquoi (justifiez). Interdiction d'écrire votre nom sur la feuille sous peine d'annulation du concours.

Bref c'est fait pour être interfacés ensemble, mais moi j'utilise pas d'IDE, je suis pas un développeur, je fais des mini machins et surtout des petits scripts féroces.

En logiciels pour faire tourner les modèles, j'en ai testé un paquet, sous windows ou linux, j'ai lâché lmstudio (pas open source, mais rapide et vachement cool sur les paramètres de modèles dispo et configurables, et j'aime pô la version agent "bionic"), je préfère en ce moment unsloth desktop pour faire tourner toutes sortes de modèles, et assez vite. Pour le tout venant j'ai gemma4 (le MoE 26b-a4b) qui me sort peinard 150 t/s le coco. Et sinon Strata, pour Qwen 3.8 flash next, le 125b qui est assez hallucinant. J'essaie de faire tourner deepseek flash, mais ça coince, je remonte des trucs au dev dès que possible.

[lincruste]

Autre point, un modèle 7b c'est vraiment pas gros, et là ce sont les connaissances qui manquent au modèle, et le raisonnement surtout qui va bien et qui est bien meilleur chez les "plus gros". Il tourne à combien de token/s ? (on parlera pas de prefill, jamais à l'heure du goûter)

Alors déjà merci beaucoup pour tes réponses, j'essaye de tout intégrer mais wow j'ai du boulot.
Le nombre de token/s, je ne sais pas comment relever cette métrique-là, je vais me documenter et te dire demain quand j'aurai accès de nouveau au PC.

J'ai essayé le 14B cet après-midi, ça tourne mais tu sens qu'il est au bout de sa vie. Ton llm Qwen 3.8 flash next de 125b pour moi c'est hors de portée, j'attends le black friday pour un Dell PowerEdge 8 GPUs peut-être.

[on-off]

Les tokens/s c'est la vitesse à laquelle le modèle écrit. Au delà de 20 ça va plus vite que ce que tu peux lire avec les yeux en suivant les mots qui défilent dans la génération des réponses.

Il faut plus de vram pour des modèles plus gros, mais si tu as un bon 7b c'est déjà un bon début surtout s'il te produit des trucs bons et à une vitesse correcte. Je suppose que ce n'est pas mistral 7b. Sans doute GLM 5.3 7B par exemple ou un Qwen3 pour tout ce qui est programmation ils sont bons.

L'IA locale a l'énorme avantage de la confidentialité, et si tu paies le matos (hélas), au moins tu as un truc illimité sans abonnement...
Et j'ai un GPU qui ne consomme "que" 230w max dans la gamme rtx pro au lieu de... 3-4 fois plus.

[lincruste]

Oui je me souviens, t'avais eu le nez creux, tu t'étais équipé bien comme il faut juste avant que les prix n'explosent.

[on-off]

Oui, coup de pot, c'est clair.
Hésite pas si je peux te renseigner sur des trucs.

[BeyondOasis]

Tu as pensé à demander à une ia de te donner des tips pour faire tes trucs d'ia ?

[on-off]

Pour ça tu as Google qui te dit pas mal de conneries.