Je suis (peut-être) de retour, pour t'assomer de mon énorme logique, mes faits indémontables et mon esprit hors pair. Plie-toi face à ma raison sans concessions !
Blublus divers
Re: Blublus divers
Ello nemo dotte nette
Je suis (peut-être) de retour, pour t'assomer de mon énorme logique, mes faits indémontables et mon esprit hors pair. Plie-toi face à ma raison sans concessions !
Je suis (peut-être) de retour, pour t'assomer de mon énorme logique, mes faits indémontables et mon esprit hors pair. Plie-toi face à ma raison sans concessions !
-
Roi of the Suisse
- Messages : 2345
- Enregistré le : 28 avr. 2019, 23:38
- Contact :
Re: Blublus divers
Bonne anniv Mamie ! (si j'en crois ton profil sur Oniro ^^)
-
Roi of the Suisse
- Messages : 2345
- Enregistré le : 28 avr. 2019, 23:38
- Contact :
Re: Blublus divers
Bon anniversaire 
Re: Blublus divers
Hehe vous ne le savez pas mais je cache toujours ma date de naissance car je suis parano eh oui (mon vrai anniversaire est au printemps, au moment de la bouillasse, avant les pollens car sinon ça serait vraiment nul)
Mais merci pour l'intention !
Mais merci pour l'intention !
-
Roi of the Suisse
- Messages : 2345
- Enregistré le : 28 avr. 2019, 23:38
- Contact :
Re: Blublus divers
C'est toi qui choisis ton anniversaire. C'est comme le genre. Ce qui compte, c'est qu'on te le fête une fois par an et que tout le monde soit content
Re: Blublus divers
Je note vite pour pas oublier, comment ça marche en entrée d'un LLM :
"Le chat vert"
Pour chaque mot (ou chaque "token", portion de mot pour les mots trop grands), un vecteur est créé, ici un vecteur de 3 nombres :
-Le=[51.654, 54.32, 12.2]
-chat=[345.21, 543.15, 578.14]
-vert=[9831,573.5, 957,2]
Chaque nombre est une sorte de score par rapport à un concept (petit, grand, féminin, poilu, amer...), déduit tout seul par le modèle lors de l'entrainement.
Exemple :
mobile=0 immobile=1000, un corail aura 5.5, un chat aura 345.21
petit=0 grand=1000, un corail aura 4.2, Jupiter aura 994.999
piquant=0 doux=1000, un corail aura 4.2, un chat aura 985
Ca s'appelle l'embedding.
Chaque vecteur est envoyé à chaque neurone de la couche d'entrée qui donne un nombre en sortie.
[51.654, 54.32, 12.2]-->neurone 1-->3.145
[51.654, 54.32, 12.2]-->neurone 2-->61.64
[51.654, 54.32, 12.2]-->neurone 3-->891.14
[3.145, 61.64, 891.14] = "Le" en sortie de la première couche de neurones.
Ce nombre est filé au mécanisme d'attention qui va le booster ou le nerfer selon son importance dans la phrase. Par exemple "Le" on s'en fiche un peu, "chat" est moyennement intéressant, "vert" est surprenant ici.
Car, en plus du vecteur d'embedding, chaque mot a TROIS AUTRES VECTEURS (déduis du premier) !!!
-un vecteur "question" qui représente ce que le mot cherche chez d'autres mots : il cherche un mot "mobile", "petit", "piquant"...
-un vecteur "clef", qui ressemble beaucoup à l'embedding mais montre comment le mot se présente aux autres. Il ne parle pas de lui uniquement (je suis petit, je suis grand), mais plus de ce qu'il veut montrer aux autres (ça peut être les mêmes concepts ou d'autres : je suis masculin, je suis un nom, je suis grand).
-un vecteur "value", déduit des 2 autres.
Avec ce dernier vecteur "value", on peut déterminer l'importance de chaque mot dans la phrase.
Et c'est là que ça coinçait sur les vieux LLM : il faut faire des opérations sur le vecteur "question"+le vecteur "clef" entre tous les tokens.
Bref pour GPT-1 on pouvait pas dépasser 512 tokens car le calcul devenait énorme.
Surtout qu'on avait pas 3 nombres pour un seul vecteur pour GPT-1, mais 768 nombres....
"Le chat vert"
Pour chaque mot (ou chaque "token", portion de mot pour les mots trop grands), un vecteur est créé, ici un vecteur de 3 nombres :
-Le=[51.654, 54.32, 12.2]
-chat=[345.21, 543.15, 578.14]
-vert=[9831,573.5, 957,2]
Chaque nombre est une sorte de score par rapport à un concept (petit, grand, féminin, poilu, amer...), déduit tout seul par le modèle lors de l'entrainement.
Exemple :
mobile=0 immobile=1000, un corail aura 5.5, un chat aura 345.21
petit=0 grand=1000, un corail aura 4.2, Jupiter aura 994.999
piquant=0 doux=1000, un corail aura 4.2, un chat aura 985
Ca s'appelle l'embedding.
Chaque vecteur est envoyé à chaque neurone de la couche d'entrée qui donne un nombre en sortie.
[51.654, 54.32, 12.2]-->neurone 1-->3.145
[51.654, 54.32, 12.2]-->neurone 2-->61.64
[51.654, 54.32, 12.2]-->neurone 3-->891.14
[3.145, 61.64, 891.14] = "Le" en sortie de la première couche de neurones.
Ce nombre est filé au mécanisme d'attention qui va le booster ou le nerfer selon son importance dans la phrase. Par exemple "Le" on s'en fiche un peu, "chat" est moyennement intéressant, "vert" est surprenant ici.
Car, en plus du vecteur d'embedding, chaque mot a TROIS AUTRES VECTEURS (déduis du premier) !!!
-un vecteur "question" qui représente ce que le mot cherche chez d'autres mots : il cherche un mot "mobile", "petit", "piquant"...
-un vecteur "clef", qui ressemble beaucoup à l'embedding mais montre comment le mot se présente aux autres. Il ne parle pas de lui uniquement (je suis petit, je suis grand), mais plus de ce qu'il veut montrer aux autres (ça peut être les mêmes concepts ou d'autres : je suis masculin, je suis un nom, je suis grand).
-un vecteur "value", déduit des 2 autres.
Avec ce dernier vecteur "value", on peut déterminer l'importance de chaque mot dans la phrase.
Et c'est là que ça coinçait sur les vieux LLM : il faut faire des opérations sur le vecteur "question"+le vecteur "clef" entre tous les tokens.
Bref pour GPT-1 on pouvait pas dépasser 512 tokens car le calcul devenait énorme.
Surtout qu'on avait pas 3 nombres pour un seul vecteur pour GPT-1, mais 768 nombres....
-
Roi of the Suisse
- Messages : 2345
- Enregistré le : 28 avr. 2019, 23:38
- Contact :
Re: Blublus divers
Ok ok 
Re: Blublus divers
J'arrive sur les 40 ans, avec des regrets.
Quand j'étais plus jeune je lisais les BD Picsou qui parcourt le monde et travaille dur pour gagner de l'argent.
Je pense que je les lisais encore à 30 ans.
Eh bien je viens de réaliser qu'en Australie on pouvait gagner 4000€ par mois en travaillant dur, visa "vacances/travail" d'un an :
https://www.jeremybackpacker.com/fruit- ... lie-ferme/
Je l'ai su, mais j'ai jamais percuté.
J'ai grandement, grandement, les boules. C'est le genre de boulot physique de merde que je faisais en France pour le SMIC.
Bref, rêvons un peu. On va dire que ça m'aurait permis de mettre 2500€ par mois pour les frais. Si j'avais travaillé 10 mois, j'aurais gagné 25.000€.
Avec les intérêt, 20 ans plus tard, j'aurais maintenant en banque 65.000€. Pour un an de boulot.
J'ai préféré vivre dans l'imaginaire et lire Picsou vivre ses aventures en Australie.
Quand j'étais plus jeune je lisais les BD Picsou qui parcourt le monde et travaille dur pour gagner de l'argent.
Je pense que je les lisais encore à 30 ans.
Eh bien je viens de réaliser qu'en Australie on pouvait gagner 4000€ par mois en travaillant dur, visa "vacances/travail" d'un an :
https://www.jeremybackpacker.com/fruit- ... lie-ferme/
Je l'ai su, mais j'ai jamais percuté.
J'ai grandement, grandement, les boules. C'est le genre de boulot physique de merde que je faisais en France pour le SMIC.
Bref, rêvons un peu. On va dire que ça m'aurait permis de mettre 2500€ par mois pour les frais. Si j'avais travaillé 10 mois, j'aurais gagné 25.000€.
Avec les intérêt, 20 ans plus tard, j'aurais maintenant en banque 65.000€. Pour un an de boulot.
J'ai préféré vivre dans l'imaginaire et lire Picsou vivre ses aventures en Australie.
-
Roi of the Suisse
- Messages : 2345
- Enregistré le : 28 avr. 2019, 23:38
- Contact :
Re: Blublus divers
Tu te serais peut-être fait piquer par une araignée mortelle dans les vignes 
Un blond là-bas il attrape un coup de soleil et il meurt du cancer de la peau aussi
Ou pire, tu rencontres une Australienne, tu restes là-bas pour toujours au grand dam de tes parents qui ne te revoient jamais et qui ne verront leurs petits enfants grandir qu'en visioconférence
Un blond là-bas il attrape un coup de soleil et il meurt du cancer de la peau aussi
Ou pire, tu rencontres une Australienne, tu restes là-bas pour toujours au grand dam de tes parents qui ne te revoient jamais et qui ne verront leurs petits enfants grandir qu'en visioconférence