Mohamed Louadi: L’intelligence artificielle, les grands modèles de langage et la nouvelle humanité
Introduction
La prudence est par trop souvent sacrifiée sur l’autel du progrès technologique. Il y a pourtant de quoi être étonné que certaines personnalités trouvent normaux les récents développements de l’intelligence artificielle (IA). Ces développements concernent essentiellement les grands modèles de langage (Large Language Models, LLM), tels que Bard de Google, ChatGPT de OpenAI, Bing de Microsoft et Chichilla de DeepMind, pour ne citer que ceux-là.
Mais commençons par examiner la toile de fond de ces développements et ce qui a trait à l’intelligence naturelle des humains sans perdre de vue qu’incidemment, c’est précisément le langage, point fort de ces IA, qui différencie les humains du reste des animaux.
Depuis quelques années nous avons remarqué la profusion des erreurs de langage de toutes sortes. Chaque année apporte d’ailleurs son lot de nouvelles erreurs. Ainsi apparurent subrepticement des locutions telles que, par exemple, «va-t-être», «comme même», «il y’a», «au même temps» et autres «or que» ou «hors que» (à la place de «alors que») et, surtout, ce désormais incontournable «du coup». La tendance s’étendit à l’abandon des majuscules même dans les noms propres, la généralisation du tutoiement, la disparition de la ponctuation(1) et les verbes conjugués mais se terminant par «er» (j’ai manger). A telle enseigne qu’il en existe qui ne peuvent plus distinguer entre ce qui est correct et ce qui est incorrect. Il arrive même que les enseignants soient parfois habités de doutes et recourent au dictionnaire pour vérifier l’orthographe de ce qu’ils lisent dans les copies d’examen.
Curieusement ces erreurs se propagent et se multiplient venant grossir le vocabulaire d’une nouvelle majorité qui se cache derrière un laconique «mais tout le monde parle comme ça». «Ce n’est pas parce qu’ils sont nombreux à avoir tort qu’ils ont raison», dirait Coluche. Le nombre n’affranchit pas de l’erreur.
Ainsi semble s’être installé un paradigme de l’erreur ou de la tolérance de l’erreur, et ceux qui corrigent les erreurs sont désormais non seulement la minorité mais…. les malades, puisqu’atteints du «syndrome de pédanterie grammaticale», une sorte de trouble obsessionnel compulsif (TOC). Une étude entreprise dans une université américaine aurait même avancé que ceux qui ont horreur des fautes linguistiques sont… des imbéciles(2). A contrario l’erreur serait en passe de devenir un gage de bonne santé. L’erreur est acceptée, de rigueur, sanctifiée ou voire attendue parce qu’elle procède de la même démocratie qui met faussement en avant la majorité des peu nantis intellectuellement.
Lorsqu’une erreur est relevée sur les réseaux sociaux, celle-ci n’est quasiment jamais corrigée par son auteur, quand bien même il s’exposerait aux railleries des «malades». Pourtant corriger une erreur est très aisé. Ne pas se corriger est un comportement réimmiscent de celui qui ne corrige pas son document tapé sur un traitement de texte doté d’un correcteur d’orthographe et de grammaire et qui souligne en rouge, bleu ou vert les erreurs qui l’affligent. Souvent le fichier est remis tel quel à l’enseignant, avec les erreurs encore soulignées et majestueusement ignorées par leur auteur. C’est comme si une erreur commise sur une plateforme ou un logiciel ou un quelconque outil informatique est dispensée d’une correction post facto(3).
L’appauvrissement du langage est concomitant, et sans doute, contemporain, de deux phénomènes connus des scientifiques: l’effet Flynn et l’effet Duning-Kruger. L’effet Flynn révèle qu’à partir des années 1980, le quotient intellectuel (QI) moyen en Occident, jusque-là en croissance, commençait à baisser(4). L’effet Duning-Kruger dénonce l’ignorance qui s’accompagne d’arrogance(5). L’effet Duning-Kruger est très répandu sur les réseaux sociaux(6) où celui qui sait et celui qui ignore se côtoient et s’ils ont peu de chance de se rencontrer dans la vraie vie, ils se voient disposer du même espace d’expression et deviennent de ce fait égaux. «Les réseaux sociaux ont donné le droit de parole à des légions d’imbéciles qui, avant, ne parlaient qu’au bar, après un verre de vin et ne causaient aucun tort à la collectivité. On les faisait taire tout de suite alors qu’aujourd’hui ils ont le même droit de parole qu’un prix Nobel. C’est l’invasion des imbéciles», aurait dit Umberto Eco en 2015(7).
Selon James Flynn la chute du QI avait d’abord commencé dans les années 1970, notamment dans des pays comme la France et l’Angleterre. Selon les chercheurs la chute du QI trouve ses causes dans les perturbateurs endocriniens, ces molécules chimiques (brome, chlore, fluor) qui causent un dérèglement de la thyroïde et qui sont présentes dans les pesticides et les cosmétiques, entre autres, ainsi qu’un déficit d’iode, nécessaire aux hormones thyroïdiennes. Or sans hormones thyroïdiennes, notre cerveau ne se développe pas correctement. Ces carences sont observées dès les premières semaines de la grossesse(8).
Pour le Dr. Didier Raoult ce sont les écrans et le manque de modèles intellectuels à émuler qui sont les causes de la baisse du QI(9). La concentration à raison de plus de six heures par jour en moyenne sur des écrans entraîne «des modifications cérébrales visibles, avec une diminution de l’épaisseur de la matière grise dans certaines zones du cortex, en particulier celle liée à la communication interhumaine et celle liée à la compréhension». Allusion est faite ici à deux zones du cerveau: l’aire de Broca et l’aire de Wernicke, le siège de la production du langage et le siège de la compréhension du langage respectivement, toutes deux situées dans l’hémisphère gauche.
Cela rejoint quelque peu les recherches de Ann Mangent et ses collègues qui soulignent les différences induites par la lecture du texte d’une page Web (que nous ne sommes jamais obligés de lire séquentiellement, de haut en bas, et jusqu’à la fin) comparé à sa lecture sur papier (de haut en bas, de gauche à droite ou de droite à gauche, selon la langue)(10). Les effets sur le cerveau des deux modes ne peuvent être identiques.
Malheureusement notre langage façonne notre pensée et notre façon de penser(11). L’appauvrissement du langage se traduit par une ruine progressive de la pensée: plus le langage est pauvre et moins la pensée existe affirme Clavé(12).
Après cette introduction sur le langage, nous en arrivons à l’IA et aux modèles de langage, incidemment, également concernés par le langage.
Les grands modèles de langage
La soudaine popularité des grands modèles de langage s’explique aisément par les progrès spectaculaires réalisés ces derniers mois par le programme ChatGPT qui a été mis en service le 30 novembre 2022. Depuis, il ne se passe pas un jour sans que nos boites électroniques et nos murs ne soient submergés d’articles, de vidéos, de podcasts et de webinaires sur ChatGPT. Pris de court, le grand public voyait devant lui des exploits non plus futurs mais actuels. Nous avions bien entendu parler de technologies «génératives» et de GANs (Generative Adversarial Networks) en 2017 mais aujourd’hui, nous entendons parler d’ «IA générative» centrée autour d’images, de texte et de vidéos. La version la plus développée des modèles centrés autour de texte est représentée par GPT-4, disponible dans 169 pays(13).
Les grands modèles de langage qui font verser tant de pixels sur nos écrans sont basés sur (1) le langage et (2) les tournures de langage les plus répétitives qui sont stockées depuis des décennies sur l’Internet. Ces modèles s’efforcent de «deviner» le prochain mot le plus probable dans un texte. Ainsi si vous écrivez «bonne» ils sont supposés savoir, selon le contexte, si le prochain mot est «année», «santé», «route», ou autre chose. Leur puissance semble dériver exclusivement du langage. Certains avancent que ChatGPT, par exemple, dispose d’un vocabulaire de plus de 50.000 mots(14). Pour Yann LeCun, responsible IA chez Meta, un modèle de langage type est entraîné sur pas moins de 1000 milliards de mots.
ChatGPT 3.5 contiendrait plus de 175 milliards de connexions statistiques(15). Beaucoup comparent ces connexions aux connexions synaptiques entre les neurones dans le cerveau humain. On croit aussi, presque certainement à tort, que GPT-4 était forte de 100.000 milliards de paramètres(16), ce qui avait permis à certains de tirer des conclusions précipitées faisant des comparaisons entre le nombre de paramètres dans un modèle et le nombre de neurones(17) et d’interconnexions(18) entre les neurones chez les humains. Stuart Russell, un expert en IA y fait allusion dans une vidéo qu’il a enregistrée pour le World Economic Forum(19). Geoffrey Vinton, le «parrainé» de l’IA, s’était hâté de calculer qu’en raison de ces paramètres, un modèle tel que GPT-4 en saurait 1000 fois plus que les humains(20).
L’IA qui sait
Les grands modèles de langage utilisent des données préexistantes; ils ne savent pas ce qu’ils «disent», ils ignorent les canons de la langue et les règles de la grammaire. Ils donnent l’impression de «savoir» beaucoup de choses. Ils connaissent plutôt, et cela est très important, la façon dont la majorité des humains parlent. Or la plupart des textes, livres et documents qui leur servent de sources ont été écrits par des gens instruits. Les modèles de langage ne font que les émuler; ils sont rarement davantage que des perroquets qui répètent ce que les plus instruits d’entre nous ont écrit.
L’IA qui divague
La plupart du temps les réponses dont ces modèles nous gratifient sont carrément impressionnantes. Ceci n’est qu’une impression parce que les observateurs avertis ont très rapidement réalisé qu’il arrive que les modèles de langage inventent, mentent ou hallucinent(21, 22, 23). ChatGPT affiche tout de go qu’il est susceptible générer des informations incorrectes dans ce qui ressemble à une clause de non responsabilité. Le plus grave c’est que les modèles n’avouent pas d’emblée leur ignorance à moins qu’ils soient pris en flagrant délit, et dans ce cas ils s’excusent platement(24).
Dans une conférence donnée à Berkeley John Schulman, co-fondateur de OpenAI, la startup qui a développé le modèle ChatGPT, et programmeur de ChatGPT, explique pourquoi le modèle peut préférer mentir que dire «je ne sais pas»(25). Dans la séance de question/réponses clôturant sa conférence donnée le 4 mai 2023 à l’Institute for Experiential AI (EAI), Yann LeCun confirme que les modèles de langage ne sont actuellement pas capables de dire «je ne sais pas»(26). Sundar Pichai, premier responsable de Google concède que le problème des hallucinations est un problème que personne dans l’industrie n’est encore parvenu à cerner(27).
La propension de ces modèles à mentir et à halluciner est en fait au cœur du problème que nous avons avec eux. Si ChatGPT, sous des dehors pédants et pseudo scientifiques, ment, nous n’avons aucun moyen de le savoir si nous ne vérifions pas ce qu’il avance. Pour les étudiants c’est comme avoir un prof d’histoire atteint de mythomanie. Si ce qu’avance le modèle est facilement crédible pour les peu nantis intellectuellement tous les utilisateurs ne sont pas équitablement équipés pour vérifier ce qu’il débite. Où trouver l’information? Et comment poser la question? A qui? De plus, nous ne sommes pas sans ignorer la relation qui existe entre la technologie (particulièrement le Web) et le mensonge, la désinformation et les fake-news(28). Obtenir la vérité sur le Web relève d’une véritable gageure. Et comme une conversation avec un modèle est systématiquement ré-utilisée pour les entraînements futurs, nous ignorons si tous les mensonges ont bien été détectés et éliminés.
L’IA qui apprend d’elle-même
L’IA peut réaliser ses propres découvertes d’une manière tout à fait autonome:
• Dans les années 1980, Herbert Simon et ses collègues avaient créé BACON, un programme qui, basé sur seulement trois règles heuristiques simples, pouvait découvrir de nouvelles connaissances. En effet, à partir d’une matrice à deux colonnes de données sur la distance du soleil (D) ainsi que la durée d’une rotation en années terrestres de quatre planètes, le programme a pu «découvrir» la troisième loi de Kepler (D3/P2)(29).
• Une IA entraînée sur d’anciens articles scientifiques fait des déductions qui n’avaient pourtant pas retenu l’attention de leurs auteurs(30).
• AlphaZero, l’IA de DeepMind apprit à jouer le jeu du GO, la spécialité de son «confrère» AlphaGo, en s’entraînant sur 44 millions de parties. Cela ne lui prit que quatre heures(31).
• Une IA a conçu un antibiotique que les chercheurs ont surnommé «halicin» en mémoire de l’ordinateur HAL(32) du film culte 2001, l’Odyssée de l’espace(33).
• En 2015, une IA a appris à jouer 49 jeux Atari classiques. A la grande surprise des chercheurs en charge, l’IA avait développé une stratégie de jeu qui n’était pas programmée dans le système(34).
• Une IA, AlphaTensor, avait découvert une nouvelle méthode plus efficiente que les méthodes existant depuis 50 ans pour multiplier les matrices 4x4(35).
• Des modèles de création visuelle tels que Stable Diffusion, Midjourney ou DALLE-E parviennent à restituer des œuvres artistiques totalement inédites, certaines décrochant même des prix.
• Le modèle de langage Bard de Google avait appris le langage bengali sans qu’il ait jamais été programmé pour le faire(36).
Dans ces exemples, l’IA n’imite pas et n’utilise pas des données pré-stockées ou recyclées; elle apprend d’elle-même des choses que les humains eux-mêmes ne savaient pas.
De l’explosion de l’intelligence artificielle
En 1965 le mathématicien britannique Irving John Gould avançait que si on conçoit une machine ultra-intelligente qui peut dépasser toutes les activités intellectuelles de tous les humains et si la conception de machines fait partie de ces tâches, une machine ultra-intelligente pourra concevoir une machine meilleure qu’elle. S’ensuivra alors l’«explosion de l'intelligence» dont il parle(37) et l'intelligence des humains sera dépassée et très vite surclassée. C’est le fait que les IA puissent effectuer leurs propres découvertes qui conforte amplement une telle éventualité.
Outre sa capacité d’apprendre d’elle-même, l’IA est également dotée de capacités d’autoréflexion et d’auto-évaluation. Cela s’ajoute à son aptitude à reconsidérer ses propres réponses précédentes, un procédé récurrent connu(38). L’IA est donc en train de s’acquérir la capacité d’également apprendre de ses propres erreurs et ce, sans intervention humaine(39).
Mais un autre problème avec ces modèles est que nul ne sait exactement comment ils fonctionnent ni pourquoi ils donnent les réponses qu’ils donnent(40) exhibant ce que Sundar Pichai de Google appelle «emergent properties»(41) ou ce que Jason Wei et ses collègues de OpenAI appellent «emergent capabilities»(42).
Quand l’explosion de l’intelligence artificielle aura-t-elle lieu?
Le péril de l’IA n’est ni artificiel ni surfait. Pour Sébastien Bubeck et ses collègues de Microsoft ces modèles émettent déjà des étincelles (sparks) de réelle intelligence(43). Bubeck a pu démontrer que les réponses de GPT-4 frisaient l’intelligence réelle(44) et que l’accomplissement de certaines tâches, telles que l’amoncellement optimal d’objets comme un clou, un ordinateur portable, des œufs, un livre, une bouteille, etc. présupposait un certain degré d’intelligence.
Cette intelligence augmente et réussit des sauts qualitatifs aussi rapides qu’importants. Jason Wei et ses collègues(45) montrent d’ailleurs que la qualité des réponses données par les modèles de langage s’améliorait significativement dès que le nombre d’entraînements (computes, mesuré en nombre d’opérations par seconde, FLOPS) passait de 10(22) à 10(23).
Cependant il n’est pas acquis qu’augmenter le nombre de paramètres ou les entraînements de ces modèles soit la voie à suivre. Selon Sam Altman, cofondateur de OpenAI, le futur de ces modèles ne se fera pas en fonction de leur taille grandissante(46). Des modèles de tailles plus modestes sont parfois meilleurs que ChatGPT(47).
L’avenir
C’est pour les générations les plus avides de technologie, et certainement celles que nous appelons les natifs digitaux(48), que l’alarme devait avoir été sonnée le 20 avril 2023 lorsque l’annonce fut faite d’intégrer ChatGPT à Snapchat. Or la base d’utilisateurs de Snapchat est composée de 59% de jeunes de moins de 24 ans dont près du tiers ont moins de 17 ans(49). C’est donc qu’outre la génération Z (nés entre 1997 et 2012), la génération Alpha, nés à partir de 2012, qui est aussi concernée.
Simultanément il s’avère que le secteur le plus vulnérable aux grands modèles linguistiques comme ChatGPT soit l’éducation. En effet, l’étude de Edward W. Felten et ses collègues(50) a révélé que parmi les professions les plus menacées, huit des 10 premières sont dans l’enseignement, c’est-à-dire là où les futurs adultes passent le plus clair de leur temps.
Le loup est déjà dans la bergerie!
Evidemment penser à ostraciser ces modèles serait contre-productif(51). Désactiver ChatGPT dans les écoles n’est pas différent de désactiver les vérificateurs d’orthographe et de grammaire dans les suites bureautiques, sans compter que bannir ces modèles les rendrait plus attrayants et aboutirait au résultat contraire(52). De plus, ne sommes-nous pas supposés préparer nos jeunes au monde de demain? Or il y a de très fortes chances que le monde de demain soit littéralement envahi par l’IA. Nous devons préparer nos jeunes à vivre dans ce monde. Le défi est de savoir comment.
Conclusion
En général, la technologie n’est ni bonne ni mauvaise; elle est neutre et ses bienfaits ou méfaits dépendent de l’usage que les humains en font. Cela n’est plus nécessairement vrai dans le cas de l’IA. Cette technologie cessera d’être neutre lorsqu’elle commencera à prendre des décisions pour nous. Des IA refusent des crédits bancaires à des clients ou des dossiers de sinistres ou des candidatures à des emplois sans qu’il soit toujours possible de savoir pourquoi.
Oui la prudence est trop souvent sacrifiée sur l’autel du progrès technologique. En même temps, il y a de quoi être étonné que les gens trouvent ce qui se passe actuellement avec l’IA normal. Peut-être est-ce parce qu’ils réagissent à ces modèles en croyant que ce sont des logiciels et qu’en tant que logiciels, ceux-ci ne peuvent aller bien loin. Or quand bien même ces modèles sont à la base des logiciels écrits avec du code, ils se comportent très peu comme tels:
1. Premièrement, pour un input donné un logiciel donne le même output, or ces modèles peuvent donner plusieurs réponses différentes à la même question.
2. Deuxièmement, un logiciel classique ne refuse pas de faire ce qu’on lui demande, si ce n’est pas «aligné» avec les valeurs avec lesquelles il a été paramétré.
3. Troisièmement, un logiciel classique implémente l’algorithme d’une solution que le programmeur a déjà trouvée. Or souvent ces modèles sont sollicités pour trouver des solutions à des problèmes.
4. Quatrièmement, un logiciel classique n’invente pas, ne ment pas, ne délire pas et n’hallucine pas.
Certes grâce à Snapchat et ChatGPT intégrés, les plus jeunes retrouveront leur ingénuité d’antan et leur art naturel de poser des questions à un vis-à-vis qui ne leur rétorquera pas «va dormir » ou « tu es trop jeune pour ça». Ils sauront peut-être enfin très tôt pourquoi le ciel est bleu et qui est le plus fort, le requin ou le dinosaure. Une configuration différente de cerveaux s’ensuivra peut-être.
Et si le récent article optimiste de Marc Andreessen(53), créateur du premier navigateur populaire des années 1990 Mosaic, est de quelque inspiration, cette éventualité est plus que probable. Andreessen prévoit que chaque enfant aura son «tuteur», une sorte d’IA personnelle. Affecté à un enfant dès sa tendre enfance, un tuteur s’ «entraînera» et s’adaptera fidèlement à la personnalité de son protégé, sa psychologie et son style d’apprentissage.
D’autre part, si un apprenant est assuré de disposer d’une IA qui «sait» tout ce dont il a et aura besoin, pourquoi se fatiguera-t-il à apprendre? Il est probable que se mettent en place des mémoires d’emprunt, mieux connues comme des mémoires transactives, où un individu renonce à savoir quelque chose dans la mesure qu’il connaît quelqu’un (et maintenant quelque chose) qui le sait déjà(54). Il délègue de la sorte du savoir et se fait par la même l’économie d’un encombrement de sa mémoire.
Notons cependant l’éblouissement de certains enseignants face à la soudaine amélioration de la qualité des écrits de leurs étudiants. Cela est en effet rafraîchissant et cette évolution risque très bien de rendre notre tâche bien plus facile et bien plus agréable.
Mais à quel prix pour les étudiants?
Le véritable danger continue à être que ces modèles sont plus soucieux de la majorité que de la vérité. Viendra-t-il un jour où la majorité des peu nantis intellectuellement dont nous avons parlé précédemment tiendra la dragée haute à la minorité instruite? Et si la majorité croira que la Terre est plate ou que le monstre du Loch Ness existe, les modèles maintiendront que la Terre est plate et que le monstre du Loch Ness existe.
Est-ce là du savoir?
Mohamed Louadi, PhD
Professeur des universités à l’ISG, Université de Tunis
1) Christophe Clavé.(18 novembre 2019). Baisse du QI, appauvrissement du langage et ruine de la pensée, AGEFI, p. 2, https://drive.google.com/file/d/1Mepk_e3NGfnqw0d_ev9bsgqnz9OPhyfW, consulté le 20 mai 2023.
2) Cette étude aurait été entreprise en 2016 à l’université du Michigan. Voir Laurence O (18 décembre 2018). Les chercheurs affirment que les personnes qui soulignent constamment les fautes d’orthographe sont des imbéciles, https://www.santeplusmag.com/les-chercheurs-affirment-que-les-personnes-qui-soulignent-constamment-les-fautes-dorthographe-des-autres-sont-des-imbeciles, consulté le 28 novembre 2020.
3) Il y aurait lieu de se demander si les auteurs des hiéroglyphes ou les anciens qui gravaient sur la pierre pouvaient se permettre des erreurs !
4) Voir Edward Dutton, Dimitri van der Linden et Richard Lynn (2016). The negative Flynn Effect: A systematic literature review, Intelligence, Vol. 59, Novembre-décembre, pp. 163-169, http://digamoo.free.fr/dutton2016.pdf, consulté le 5 juillet 2023 et Bernt Bratsberg et Ole Rogeberg (11 juin 2018). Flynn effect and its reversal are both environmentally caused, Proceedings of the National Academy of Sciences of the United States of America (PNAS), http://www.pnas.org/content/early/2018/06/05/1718793115, consulté le 1er juillet 2018..
5) A deux reprises je me suis vu corriger des erreurs imaginaires dans deux de mes livres, déjà parus, par des étudiants.
6) Voir à ce propos, Svenja Schäfer (2020). Illusion of knowledge through Facebook news? Effects of snack news in a news feed on perceived knowledge, attitude strength, and willingness for discussions, Computers in Human Behavior, Vol. 103, février, pp. 1-12.
7) Traduction libre de «I social media danno diritto di parola a legioni di imbecilli che prima parlavano solo al bar dopo un bicchiere di vino, senza danneggiare la collettività. Venivano subito messi a tacere, mentre ora hanno lo stesso diritto di parola di un Premio Nobel. È l'invasione degli imbecilli». https://www.ilmessaggero.it/societa/persone/umberto_eco_attacca_social_network_imbecilli-1085803.html, consulté le 7 juin 2023. C’était une déclaration qui avait été faite par Umberto Eco le 10 juin 2015 en présence de journalistes italiens lorsqu’il recevait un doctorat Honoris Causa à Turin. Voir Il Messaggero (11 juin 2015). Umberto Eco attacca i social: «Internet ha dato diritto di parola agli imbecilli» [Umberto Eco s'en prend aux réseaux sociaux : « Internet a donné la parole aux imbéciles ».
8) Voir Barbara Demeneix (2014). Losing Our Minds - How Environmental Pollution Impairs Human Intelligence and Mental Health, Oxford Series in Behavioral Neuroendocrinology. Voir aussi POD Pharoah, IH, Buttfield et BS Hetzel (1971). Neurological damage to the fetus resulting from severe iodine deficiency during pregnancy, Lancet, Vol. 297, pp. 308-10, paru également dans International Journal of Epidemiology 2012, Vol. 41, pp. 589–592, https://doi.org/10.1093/ije/dys070.
9) Didier Raoult (24 juin 2018). L'inquiétante baisse de notre QI, le Point, https://www.lepoint.fr/invites-du-point/didier_raoult/raoult-l-inquietante-baisse-de-notre-qi-24-06-2018-2230035_445.php#11, consulté le 20 mai 2023.
10) Anne Mangen, Bente R. Walgermo et Kolbjørn Brønnick (2013). Reading linear texts on paper versus computer screen: Effects on reading comprehension, International Journal of Educational Research, Vol. 58, pp. 61-68, DOI: https://doi.org/10.1016/j.ijer.2012.12.002,consulté le 13 août 2022.
11) Voir Benjamin Lee Whorf (1940). Science and Linguistics, Technology Review, avril, Vol. 42, No. 6, pp. 229-231 et 247-248.
12) Christophe Clavé (18 novembre 2019). Baisse du QI, appauvrissement du langage et ruine de la pensée, AGEFI, p. 2, https://drive.google.com/file/d/1Mepk_e3NGfnqw0d_ev9bsgqnz9OPhyfW, consulté le 20 mai 2023.
13) Selon Ethan Mollick. Voir Michael Chui (31 mai 2023). Forward Thinking on the brave new world of generative AI with Ethan Mollick, McKinsey Global Institute, https://www.mckinsey.com/mgi/forward-thinking/forward-thinking-on-the-brave-new-world-of-generative-ai-with-ethan-mollick, consulté le 7 juin 2023.
14) Voir Daniel Dugas (2022). How Deep is the machine? The Artificial Curiosity Series, https://dugas.ch/artificial_curiosity/GPT_architecture.html, consulté le 6 avril 2023.
15) Udemy published courses (6 février 2023). Introduction to how Chat Gpt and neural networks are working, https://cool-programmer.com/f/introduction-to-how-chat-gpt-and-neural-networks-are-working, consulté le 6 avril 2023.
16) L’information relative à GPT-4 est bien évidemment un canular. Personne ne sait combien de paramètres forment la base de GPT-4. Voir Alberto Romero (7 février 2023). GPT-4: A Viral Case of AI Misinformation - For those of you wondering, GPT-4 won’t have 100 trillion parameters, https://albertoromgar.medium.com/gpt-4-a-viral-case-of-ai-misinformation-c3f999c1f589, consulté le 8 juin 2023. D’autres ont affirmé être à l’origine de ce canular : Sur son blog Lex Fridman avait en fait prétendu sur son blog que GPT-4 était fort de 100 000 milliards de paramètres. L’information fut reprise telle quelle sans vérification et se propagea sur Twitter, Reddit et ailleurs sur tout le Web. Si bien que même Geoffrey Hinton, le spécialiste de l’IA qui avait démissionné de Google le crut. La confidence fut faite par Lex Fridman à Sam Altman dans son interview du 25 mars 2023 (à la minute 43:48). Par contre l’information relative à GPT-3.5 a été fournie par OpenAI dans l’article de Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever et Dario Amodei (28 mai 2020). Language Models are Few-Shot Learners, arXiv:2005.14165 et Advances in neural information processing systems, Vol. 33, pp. 1877-1901, https://arxiv.org/pdf/2005.14165.pdf, consulté le 10 juin 2023.
17) 100 milliards de neurones selon Mindy Weisberger (5 novembre 2018). A New Supercomputer Is the World’s Fastest Brain-Mimicking Machine, https://www.scientificamerican.com/article/a-new-supercomputer-is-the-worlds-fastest-brain-mimicking-machine/, consulté le 27 janvier 2019.
18) Estimées à plus de 100.000 milliards de connexions neuronales en moyenne.
19) De même que Stuart Russell, un autre expert en IA qui dans une vidéo enregistrée pour le World Economic Forum y fait également allusion. Voir à la minute 1:04 de World Economic Forum (24 mai 2023). Leading AI expert Stuart J Russell explains why putting guardrails in place is imperative right now, https://www.linkedin.com/posts/world-economic-forum_leading-ai-expert-stuart-j-russell-explains-activity-7066805142297141250-kHLA, consulté le 25 mai 2023.
20) Voir à la minute 10:00 de Joseph Raczynski (4 mai 2023). Possible End of Humanity from AI? Geoffrey Hinton at MIT Technology Review's EmTech Digital, Cambridge, https://www.youtube.com/watch?v=sitHS6UDMJc, consulté le 9 mai 2023.
21) Selon l’explication donnée par Lex Fridman, Halluciner c’est avancer des choses qui sont totalement fausses mais qui sonnent parfaitement vraies. Voir à la minute 18:54 de Lex Fridman (22 juin 2023). Marc Andreessen: Future of the Internet, Technology, and AI | Lex Fridman Podcast #386, https://www.youtube.com/watch?v=-hxeDjAxvJ8, 25 juin 2023.
22) Ce quand bien même le taux d’ « hallucination » est en diminution: de 44% avec Bard, à 22% pour GPT-3.5 à 2% for GPT-4. Voir à ce propos Michael Chui (31 mai 2023). Forward Thinking on the brave new world of generative AI with Ethan Mollick, McKinsey Global Institute, https://www.mckinsey.com/mgi/forward-thinking/forward-thinking-on-the-brave-new-world-of-generative-ai-with-ethan-mollick, consulté le 7 juin 2023.
23) Quoiqu’on nous assure que GPT-4 est 40% plus susceptible de produire des réponses factuelles que GPT-3.5. Voir Megan Crouse (15 mars 2023). OpenAI debuts GPT-4 after year of training on Azure supercomputer, TechRepublic, https://www.techrepublic.com/article/openai-new-gpt-4-debut-azure/, consulté le 14 juin 2023.
24) Ils s’excusent même si on leur dit que leur réponse est fausse alors qu’elle est juste.
25) Berkeley EECS (19 avril 2023). John Schulman - Reinforcement Learning from Human Feedback: Progress and Challenges, https://www.youtube.com/watch?v=hhiLw5Q_UFg, consulté le 6 mai 2023.
26) Voir l’extrait [@56:40ff] de EAI (24 mai 2023) Special Online Webinar, From Machine Learning to Autonomous Intelligence, with Chief AI Scientist at Meta AI (FAIR), Yann LeCun, Institute for Experiential AI (EAI), Northeastern University, ISEC Auditorium, à 18h-19h35 heure tunisienne, https://northeastern.us5.list-manage.com/track/click?u=9ef9918bc463347ea96511ca9, visionné le 24 mai 2023.
27) Faustine Ngila (17 avril 2023). A Google AI model developed a skill it wasn't expected to have - Google CEO Sundar Pichai said the company’s experts call this aspect of AI a “black box”, https://qz.com/google-ai-skills-sundar-pichai-bard-hallucinations-1850342984, consulté le 16 juin 2023.
28) La propagation du mensonge est six fois plus rapide que n’importe quelle autre type d’information. Voir Soroush Vosoughi, Deb Roy et Sinan Aral (9 mars 2018). The spread of true and false news online, Science 359, pp. 1146–1151, https://www.purdue.edu/hhs/consortium/article-collection/Politics/2018.%20Vosoughi%20et%20al.%20The%20spread%20of%20true%20and%20false%20news%20online.pdf, consulté le 28 avril 2023 et Chris Stokel-Walker (8 mars 2018). Fake news travels six times faster than the truth on Twitter, New Scientist, https://www.newscientist.com/article/2163226-fake-news-travels-six-times-faster-than-the-truth-on-twitter/, consulté le 28 avril 2023.
29) Gary F. Bradshaw, Patrick W. Langley et Herbert A. Simon (1983). Studying Scientific Discovery by Computer Simula¬tion. Science, Vol. 222, No. 4627, pp. 971-975, https://pdfs.semanticscholar.org/3a5b/21667703c5f79aa1049fb50d501196109d61.pdf, consulté le 10 juillet 2018.
30) Vahe Tshitoyan, John Dagdelen, Leigh Weston, Alexander Dunn, Ziqin Rong, Olga Kononova, Kristin A. Persson, Gerbrand Ceder et Anubhav Jain (2019). Unsupervised word embeddings capture latent knowledge from materials science literature. Nature, Vol. 571, pp. 95–98. https://doi.org/10.1038/s41586-019-1335-8, consulté le 7 juin 2023.
31) Oren Etzioni (25 février 2020). How to know if artificial intelligence is about to destroy civilization, MIT Technology Review, https://www.technologyreview.com/s/615264/artificial-intelligence-destroy-civilization-canaries-robot-overlords-take-over-world-ai/, consulté le 26 février 2020.
32) Bizarrement appelé CARL (Cerveau Analytique de Recherche et de Liaison) dans la version française.
33) Jo Marchant (20 février 2020). Powerful antibiotics discovered using AI, Nature, doi: https://doi.org/10.1038/d41586-020-00018-3, consulté le 7 juin 2023.
34) Pakinam Amer (25 février 2021). Machine Learning Pwns Old-School Atari Games, Scientific American, https://www.scientificamerican.com/podcast/episode/gamer-machine-learning-vanquishes-old-school-atari-games/, consulté le 7 juin 2023 et Tim Hornyak (25 février 2021). Google AI program masters classic Atari video games, Computerworld, https://www.computerworld.com/article/2889434/google-ai-program-masters-classic-atari-video-games.html, consulté le 7 juin 2023.
35) Alhussein Fawzi, Matej Balog, Aja Huang, Thomas Hubert, Bernardino Romera-Paredes, Mohammadamin Barekatain, Alexander Novikov, Francisco J. R. Ruiz, Julian Schrittwieser, Grzegorz Swirszcz, David Silver, Demis Hassabis et Pushmeet Kohli (2022). Discovering faster matrix multiplication algorithms with reinforcement learning, Nature, Vol. 610, pages 47-53, https://doi.org/10.1038/s41586-022-05172-4 ou https://github.com/deepmind/alphatensor, consulté le 27 avril 2023.
36) Faustine Ngila (17 avril 2023). A Google AI model developed a skill it wasn't expected to have - Google CEO Sundar Pichai said the company’s experts call this aspect of AI a “black box”, https://qz.com/google-ai-skills-sundar-pichai-bard-hallucinations-1850342984, consulté le 16 juin 2023 et Stephen M. Lepore (17 avril 2023). Google CEO says he doesn't 'fully understand' how new AI program Bard works after it taught itself a foreign language it was not trained to and cited fake books to solve an economics problem, https://www.dailymail.co.uk/news/article-11980033/Google-CEO-says-doesnt-fully-understand-new-AI-program-Bard-works.html, consulté le 16 juin 2023.
37) Irving John Gould (1965). Speculations Concerning the First Ultraintelligent Machine, Advances in Computers, Vol. 6, pp. 31-88, http://acikistihbarat.com/dosyalar/artificial-intelligence-first-paper-on-intelligence-explosion-by-good-1964-acikistihbarat.pdf, consulté le 22 février 2020.
38) Une caractéristique des réseaux de neurones intitulée RNN, pour «Recurrent neural network».
39) Voir l’article de Noah Shinn, Beck Labash et Ashwin Gopinath (2023). Reflexion: an autonomous agent with dynamic memory and self-reflection, https://www.arxiv-vanity.com/papers/2303.11366/, consulté le 14 avril 2023.
40) Voir à ce propos le livre de Stephen Wolfram, inventeur de Wolfram Mathematica et de WolframAlpha, What is ChatGPT doing... and why does it work? publié en 2023 aux éditions Wolfram Media, un livre où l'auteur qui est un mathématicien et un logicien rompu se pose les mêmes questions et tente parfois d'y apporter des réponses.
41) Stephen M. Lepore (17 avril 2023). Google CEO says he doesn't 'fully understand' how new AI program Bard works after it taught itself a foreign language it was not trained to and cited fake books to solve an economics problem, https://www.dailymail.co.uk/news/article-11980033/Google-CEO-says-doesnt-fully-understand-new-AI-program-Bard-works.html, consulté le 16 juin 2023.
42) Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean et William Fedus (2022). Emergent Abilities of Large Language Models, Transactions on Machine Learning Research (08/2022), https://openreview.net/pdf?id=yzkSU5zdwD, consulté le 20 avril 2023.
43) Voir Sebastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Marco Tulio Ribeiro et Yi Zhang (13 avril 2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4, arXiv:2303.12712v5 [cs.CL], https://arxiv.org/pdf/2303.12712.pdf, consulté le 21 avril 2023.
44) Ici 52 psychologues s’étaient accordés sur le même entendement de l’intelligence dans un article publié en 1994 dans le Wall Street Journal : The Wall Street Journal (1994) Mainstream Science on Intelligence, WSJ, Vol. 24, No. 1, 13 décembre, https://www1.udel.edu/educ/gottfredson/reprints/1994WSJmainstream.pdf, ou https://www1.udel.edu/educ/gottfredson/reprints/1997mainstream.pdf, consulté le 16 avril 2023.
45) Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean et William Fedus (2022). Emergent Abilities of Large Language Models, Transactions on Machine Learning Research (08/2022), https://openreview.net/pdf?id=yzkSU5zdwD, consulté le 20 avril 2023.
46) Will Knight (17 avril 2023). OpenAI’s CEO Says the Age of Giant AI Models Is Already Over, Wired, https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/, consulté le 14 juin 2023.
47) Affirmation faite par des chercheurs de DeepMind à propos de leur propre modèle Chinchilla. Nous émettons par conséquent des réserves quant à la validité objective de cette affirmation. Des plus, Chinchilla n’est encore pas accessible pour le grand public. Voir Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals et Lau (29 mars 2022). Training Compute-Optimal Large Language Models, arXiv:2203.15556v1 [cs.CL] 29 Mar 2022, https://arxiv.org/pdf/2203.15556.pdf, consulté le 14 juin 2023.
48) Marc Prensky (2001). Digital Natives, Digital Immigrants Part 1, On the Horizon, Vol. 9, No. 5, 1-6 octobre, http://doi.org/10.1108/10748120110424816, consulté le 12 août 2022.
49) La source de ces statistiques est DataRePortal (19 février 2023). Snapchat Statistics and Tends, https://datareportal.com/essential-snapchat-stats, consulté le 20 avril 2023.
50) Edward W. Felten, Manav Raj et Robert Seamans (1er mars 2023). How will Language Modelers like ChatGPT Affect Occupations and Industries? https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4375268, consulté le 3 avril 2023.
51) Au tout début de ChatGPT, des écoles, notamment à New York et District of Columbia.
52) Quoiqu’étrangement, mon expérience d’enseignant m’a convaincu que ces outils sont rarement utilisés par les étudiants. Mais ils utilisent d’autres outils, tels que Quill et Grammarly.
53) Marc Andreessen (6 juin 2023). Why AI Will Save the World, https://a16z.com/2023/06/06/ai-will-save-the-world/, consulté le 6 juillet 2023.
54) Daniel M. Wegner (1986), Transactive Memory: A Contemporary Analysis of the Group Mind. Theories of Group Behavior, in B. Mullen & C.R. Goethals (Editions). NY: Spring-Verlag, pp. 185-208.
- Ecrire un commentaire
- Commenter