L'essor de l'ouverture

Dec 15, 2023

Seth Grief-Albert

Suivre

Examen de la technologie QMIND

--

Écouter

Partager

La technologie est un phénomène intéressant. Il peut exister sous une forme ou une autre pendant un bon moment, caché ou inaccessible, jusqu'au jour où il semble émerger complètement formé et est alors consommé avec voracité par le public. La nouvelle ruée vers l'or du 21e siècle est à nos portes. L'ère de l'intelligence artificielle (IA) commercialisée s'accélère et, avec elle, la bataille pour son pouvoir et ses profits potentiels est menée.

L'« IA » qui a atteint une prévalence extraordinaire est plus justement étiquetée comme son sous-ensemble spécifique, les grands modèles de langage (LLM), mais la culture populaire a une façon d'attribuer des mots à la mode qui collent à l'ensemble du domaine. Beaucoup ont peut-être entendu parler de "cette nouvelle technologie d'IA" pour la première fois par les médias ou par un membre de la famille plutôt que par leur fil Twitter habituel ou leur blog technique - telle est la vitesse de sa diffusion sur le marché. Le domaine de l'IA fait des progrès incroyables depuis des années, mais le point d'explosion des consommateurs semble avoir été du début à la mi-décembre 2022, lorsque OpenAI a rendu public ChatGPT sur une page Web. Le tableau suivant parle de lui-même :

Il est clair que les gens ont soif d'interagir avec et d'utiliser la technologie de l'IA. Imaginez-vous en tant que développeur qui voit ce visuel, ou dirigeant d'une société technologique géante, ou fondateur d'une startup. Empruntant à l'histoire, nous pouvons comparer l'ère actuelle de l'IA à la période médiévale. Les dirigeants détenaient le pouvoir et les richesses et gardaient leurs châteaux, tandis que les roturiers étaient exclus. De temps en temps, des barbares itinérants tentaient d'usurper les dirigeants. Les grandes entreprises (Google, Meta, Microsoft, etc.) prennent place dans la salle du trône, tandis que les développeurs et les universitaires jouent le rôle d'outsider. Comment se déroule cette histoire ? Revenons au début de 2023.

ChatGPT était sorti depuis plus d'un mois et le battage médiatique autour des grands modèles de langage battait son plein. Mais qu'est-ce qu'un LLM exactement? Ils sont à l'origine des « modèles de base » ou des algorithmes spécialisés qui ont subi de longues périodes de formation sur de grandes quantités de données textuelles. Le résultat de ce processus est un modèle qui peut répondre aux requêtes linguistiques avec des réponses raisonnables. Ces modèles ont un grand nombre de pondérations et de paramètres qui, pour nos besoins, peuvent être considérés comme l'ensemble des modèles appris lors de la formation. Ces poids et paramètres sont malléables et peuvent être affinés. Ici, les LLM sont exposés à une tâche plus spécifique que la reconstruction générale du texte. La tâche affinée la plus populaire que nous ayons vue jusqu'à présent a été la conversation naturelle, mais un finaliste est que le modèle de langage suive les instructions textuelles.

Le modèle de base de ChatGPT est GPT-3, qui a été amélioré pour interagir de manière conversationnelle à l'aide de l'apprentissage par renforcement avec rétroaction humaine (RLHF), devenant GPT-3.5. Essentiellement, de vraies personnes ont parcouru un tas de réponses que le LLM avait données et ont sélectionné celles qui ressemblaient le plus à des conversations réelles. Cette mise au point humaine dans la boucle a transformé un modèle de texte prédictif (qui existait déjà depuis plus d'un an) en la merveille mondiale que nous connaissons aujourd'hui. Le réglage fin est un outil puissant qui peut transformer le chaos des données en un semblant d'ordre.

Mais OpenAI n'était pas le seul acteur du jeu. Travaillant tranquillement, Meta préparait la sortie de son propre modèle de fondation. Le 24 février 2023, LLaMA (Large Language Model Meta AI) a été lancé dans le monde. Il n'a pas fallu longtemps pour que les choses se gâtent.

Avance rapide moins d'une semaine. L'après-midi du 2 mars 2023 a marqué un nouveau départ pour la décentralisation de l'IA : un fichier contenant les poids de LLaMA a été divulgué au public par un utilisateur anonyme sur le site de médias sociaux 4chan. Cela a provoqué une explosion d'intérêt qui a pris d'assaut le monde de l'IA. Il n'a pas fallu beaucoup de temps pour que les poids se frayent un chemin à travers Internet dans le territoire de GitHub et HuggingFace - essentiellement la première page d'Internet des logiciels et de l'IA respectivement.

Les vannes avaient été ouvertes. Avec les poids de LLaMA à portée de main de tous, n'importe qui peut puiser dans la puissance du modèle de base mis entre ses mains. Les logiciels open source sont accessibles aux particuliers pour développer du code sur un réseau mondial. Pensez à Wikipédia où n'importe qui dans le monde peut éditer une encyclopédie massive - l'encyclopédie de logiciels open source peut plutôt être considérée comme une base de code décentralisée. Il est public et anti-cloisonné, ce qui le rend accessible et donc incroyablement populaire pour les développeurs de logiciels du monde entier. C'est également la boîte de Pétri idéale pour l'expérimentation de l'IA.

Stanford n'a pas tardé à participer à l'action LLaMA. Depuis la fuite initiale, ils avaient travaillé pendant un peu plus d'une semaine pour affiner le modèle de langage, le baptisant ALPACA et le publiant le 13 mars. Pour le coût incroyablement bas de 600 $, ils avaient effectivement obtenu des résultats de pointe en matière de suivi d'instructions, une branche populaire de la modélisation du langage. Mais ils étaient toujours liés par le droit d'auteur de Meta, n'est-ce pas ? Bon type de. Parallèlement à ALPACA, les nouveaux poids ont incité à adopter un réglage fin de rang inférieur, ce qui a permis de se libérer des droits de propriété de Meta. Cette stratégie a permis à quiconque de répéter le processus de Stanford sur du matériel grand public dans un laps de temps remarquablement court : nous parlons d'un ordinateur costaud et de quelques heures.

Dans un assaut d'applications basées sur LLaMA, un groupe de développeurs établi appelé Nomic AI a publié un projet monumental, GPT4All :

GPT4All est un écosystème permettant de former et de déployer de grands modèles de langage puissants et personnalisés qui s'exécutent localement sur des processeurs grand public.

– IA Nomique

Désormais, avec cet écosystème open source amorcé à partir de modèles de langage récoltés et de données malveillantes, encore plus de personnes pourraient créer pour elles-mêmes. Vous souhaitez exécuter un LLM sans avoir à vous connecter à Internet ? Tu l'as eu. Confidentialité? Intégré.

Tout était en plein essor dans l'Open-source avec cette extravagance d'IA - devenant plus rapide, moins chère et de plus en plus distribuée de jour en jour. Cela a attiré l'attention de certains grands joueurs. Le 4 mai, un document interne de Google a fuité, intitulé "Nous n'avons pas de douves et ni l'un ni l'autre ne OpenAI". L'avis d'un chercheur de l'institution, il a relaté le rythme rapide du développement du LLM depuis le début de 2023 et a expliqué pourquoi l'Open-source est en concurrence directe avec la recherche Google (ou plus précisément, Google Deepmind). Le "fossé" titulaire se rattache merveilleusement à notre analogie avec le château médiéval : comment les grandes sociétés technologiques sont-elles censées défendre leurs avancées en matière d'IA alors que le monde de l'open source semble les dépasser ?

"Nous avons plus besoin d'eux qu'ils n'ont besoin de nous"

Mettez-vous dans la peau d'un chercheur en intelligence artificielle chez Google. En suivant de près l'accélération de la recherche sur l'IA open source, avec des échelles de temps de jours et de semaines, vous pourriez vous sentir laissé pour compte dans le cadre d'une entreprise massive perçue comme travaillant à un rythme plus lent et plus délibéré. Car c'est ainsi qu'une grande entreprise est structurée : analyse de marché intense, conformité à la politique existante, impératifs stratégiques. Il est sûrement difficile de résister au tourbillon omniprésent du battage médiatique de l'IA.

De par leur nature, les entreprises privées isolent les talents pour conserver un avantage concurrentiel. OpenAI a commencé comme une organisation à but non lucratif, transmettant des recherches destinées au public, alors qu'aujourd'hui, en tant qu'organisation privée, ils gardent leurs précieux progrès pour eux-mêmes. Mais le silo métaphorique de la Big Tech est-il réellement menacé ? Le château est-il voué à être envahi par des barbares Open-source, ou plus catastrophiquement, rendu obsolète ?

Au contraire, je crois que ces châteaux sont naturellement bien défendus. Il serait peut-être irresponsable d'imaginer si tôt la fin de l'avantage concurrentiel de Big Tech. Passons en revue quelques « douves » qui solidifient les positions de ces géants sur le marché.

Utilisateurs: plus de la moitié de tous les humains actuellement en vie sont des utilisateurs de Google. Un nombre astronomique de personnes utilisent également les produits et services de Microsoft, Meta et maintenant OpenAI. Regardons les choses en face : la plupart des gens ne savent pas comment interagir avec les logiciels open source à la pointe de la technologie, et encore moins ce que signifie "forker un référentiel GitHub". Il a fallu une interface intuitive pour que ChatGPT fasse le tour du monde, et nous devons veiller à éviter de confondre progrès technologique et adoption de la technologie. Les gens sont habitués aux logiciels déjà présents dans leur vie. Même si les options tierces sont moins chères, plus avancées ou plus privées, la plupart feront confiance à l'emballage fiable qu'ils connaissent et apprécient.

L'accessibilité est extrêmement importante pour atteindre les consommateurs. Nous pouvons revenir sur une application récente d'IA de génération d'images qui en est un exemple : Lensa AI, qui a coïncidé avec la sortie de ChatGPT fin novembre 2022. Publié via une application de photographie préexistante, Lensa vous a permis de télécharger quelques photos de vous-même. et recevez un certain nombre d'avatars générés par l'IA. L'application a explosé et a réalisé un énorme profit en une période remarquablement courte. Il s'avère que ce même concept de photo à avatar existait déjà quelques semaines avant la sortie de Lensa - la différence était que la plate-forme de génération d'avatar déjà existante était sur un site Web, pas une application. Les consommateurs intéressés par l'IA de génération d'images ont été plus facilement atteints via leur appareil mobile, et non sur leur ordinateur. Fait intéressant, ce qui a entravé le marché de la génération d'images a permis aux LLM de prospérer ! OpenAI a déployé ChatGPT auprès du public via une simple page Web. Une explication plausible de cette différence de déploiement était le résultat final pour l'utilisateur. Générer un avatar cool à envoyer à vos amis est plus facile sur votre téléphone, tandis qu'obtenir un programme comme ChatGPT pour faire vos devoirs est plus pratique sur le Web. Microsoft a suivi l'exemple d'OpenAI et a publié Bing Chat via son navigateur pour une base d'utilisateurs de plusieurs millions.

Plates-formes informatiques : J'ai récemment entendu l'analogie selon laquelle si l'IA s'apparente à la locomotive, la puissance de calcul en est le charbon. Il peut être utile de revenir sur l'histoire de la révolution industrielle. Qui devenait riche ? L'implantation industrielle était certes lucrative, mais pensez aussi aux grandes exploitations charbonnières si caractéristiques de l'époque ! La réalité de l'hébergement de grands modèles d'IA est qu'ils nécessitent une abondance d'énergie et une infrastructure robuste. Les seuls acteurs réellement capables d'héberger une demande aussi extrême sont les grandes entreprises technologiques : Google avec son Cloud, Microsoft Azure et Amazon AWS. Même dans un cas où la recherche open source dépasse n'importe quel laboratoire d'IA individuel dans un style révolutionnaire, ces géants vendent les munitions.

Recherche et développement de classe mondiale : Les plus grandes sociétés technologiques ont snipé certains des meilleurs esprits dans divers domaines de l'IA. Ce qui différencie l'open source d'un laboratoire de recherche donné, c'est l'énorme volume de travail de qualité, qui, dans le cas des LLM, semble avoir un certain avantage sur une recherche plus concentrée d'une superbe qualité. Les meilleurs silos peuvent être incroyablement efficaces quand ils en ont besoin.

L'avantage concurrentiel des grandes entreprises technologiques est qu'elles recherchent les profits comme tous les coûts. Ce sont des machines qui travaillent en permanence pour transformer les données en revenus. Il devient clair que, du moins dans l'esprit de ces entreprises, les communautés de développeurs voyous ne leur feront pas obstacle. Avec tous les utilisateurs de confiance qu'ils pourraient souhaiter, le pouvoir d'héberger et de distribuer des modèles et la promesse de la prochaine génération de recherche sur l'IA, il serait naïf de professer la chute imminente de ces bastions fortifiés par la concurrence.

L'état des progrès de l'IA doit être pris en compte. Les LLM sont construits sur des modèles de transformateurs, et les progrès autour de ces modèles ne font qu'effleurer la surface du potentiel. Les transformateurs ont été présentés au monde grâce à l'article fondateur de 2017 "Attention Is All You Need". Il peut être utile d'imaginer que la recherche consiste à grimper sur un arbre, l'arbre transformateur apparaissant assez grand et portant beaucoup de fruits.

Bien que lucratif maintenant, un nouvel arbre devra peut-être être planté : celui qui inaugure la prochaine génération de modèle de fondation et les modifications qui l'accompagnent. Sur la voie de l'augmentation des capacités générales de l'intelligence artificielle, peut-être que les modèles de langage ne sont pas la panacée. Dans un scénario où le battage médiatique autour de ces modèles s'éteindrait, je miserais mon argent sur des laboratoires de recherche dans des institutions comme Google et OpenAI faisant de nouvelles avancées, ne serait-ce que pour le fait qu'une énormité de travaux révolutionnaires en a déjà émergé.

Depuis la fuite du document le 4 mai, beaucoup de choses se sont passées en ce qui concerne la stratégie de déploiement de Google. Lors du récent I/O, un événement annuel de vitrine pour les développeurs, l'IA était un thème principal :

Prédire l'avenir de l'IA sur la base des connaissances actuelles est une tâche insaisissable. Existe-t-il un potentiel pour que le pouvoir de l'intelligence artificielle de pointe soit distribué entre les mains d'acteurs éthiques ? La formation des modèles de base est incroyablement coûteuse et presque entièrement réalisée par de grandes entreprises. Il semble peu probable que cela change radicalement dans un avenir prévisible. Si l'on se concentre sur l'acheminement de la recherche et de la technologie vers les consommateurs, il semble que ce soient les voies de livraison sur le marché qui importent le plus. Mais une distinction doit être faite : la recherche et le développement ne sont pas nécessairement alignés sur les objectifs de déploiement technologique. La Big Tech restera un acteur puissant, ne serait-ce que dans sa capacité à amener les gens à utiliser l'IA dans leur vie quotidienne.

Nous avons vu que lorsque l'accès à des ressources compétitives est accordé au public via l'Open-source, des progrès incroyables peuvent se produire extrêmement rapidement. Imaginez un monde où les chercheurs en IA pourraient amener plus rapidement leurs idées à la phase de mise en œuvre et consacrer plus d'efforts à s'attaquer à l'avant-garde de leurs domaines. Avec les bonnes lignes directrices, je pense que c'est préférable à un modèle de monopole d'entreprise sur la recherche de pointe.

Cela pose la question : de quel monde s'approche-t-on ? Les chercheurs et les développeurs continueront-ils à s'appuyer sur les géants de l'entreprise pour leur offrir des modèles de fondation ? Comment le paysage de l'IA open-source va-t-il évoluer et résistera-t-il à l'épreuve du temps ? Ces questions n'ont pas de réponses définitives. Si une chose est claire, c'est que nous ne sommes qu'au début de ce paradigme.

Toute route suivie précisément jusqu'au bout ne mène précisément nulle part. Escaladez un peu la montagne pour vérifier que c'est une montagne. Du haut de la montagne, vous ne pouvez pas voir la montagne.

– Frank Herbert | Dune

Si vous avez des questions ou des commentaires, n'hésitez pas à me contacter sur LinkedIn !

Cet article a été rédigé pour QMIND, la plus grande organisation dirigée par des étudiants au Canada dans le domaine des technologies perturbatrices et de l'intelligence artificielle.