Apple a présenté OpeELM, une nouvelle famille de grands modèles de langage (LLM) basés sur l'intelligence artificielle (IA) qui peuvent fonctionner efficacement sur des appareils personnels tels que des ordinateurs portables ou des smartphones.
OpeELM est disponible en quatre tailles. Ses versions sont capables de comprendre et de gérer entre 270 millions et 3 000 millions de paramètres ou instructions complexes. Chaque algorithme propose une version entraînée et une version optimisée pour les instructions. Le premier est utile pour produire un texte cohérent grâce à un processus prédictif, basé sur des données de pré-formation.
La seconde permet d'ajouter des informations personnalisées afin que le système réponde avec des résultats plus pertinents aux demandes spécifiques des utilisateurs.
La nouvelle famille de modèles d'IA d'Apple est disponible sur HuggingFace sous une licence open source qui permet les utilisations commerciales et la modification des algorithmes. https://t.co/lzmmgS1ioI
– WIRED en espagnol (@wiredenespanol) 26 avril 2024
OpenELM ne nécessite pas de connexion constante aux serveurs cloud, contrairement aux autres LLM. Il peut être exécuté entièrement sur un appareil portable, ce qui suggère des temps de réponse plus rapides et de meilleures garanties de confidentialité.
La nouvelle famille de modèles d'IA d'Apple utilise une stratégie de mise à l'échelle à plusieurs niveaux. Cela signifie que le nombre de paramètres dans chaque couche du modèle transformateur est ajusté indépendamment, plutôt que d’utiliser une approche uniforme pour l’ensemble du modèle.
L'entreprise assure qu'avec cette technique, il est possible d'obtenir des résultats plus précis et avec moins de consommation de ressources informatiques. « Dans sa version à 1 milliard de paramètres, OpenELM montre une amélioration de 2,36 % en précision par rapport à OLMo et nécessite deux fois moins de paramètres. jetons pré-formation. OLMo est le dernier LLM conçu par l'Allen Institute for AI.
Les ingénieurs Apple ont testé l'efficacité d'OpenELM sur un MacBook Pro doté d'une puce M2 Max et de 64 Go de RAM, sur un ordinateur équipé d'un processeur Intel Core i9-13900KF avec 64 Go de RAM et d'un GPU NVIDIA RTX 4090. Les résultats ont été satisfaisants en termes de performances. précision et raisonnement.
La variante OpenELM à 3 milliards de paramètres a atteint une précision de réponse de 42,2 % sur l'indicateur ARC-C, conçu pour évaluer les connaissances et les capacités de raisonnement des modèles d'IA. Il a obtenu 26,7 % dans le benchmark MMLU qui évalue la compréhension linguistique des algorithmes, et 73,2 % dans HellaSwag, un benchmark qui détermine la capacité de raisonnement de bon sens des systèmes d'IA.
OpenELM est disponible sur HuggingFace sous une licence open source, qui permet les utilisations commerciales et la modification des algorithmes.
Cependant, Apple prévient que sa nouvelle famille d'IA « est mise à disposition sans aucune garantie de sécurité. « Par conséquent, il est possible que ces modèles produisent des résultats inexacts, préjudiciables, biaisés ou répréhensibles en réponse aux commentaires des utilisateurs. »
