IA Microsoft MM-REACT
Blog

Microsoft AI propose MM-REACT : un système de raisonnement et d'action multimodal avancé

Les grands modèles linguistiques (LLM) sont à l'origine de transformations économiques et sociales notables à mesure qu'ils continuent de progresser rapidement. Parmi de nombreux outils d'intelligence artificielle (IA) publié sur Internet, ChatGPT est devenu de plus en plus populaire ces derniers mois. ChatGPT est un modèle de traitement du langage naturel qui génère du texte significatif similaire à celui des humains. Basé sur l'architecture du transformateur GPT, il est alimenté par le dernier modèle de langage, GPT-4, développé par OpenAI.

La vision par ordinateur a également progressé de manière exponentielle grâce aux dernières avancées en matière d'intelligence artificielle et Machine Learning développements, grâce à une architecture réseau améliorée et à la formation de modèles à grande échelle. Récemment, les chercheurs ont Présentation de MM-REACT, un paradigme système qui combine plusieurs experts en vision avec ChatGPT pour un raisonnement et une action multimodaux avancés. En intégrant des modèles de vision individuels au modèle de langage de manière plus flexible, MM-REACT peut surmonter des défis complexes de compréhension visuelle.

MM-REACT est conçu pour s'attaquer à une large gamme de tâches visuelles complexes qui nécessitent une vision et une modèles de langage de vision Pour y parvenir, MM-REACT utilise une conception rapide pour représenter différents types d'informations, telles que des descriptions textuelles, des coordonnées spatiales textualisées et des signaux visuels denses, tels que des images et des vidéos, représentés sous forme de noms de fichiers alignés. Cette conception permet à ChatGPT d'accepter et de traiter différents types d'informations en combinaison avec un apport visuel, conduisant à une compréhension plus précise et plus complète.

MM-REACT combine les capacités de ChatGPT avec un pool d'experts en vision pour ajouter des fonctionnalités multimodales. Le chemin du fichier est utilisé comme espace réservé et saisi dans ChatGPT pour permettre au système de accepter des images en entrée.

Chaque fois que le système a besoin d'informations spécifiques sur l'image, comme l'identification d'un nom de célébrité ou des coordonnées d'une boîte, ChatGPT fait appel à un expert en vision spécifique. La sortie de l'expert est ensuite sérialisée sous forme de texte et combinée à l'entrée pour activer ChatGPT. Si aucun expert externe n'est requis, la réponse est directement renvoyée à l'utilisateur.

Pour permettre à ChatGPT de comprendre l'utilisation des experts en vision, des instructions relatives à la capacité de chaque expert, au type d'argument d'entrée et au type de sortie, ainsi que quelques exemples contextuels pour chaque expert, ont été ajoutées aux invites de ChatGPT. De plus, un mot d'ordre spécial est indiqué pour utiliser la correspondance d'expression regex pour faire appel à l’expert en conséquence.

Des expériences de tirs nuls ont démontré comment MM-REACT exploite efficacement ses capacités particulières d'intérêt. Il s'est avéré efficace pour résoudre un large éventail de tâches visuelles avancées nécessitant une compréhension visuelle complexe. Par exemple, MM-REACT peut fournir des solutions à des équations linéaires affichées sur une image et réaliser une compréhension de concept en nommant des produits dans l'image et leurs ingrédients, entre autres choses. En conclusion, ce paradigme système combine parfaitement l'expertise linguistique et visuelle et est capable d'atteindre une intelligence visuelle avancée.

Quelle est votre réaction ?

Excité
0
Joyeux
0
Amoureux
0
Pas sûr
0
Idiot
0
David Green
David est un chercheur scientifique originaire du Royaume-Uni. Passionné par l'intelligence artificielle, il est toujours à la recherche de moyens nouveaux et innovants pour appliquer cette technologie. Lorsqu'il ne travaille pas, il aime jouer de la guitare et composer sa propre musique.

    Encore

    Plus dans:Blog