Microsoft AI propune MM-REACT: Un sistem pentru raționament și acțiune multimodală avansată

Modelele lingvistice mari (LLM) generează transformări economice și sociale notabile, deoarece continuă să avanseze rapid. Printre multe instrumente de inteligență artificială (AI). lansat pe internet, Chat GPT a devenit din ce în ce mai popular în ultimele luni. ChatGPT este un model de procesare a limbajului natural care generează text semnificativ similar cu oamenii. Bazat pe arhitectura transformatorului GPT, este alimentat de cel mai recent model de limbaj, GPT-4, dezvoltat de OpenAI.

Viziunea computerizată a avansat, de asemenea, exponențial cu cea mai recentă Inteligență Artificială și Invatare mecanica dezvoltări, datorită arhitecturii de rețea îmbunătățite și instruirii pe scară largă a modelelor. Recent, cercetătorii au a introdus MM-REACT, o paradigmă de sistem care combină mai mulți experți în viziune cu ChatGPT pentru raționament și acțiune multimodală avansată. Prin integrarea modelelor individuale de vedere cu modelul de limbaj într-un mod mai flexibil, MM-REACT poate depăși provocările complicate de înțelegere vizuală.

MM-REACT este conceput pentru a aborda o gamă largă de sarcini vizuale complexe pe care viziunea existentă și modele viziune-limbaj lupta cu. Pentru a realiza acest lucru, MM-REACT folosește design prompt pentru a reprezenta diferite tipuri de informații, cum ar fi descrieri de text, coordonate spațiale textualizate și semnale vizuale dense, cum ar fi imagini și videoclipuri, reprezentate ca nume de fișiere aliniate. Acest design permite ChatGPT să accepte și să proceseze diferite tipuri de informații în combinație cu introducerea vizuală, conducând la o înțelegere mai precisă și mai cuprinzătoare.

MM-REACT combină abilitățile ChatGPT cu un grup de experți în viziune pentru a adăuga funcționalități multimodale. Calea fișierului este folosită ca substituent și introdusă în ChatGPT pentru a permite sistemului accepta imagini ca intrare.

Ori de câte ori sistemul necesită informații specifice din imagine, cum ar fi identificarea numelui unei celebrități sau a coordonatelor casetei, ChatGPT solicită ajutor de la un anumit expert în viziune. Ieșirea expertului este apoi serializată ca text și combinată cu intrarea pentru a activa în continuare ChatGPT. Dacă nu sunt necesari experți externi, răspunsul este returnat direct utilizatorului.

Pentru a permite ChatGPT să înțeleagă modul de utilizare al experților în viziune, instrucțiuni legate de capacitatea fiecărui expert, tipul de argument de intrare și tipul de ieșire, împreună cu câteva exemple în context pentru fiecare expert, au fost adăugate la solicitările ChatGPT. Mai mult decât atât, un cuvânt de ordine special este instruit pentru a utiliza potrivirea expresiei regex cu invoca expertul in consecinta.

Experimentele zero-shot au demonstrat modul în care MM-REACT abordează eficient capacitățile sale de interes. S-a dovedit eficient în rezolvarea unei game largi de sarcini vizuale avansate care necesită înțelegere vizuală complexă. De exemplu, MM-REACT poate oferi soluții pentru ecuațiile liniare afișate pe o imagine și poate realiza înțelegerea conceptului prin denumirea produselor din imagine și a ingredientelor acestora, printre altele. În concluzie, această paradigmă de sistem combină foarte mult limbajul și expertiza viziunii și este capabilă să obțină o inteligență vizuală avansată.