
Microsoft AI propone MM-REACT: un sistema per il ragionamento e l'azione multimodali avanzati
I Large Language Models (LLM) stanno guidando notevoli trasformazioni economiche e sociali mentre continuano ad avanzare rapidamente. Tra i tanti strumenti di intelligenza artificiale (IA). rilasciato su internet, ChatGPT è diventato sempre più popolare negli ultimi mesi. ChatGPT è un modello di elaborazione del linguaggio naturale che genera testo significativo simile agli umani. Basato sull'architettura del trasformatore GPT, è alimentato dall'ultimo modello di linguaggio, GPT-4, sviluppato da OpenAI.
Anche la visione artificiale ha fatto passi da gigante grazie all'ultima tecnologia di intelligenza artificiale e machine Learning sviluppi, grazie al miglioramento dell'architettura di rete e all'addestramento di modelli su larga scala. Di recente, i ricercatori hanno introdotto MM-REACT, un paradigma di sistema che combina più esperti di visione con ChatGPT per un ragionamento e un'azione multimodali avanzati. Integrando i singoli modelli di visione con il modello linguistico in modo più flessibile, MM-REACT può superare le complicate sfide di comprensione visiva.
MM-REACT è progettato per affrontare un'ampia gamma di compiti visivi complessi che la vista esistente e modelli di linguaggio-visione lottare con. Per raggiungere questo obiettivo, MM-REACT utilizza un design rapido per rappresentare vari tipi di informazioni, come descrizioni di testo, coordinate spaziali testualizzate e segnali visivi densi, come immagini e video, rappresentati come nomi di file allineati. Questo design consente a ChatGPT di accettare ed elaborare diversi tipi di informazioni in combinazione con input visivi, per una comprensione più accurata e completa.
MM-REACT combina le capacità di ChatGPT con un pool di esperti di visione per aggiungere funzionalità multimodali. Il percorso del file viene utilizzato come segnaposto e immesso in ChatGPT per consentire al sistema di accetta immagini come input.
Ogni volta che il sistema richiede informazioni specifiche dall'immagine, come l'identificazione del nome di una celebrità o delle coordinate di una casella, ChatGPT chiede aiuto a uno specifico esperto di visione. L'output dell'esperto viene quindi serializzato come testo e combinato con l'input per attivare ulteriormente ChatGPT. Se non sono richiesti esperti esterni, la risposta viene restituita direttamente all'utente.
Per consentire a ChatGPT di comprendere l'utilizzo degli esperti di visione, sono state aggiunte istruzioni relative alla capacità di ogni esperto, al tipo di argomento di input e al tipo di output, insieme ad alcuni esempi contestualizzati per ogni esperto, ai prompt di ChatGPT. Inoltre, è stata istruita una speciale parola d'ordine per utilizzare la corrispondenza delle espressioni regex per invocare di conseguenza l'esperto.
Gli esperimenti zero-shot hanno dimostrato come MM-REACT affronti efficacemente le sue particolari capacità di interesse. Si è dimostrato efficiente nel risolvere un'ampia gamma di compiti visivi avanzati che richiedono una comprensione visiva complessa. Ad esempio, MM-REACT può fornire soluzioni a equazioni lineari visualizzate su un'immagine ed eseguire la comprensione del concetto nominando i prodotti nell'immagine e i loro ingredienti, tra le altre cose. In conclusione, questo paradigma di sistema combina notevolmente competenza linguistica e visiva ed è in grado di raggiungere un'intelligenza visiva avanzata.














