Microsoft AI MM-REACT
Blog

Microsoft AI propone MM-REACT: un sistema per il ragionamento e l'azione multimodali avanzati

I Large Language Models (LLM) stanno guidando notevoli trasformazioni economiche e sociali mentre continuano ad avanzare rapidamente. Tra i tanti strumenti di intelligenza artificiale (IA). rilasciato su internet, ChatGPT è diventato sempre più popolare negli ultimi mesi. ChatGPT è un modello di elaborazione del linguaggio naturale che genera testo significativo simile agli umani. Basato sull'architettura del trasformatore GPT, è alimentato dall'ultimo modello di linguaggio, GPT-4, sviluppato da OpenAI.

Anche la visione artificiale ha fatto passi da gigante grazie all'ultima tecnologia di intelligenza artificiale e machine Learning sviluppi, grazie al miglioramento dell'architettura di rete e all'addestramento di modelli su larga scala. Di recente, i ricercatori hanno introdotto MM-REACT, un paradigma di sistema che combina più esperti di visione con ChatGPT per un ragionamento e un'azione multimodali avanzati. Integrando i singoli modelli di visione con il modello linguistico in modo più flessibile, MM-REACT può superare le complicate sfide di comprensione visiva.

MM-REACT è progettato per affrontare un'ampia gamma di compiti visivi complessi che la vista esistente e modelli di linguaggio-visione lottare con. Per raggiungere questo obiettivo, MM-REACT utilizza un design rapido per rappresentare vari tipi di informazioni, come descrizioni di testo, coordinate spaziali testualizzate e segnali visivi densi, come immagini e video, rappresentati come nomi di file allineati. Questo design consente a ChatGPT di accettare ed elaborare diversi tipi di informazioni in combinazione con input visivi, per una comprensione più accurata e completa.

MM-REACT combina le capacità di ChatGPT con un pool di esperti di visione per aggiungere funzionalità multimodali. Il percorso del file viene utilizzato come segnaposto e immesso in ChatGPT per consentire al sistema di accetta immagini come input.

Ogni volta che il sistema richiede informazioni specifiche dall'immagine, come l'identificazione del nome di una celebrità o delle coordinate di una casella, ChatGPT chiede aiuto a uno specifico esperto di visione. L'output dell'esperto viene quindi serializzato come testo e combinato con l'input per attivare ulteriormente ChatGPT. Se non sono richiesti esperti esterni, la risposta viene restituita direttamente all'utente.

Per consentire a ChatGPT di comprendere l'utilizzo degli esperti di visione, sono state aggiunte istruzioni relative alla capacità di ogni esperto, al tipo di argomento di input e al tipo di output, insieme ad alcuni esempi contestualizzati per ogni esperto, ai prompt di ChatGPT. Inoltre, è stata istruita una speciale parola d'ordine per utilizzare la corrispondenza delle espressioni regex per invocare di conseguenza l'esperto.

Gli esperimenti zero-shot hanno dimostrato come MM-REACT affronti efficacemente le sue particolari capacità di interesse. Si è dimostrato efficiente nel risolvere un'ampia gamma di compiti visivi avanzati che richiedono una comprensione visiva complessa. Ad esempio, MM-REACT può fornire soluzioni a equazioni lineari visualizzate su un'immagine ed eseguire la comprensione del concetto nominando i prodotti nell'immagine e i loro ingredienti, tra le altre cose. In conclusione, questo paradigma di sistema combina notevolmente competenza linguistica e visiva ed è in grado di raggiungere un'intelligenza visiva avanzata.

Qual è la tua reazione?

Eccitato
0
Contento
0
In amore
0
Non sono sicuro
0
Sciocco
0
David Green
David è uno scienziato ricercatore del Regno Unito. Con un vivo interesse per l'intelligenza artificiale, è sempre alla ricerca di modi nuovi e innovativi per applicare la tecnologia. Quando non lavora, gli piace suonare la chitarra e comporre la sua musica.

    Potrebbero anche interessarti

    Di più in:Blog