Microsoft AI propone MM-REACT: un sistema para razonamiento y acción multimodales avanzados

Los grandes modelos lingüísticos (LLM) están impulsando importantes transformaciones económicas y sociales a medida que continúan avanzando rápidamente. Entre muchas Herramientas de inteligencia artificial (IA) publicado en internet, ChatGPT Se ha vuelto cada vez más popular en los últimos meses. ChatGPT es un modelo de procesamiento de lenguaje natural que genera texto con significado similar al de los humanos. Basado en la arquitectura del transformador GPT, funciona con el último modelo de lenguaje, GPT-4, desarrollado por OpenAI.

La visión por computadora también ha avanzado exponencialmente con la última Inteligencia Artificial y Aprendizaje automático avances, gracias a una arquitectura de red mejorada y al entrenamiento de modelos a gran escala. Recientemente, los investigadores han presentó MM-REACT, un paradigma de sistema que combina múltiples expertos en visión con ChatGPT para un razonamiento y una acción multimodales avanzados. Al integrar modelos de visión individuales con el modelo de lenguaje de una manera más flexible, MM-REACT puede superar desafíos de comprensión visual complicados.

MM-REACT está diseñado para abordar una amplia gama de tareas visuales complejas que los sistemas de visión y modelos visión-lenguaje Con este objetivo, MM-REACT utiliza un diseño de indicaciones para representar distintos tipos de información, como descripciones de texto, coordenadas espaciales textualizadas y señales visuales densas, como imágenes y vídeos, representadas como nombres de archivos alineados. Este diseño permite que ChatGPT acepte y procese diferentes tipos de información en combinación con información visual, lo que conduce a una comprensión más precisa y completa.

MM-REACT combina las capacidades de ChatGPT con un grupo de expertos en visión para agregar funcionalidades multimodales. La ruta del archivo se utiliza como marcador de posición y se ingresa en ChatGPT para permitir que el sistema aceptar imágenes como entrada.

Siempre que el sistema requiere información específica de la imagen, como identificar el nombre de una celebridad o las coordenadas de una caja, ChatGPT busca la ayuda de un experto en visión específico. La información del experto se serializa como texto y se combina con la información de entrada para activar ChatGPT. Si no se requieren expertos externos, la respuesta se devuelve directamente al usuario.

Para permitir que ChatGPT comprenda el uso de los expertos en visión, se agregaron instrucciones relacionadas con la capacidad de cada experto, el tipo de argumento de entrada y el tipo de salida, junto con algunos ejemplos en contexto para cada experto, a las indicaciones de ChatGPT. Además, se indica una palabra clave especial para usar expresiones regulares que coincidan con invocar al experto en consecuencia.

Los experimentos de disparo cero han demostrado cómo MM-REACT aborda de manera eficaz sus capacidades particulares de interés. Ha demostrado ser eficiente en la resolución de una amplia gama de tareas visuales avanzadas que requieren una comprensión visual compleja. Por ejemplo, MM-REACT puede proporcionar soluciones a ecuaciones lineales que se muestran en una imagen y realizar la comprensión de conceptos nombrando productos en la imagen y sus ingredientes, entre otras cosas. En conclusión, este paradigma de sistema combina en gran medida la experiencia en lenguaje y visión y es capaz de lograr una inteligencia visual avanzada.