مايكروسوفت للذكاء الاصطناعي تقترح MM-REACT: نظام للتفكير والعمل متعدد الوسائط المتقدم
تُسهم نماذج اللغات الكبيرة (LLMs) في إحداث تحولات اقتصادية واجتماعية ملحوظة، إذ تستمر في التقدم السريع. ومن بين العديد من أدوات الذكاء الاصطناعي تم نشره على الإنترنت، شات جي بي تي ازدادت شعبية ChatGPT في الأشهر الأخيرة. وهو نموذج لمعالجة اللغة الطبيعية يُنتج نصوصًا ذات معنى تُشبه النصوص البشرية. يعتمد على بنية مُحوّل GPT، وهو مُزوّد بأحدث نموذج لغوي، GPT-4، الذي طورته OpenAI.
لقد تطورت رؤية الكمبيوتر بشكل كبير مع أحدث تقنيات الذكاء الاصطناعي و تعلم آلة بفضل تحسين بنية الشبكة وتدريب النماذج واسعة النطاق. مؤخرًا، أجرى الباحثون تم تقديم MM-REACTنموذج نظام يجمع خبراء رؤية متعددين مع ChatGPT لتحقيق تفكير وعمل متعدد الوسائط متقدم. من خلال دمج نماذج الرؤية الفردية مع نموذج اللغة بطريقة أكثر مرونة، يمكن لـ MM-REACT التغلب على تحديات الفهم البصري المعقدة.
تم تصميم MM-REACT لمعالجة مجموعة واسعة من المهام البصرية المعقدة التي تتطلب رؤية و نماذج لغة الرؤية صعوبة في ذلك. لتحقيق ذلك، يستخدم MM-REACT تصميمًا سريعًا لتمثيل أنواع مختلفة من المعلومات، مثل أوصاف النصوص، والإحداثيات المكانية النصية، والإشارات البصرية الكثيفة، مثل الصور ومقاطع الفيديو، مُمثلةً بأسماء ملفات مُحاذاة. يُمكّن هذا التصميم ChatGPT من قبول ومعالجة أنواع مختلفة من المعلومات بالتزامن مع المدخلات البصرية، مما يؤدي إلى فهم أكثر دقة وشاملة.
يجمع MM-REACT بين قدرات ChatGPT ومجموعة من خبراء الرؤية لإضافة وظائف متعددة الوسائط. يُستخدم مسار الملف كعنصر نائب ويُدخل في ChatGPT لتمكين النظام من... قبول الصور كمدخلات.
كلما احتاج النظام إلى معلومات محددة من الصورة، مثل تحديد اسم أحد المشاهير أو إحداثيات صندوق، يستعين ChatGPT بخبير رؤية محدد. يُسلسل بعد ذلك مُخرجات الخبير كنص، ويُدمج مع المُدخلات لتفعيل ChatGPT بشكل أكبر. في حال عدم الحاجة إلى خبراء خارجيين، تُعاد الاستجابة مباشرةً إلى المستخدم.
لتمكين ChatGPT من فهم استخدام خبراء الرؤية، أُضيفت تعليمات تتعلق بقدرات كل خبير، ونوع وسيطة الإدخال، ونوع المخرجات، بالإضافة إلى بعض الأمثلة السياقية لكل خبير، إلى مطالبات ChatGPT. علاوة على ذلك، تُعطى كلمة مرور خاصة لاستخدام تعبيرات التعبيرات العادية المطابقة لـ استدعاء الخبير وفقا لذلك.
أظهرت تجارب "اللقطة الصفرية" كيف يُعالج نظام MM-REACT قدراته الخاصة بفعالية. وقد أثبت كفاءته في حل مجموعة واسعة من المهام البصرية المتقدمة التي تتطلب فهمًا بصريًا معقدًا. على سبيل المثال، يُمكن لنظام MM-REACT توفير حلول للمعادلات الخطية المعروضة على صورة، وفهم المفاهيم من خلال تسمية المنتجات في الصورة ومكوناتها، من بين أمور أخرى. باختصار، يجمع هذا النموذج النظامي بشكل كبير بين الخبرة اللغوية والبصرية، وهو قادر على تحقيق ذكاء بصري متقدم.
ما هو رد فعلك؟
