التقنيات والنماذج

الذكاء الاصطناعي متعدد الوسائط: يرى ويسمع، فهل يفهم؟

نماذج تصف الصور وتقرأ المخططات، ثم تتعثر في اختبار بسيط لترتيب الكلمات. أين تنتهي القدرة ويبدأ الانبهار؟

3 دقائق قراءة هذا المقال متوفر بالإنجليزية

روبوت يظهر على شاشة حاسوب محمول على مكتب

كبسولة نانودقيقة واحدة

الذكاء الاصطناعي متعدد الوسائط نظام واحد يتلقى النص والصورة، وأحيانًا الصوت، ويمثّلها في فضاء رياضي مشترك تُقارَن فيه. وكان نموذج «كليب» (CLIP) من شركة أوبن إيه آي (OpenAI) عام 2021 علامة بارزة، إذ تدرّب على 400 مليون زوج من الصور وأوصافها، ثم صار يصنّف صورًا لم يُدرَّب عليها صراحةً بمجرد وصفها بالكلمات. ومن ثمرات ذلك وصف ما تراه الكاميرا لضعاف البصر. لكنّ الطلاقة لا تعني الفهم؛ ففي اختبار «وينوغراوند» (Winoground) لعام 2022 لم يتجاوز أداء النماذج المفحوصة الصدفة كثيرًا في مطابقة صورتين بتعليقين يتألفان من الكلمات نفسها بترتيب مختلف. فجرّب الأداة على مهمتك قبل أن تعتمد عليها، وراجع ما تقوله في كل أمر ذي شأن.

المقال مطولًا طيّ المقال 3 دقائق قراءة

صورتان وتعليقان، والكلمات في التعليقين واحدة لا يفرّق بينهما إلا ترتيبها. والمطلوب أن يُسنَد كل تعليق إلى صورته. يفعل الإنسان ذلك في لحظة، أما النماذج التي فحصها الباحثون في اختبار «وينوغراوند» (Winoground) عام 2022 فلم يتجاوز أداؤها الصدفة كثيرًا. فكيف تبهرنا هذه النماذج حين تصف صورة أو تقرأ مخططًا، ثم تتعثر في اختبار يبدو بسيطًا؟

من أنظمة منفصلة إلى فضاء مشترك

بُنيت أنظمة الذكاء الاصطناعي عقودًا لمهمة واحدة: نظام يصنّف الصور، وآخر يفكّ الكلام المنطوق، وثالث يعالج النصوص. الجديد أن يتعلّم نظام واحد تمثيلًا مشتركًا، فتصير كلمة «قطة» وصورة القطة أعدادًا متجاورة في الفضاء الرياضي نفسه، ويسهل قياس القرب بينهما.

وقد أظهر ذلك نموذج «كليب» (CLIP) الذي نشره باحثو أوبن إيه آي (OpenAI) عام 2021. تدرّب على 400 مليون زوج من الصور وأوصافها جُمعت من الإنترنت، ثم صار بوسع المستخدم أن يشير إلى مفاهيم بصرية بالكلمات، فيصنّف النموذج صورًا لم يُدرَّب عليها صراحةً. ومع النماذج اللغوية الكبيرة (انظر مقال «كيف تعمل النماذج اللغوية الكبيرة (LLM) مثل ChatGPT؟») اتسع الأمر: أعلنت الشركة عام 2023 أنّ «جي بي تي-4» (GPT-4) يقبل صورًا ونصوصًا ويُخرج نصًّا.

ما ينفع اليوم

أوضح الفوائد إتاحة ما يُرى لمن لا يرى. فقد بنى تطبيق «بي ماي آيز» (Be My Eyes) بنموذج «جي بي تي-4» ما سمّاه «متطوعًا افتراضيًّا»: يرسل المستخدم صورة من هاتفه فيصف النموذج ما فيها ويجيب عن أسئلته. يصوّر محتويات ثلاجته فيقترح عليه أطباقًا، أو يسأل إن كان الشيء على الأرض عقبة قد يتعثر بها. وهذا وصف من الجهة المطوِّرة في بداية التجربة، لا تقييم مستقل لدقته.

الطلاقة ليست فهمًا

يعترف تقرير «جي بي تي-4» نفسه بأنه أقل قدرة من الإنسان في مواقف واقعية كثيرة، مع أدائه البشري على اختبارات مهنية وأكاديمية. ويكشف «وينوغراوند» وجهًا من هذا الفرق: كلا التعليقين يحوي الكلمات نفسها، فلا ينجح من يكتفي بالتعرّف على الأشياء، وإنما من يفهم العلاقات بينها وترتيبها. فالفرق بين «الكلب يعضّ الرجل» و«الرجل يعضّ الكلب» لا تحسمه معرفة الأشياء الظاهرة، بل فهم من يفعل بمن. والنتيجة تخص نماذج ذلك التاريخ ولا تُعمَّم على كل ما بعدها، لكنها تذكّرنا بأنّ وصف الآلة للمشهد قد يكون مقنعًا وناقصًا معًا. وفي مقال «ثلاثة أوهام عن الذكاء الاصطناعي» تفصيل لميلنا إلى نسبة الفهم لكل ما يحاكي كلامنا.

ولا ينبغي أن نعدّ هذا عيبًا يُدان به أصحاب الأداة، فالعيب أن نُحمّلها ما لم تُثبت قدرتها عليه. وتزداد الحساسية حين يجتمع الوجه والصوت والنص في نظام واحد، فيتسع ما يمكن استخلاصه عن صاحبها. وهذه بيانات شخصية تستحق من الستر والأمانة ما يستحقه سائر الأسرار؛ وفي مقال «الخصوصية في عصر الذكاء الاصطناعي» ما يعين على ذلك.

كيف نستعمله بحكمة

  1. اختبر الأداة على حالات تعرف جوابها قبل أن تعتمد عليها.
  2. لا تجعل وصف الآلة لصورة طبية أو قانونية أو أمنية بديلًا من مختص.
  3. لا ترفع صور الآخرين ولا تسجيلاتهم إلا بإذنهم.
  4. اطلب من الجهة المطوِّرة بيانًا بحدود الأداة، واحذر من عرض مصمّم ليبهر.

نستعين بالأدوات ونأخذ بالأسباب، فنراجع ونتثبّت، ونتوكل على الله فيما لا نملكه.

المراجع

  1. A. Radford et al., Learning Transferable Visual Models From Natural Language Supervision (CLIP), arXiv:2103.00020 (2021)
  2. OpenAI, GPT-4 Technical Report, arXiv:2303.08774 (2023)
  3. T. Thrush et al., Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality, CVPR (2022)
  4. OpenAI, Be My Eyes (customer story on the GPT-4-based Virtual Volunteer)