داخل النموذج: ماذا وجد الباحثون حين فتحوا الصندوق؟

تسأل نموذجًا لغويًّا: لماذا اخترتَ هذا الجواب؟ فيعرض عليك تعليلًا مرتبًا من خمس نقاط. فهل ما قاله هو ما جرى داخله فعلًا؟

لا قواعد بل أوزان

لو فتحتَ نموذجًا لتبحث عن «قاعدة» تفسّر جوابه لما وجدتَ. فالشبكة العصبية دالّة رياضية من طبقات متصلة، وبين كل وحدتين وزنٌ عددي يحدد مقدار تأثير إحداهما في الأخرى. وأثناء التدريب تُعدَّل الأوزان خطوة بعد خطوة لتقليل الخطأ على الأمثلة. فالمعرفة لا تقيم في «خلية» بعينها، بل تتوزع على أنماط من الأوزان. وقد شرحنا بنية النماذج اللغوية في مقال «كيف تعمل النماذج اللغوية الكبيرة (LLM) مثل ChatGPT؟». ومن هنا جاء وصف «الصندوق الأسود»: نرى المدخل والمخرج، ويصعب أن نقرأ السبب.

محاولات فتح الصندوق

يسمّى حقل التفسير الآلي (mechanistic interpretability) بهذا الاسم لأنه يحاول فهم آليات الحساب الداخلي. وفي مايو 2024 نشر باحثو أنثروبيك (Anthropic) دراسة على نموذج «كلود 3 سونيت»، دربوا فيها مشفّرات ذاتية متفرقة (sparse autoencoders) على إحدى الطبقات الوسطى، فاستخرجوا ملايين «السمات» التي يقابل كل منها مفهومًا يمكن للإنسان تسميته، وجرّبوا ثلاث سعات بلغت أكبرها نحو 34 مليون سمة. وفي تجربة لافتة ضاعفوا نشاط سمة «جسر البوابة الذهبية» عشر مرات فبدأ النموذج يصف نفسه بأنه الجسر.

لكنّ المؤلفين أنفسهم يقيّدون هذا الإنجاز: فالسمات «وصف ناقص» لتمثيلات النموذج؛ إذ وجدوا في أكبر مشفّر سماتٍ لنحو 60% فقط من أحياء لندن الإدارية، والتكلفة الحسابية عالية، ولم تثبت بعدُ فائدة سمةٍ بعينها في السلامة. فالصندوق صار أقل عتمة، لا شفافًا.

اختصارات خادعة

قد يصيب النموذج لأسباب خاطئة. تعرّف دراسة غيرهوس (Geirhos) وزملائه «التعلّم بالاختصار» بأنه قواعد قرار تنجح في الاختبارات المعتادة وتفشل في الظروف الأصعب كالواقع. ومثال ريبيرو وزملائه (Ribeiro) مشهور: درّبوا عمدًا مصنِّفًا للصور ليتنبأ بـ«ذئب» حين يرى ثلجًا في الخلفية، ثم سألوا 27 مشاركًا: هل يثقون به؟ قبل أن يروا التفسيرات وثق به 10 مشاركين، وبعد التفسيرات 3 فقط، وارتفع عدد من عرفوا أنّ الثلج هو السبب المحتمل من 12 إلى 25. فالتفسير هنا كشف العيب. لاحظ أنّ العيب صُنع عمدًا في التجربة، فهي تبيّن فائدة الأداة لا شيوع الحالة.

حين يشرح النموذج نفسه

أدق من ذلك ما يقوله النموذج عن سبب جوابه. وجد تيربين (Turpin) وزملاؤه أنّ إضافة عاملٍ منحاز إلى المدخل، كترتيب الخيارات بحيث يكون الجواب الصحيح دائمًا «أ»، يغيّر إجابة النموذج دون أن يذكر تعليله ذلك العامل، وقد تنخفض الدقة حتى 36% في 13 مهمة اختبارية، على نموذجين من وقتها (GPT-3.5 وClaude 1.0). وفي دراسة لأنثروبيك عام 2025 على نموذجي استدلال، ذكر Claude 3.7 Sonnet التلميحَ الذي أثّر فيه في 25% من الحالات في المتوسط، وDeepSeek R1 في 39%. ويقرّ الباحثون بقيود: الاختبارات مصطنعة، وأسئلتها متعددة الخيارات، ولم تشمل إلا نموذجي شركتين.

فتعليل النموذج قد يكون قصة معقولة تُروى بعد القرار، لا نقلًا أمينًا لمساره.

ماذا نفعل؟

• عامل التعليل اقتراحًا: تحقق من الوقائع والمصادر، لا من بلاغة الحجة.
• في القرارات الجسيمة (صحة، مال، حقوق) أبقِ إنسانًا مسؤولًا يستطيع المخالفة.
• اسأل البائع: كيف اختبرتم أن التفسير يطابق ما يفعله النموذج؟
• اختبر النموذج خارج الأمثلة المألوفة، فالاختصار ينكشف عند تغيّر السياق.

العلم هنا يتقدم، ولا يُعرف إلى أين يبلغ. وبين الادعاء بأننا نفهم كل شيء والزعم بأننا لا نفهم شيئًا موقفٌ أصدق: نعرف بعض ما يجري، ونجهل بعضه، ونحتاط بقدر الجهل.