لزانيا الذكاء الاصطناعي: لماذا يفسد الطبق إذا فسدت المكوّنات؟

اختبر باحثون عشر مجموعات بيانات يعتمد عليها الميدان مرجعًا لقياس الأنظمة، فوجدوا في أقسام الاختبار منها أخطاءً في التسميات بلغ متوسطها ما لا يقل عن 3.3%، وبلغت في مجموعة التحقق من ImageNet ما لا يقل عن 6% (نورثكت وزملاؤه، 2021). أي أن «الميزان» الذي تُوزَن به النماذج لم يكن سليمًا تمامًا. ومن هنا يبدأ تشبيه المطبخ.

المكوّنات قبل الوصفة

لا ينقذ التابلُ الماهر لحمًا فاسدًا. وكذلك الخوارزمية: تتعلّم النمط من البيانات التي تُعطاها، فإن كانت ناقصة أو متحيّزة أو مسمّاة خطأً، تعلّمت الخطأ بإخلاص. وهذا ما نعنيه بقولنا إن الدرس الأول في هذا الميدان هو جودة المدخلات.

وللمكوّنات في هذا المطبخ ثلاثة أبعاد يسأل عنها الفريق الجاد: هل البيانات كافية لتغطية الحالات المهمة؟ وهل هي متنوعة بحيث لا يغيب عنها من سيستعمل النموذج؟ وهل هي صحيحة التسمية؟ وقد رأينا في مقال «التحيّز الخوارزمي» كيف يتسلّل الخلل من الفئة الغائبة عن البيانات، وفي مقال «كيف تعمل النماذج اللغوية الكبيرة (LLM) مثل ChatGPT؟» كيف تُبنى النماذج على حجم هائل من النصوص يصعب فحص كل ما فيه.

الوصفة وخطواتها

الخوارزمية هي الوصفة: طريقة محددة لتحويل المكوّنات إلى نتيجة. وللمهندس هنا هامش اجتهاد يشبه هامش الطاهي: يجرّب أنواعًا مختلفة من النماذج، ويضبط ما يسمى المعاملات الفائقة (كمعدل التعلّم وعدد الطبقات) كما يضبط الطاهي حرارة الفرن ومدة النضج.

لكن الترتيب مهم في الطبق كما في النموذج. فتنظيف البيانات قبل التدريب، وفصلها إلى أقسام قبل أي تجربة، وقياس الأداء بعد ذلك، خطواتٌ إن اختلّ تسلسلها فسدت النتيجة وإن بقيت المكوّنات جيدة.

ثلاثة أطباق لا طبقٌ واحد

يقسّم المهندسون البيانات عادةً إلى ثلاثة أقسام. ويصفها دليل «Machine Learning Crash Course» من Google على هذا النحو:

• مجموعة التدريب: الأمثلة التي يتعلّم منها النموذج.
• مجموعة التحقق: يُختبر عليها النموذج في أثناء التدريب لتوجيه الضبط.
• مجموعة الاختبار: فحص نهائي يُجرى حين تبدو نتائج التحقق واعدة.

وحكمة التقسيم أن الاختبار على أمثلة جديدة دليلٌ أقوى على صلاحية النموذج من اختباره على أمثلة رآها. وهذا يعادل أن يُقيَّم الطاهي بذائقة ضيفٍ لم يأكل من طبقه قط، لا بذائقته هو.

وتحذّر الوثيقة نفسها من أمرين. الأول أن إعادة استعمال مجموعة الاختبار مرارًا في الضبط تدفع النموذج إلى مطابقتها أكثر فأكثر. والثاني أن تكرار الأمثلة بين أقسام التدريب والاختبار يرفع الدرجة زيفًا؛ ومن أمثلتها بيانات بريد مزعج لم تُحذف مكرراتها قبل التقسيم، فدخل بعض الاختبار إلى التدريب دون قصد.

التذوّق ثم إعادة الطبق إلى الفرن

بعد الاختبار تأتي جولات التحسين: يُراجع الفريق مواضع الخطأ، ويُضاف من البيانات ما ينقص، ويُغيَّر الضبط أو النموذج. ولا يُعدّ هذا ضعفًا بل هو صلب المنهج. غير أن الحكمة ألا يُستنزف الاختبار في هذه الجولات، فيُحتفظ بجزء لا يراه النموذج ولا يراه الفريق إلا في النهاية.

وللنتيجة وجهٌ يُنسى كثيرًا: ما نسميه «الدقة» لا يعدو أن يكون عددَ ما وافق التسميات المعتمدة. فإن كانت التسميات نفسها فيها خطأ، كما بيّنت دراسة نورثكت وزملائه، تغيّر معنى الرقم. ولذلك اختار الباحثون لورقتهم عنوانًا يصف هذه الأخطاء بأنها تزعزع استقرار المقارنات المرجعية؛ فكلما ضاق الفارق بين نموذجين، قلّت الثقة في أنه يعبّر عن تفوق حقيقي.

ماذا يفعل القارئ؟

حين يُعلَن عن نظام «دقته عالية»، فاسأل ثلاثة أسئلة بسيطة: على أي بيانات قيست الدقة؟ وهل هي بيانات جديدة لم يتدرّب عليها؟ ومن الذين يمثّلهم هذا القياس، وهل يشبهون من سيستعمل النظام فعلًا؟ فمن أحسن السؤال عن المكوّنات لم تخدعه صورة الطبق.

وفي الأخذ بالأسباب إتقان؛ فمن أتقن العناية بالبيانات والتقييم قبل أن يفخر بالنتيجة، كان أقرب إلى الأمانة العلمية، والتوفيق في النهاية من عند الله.