قدَّم باحثون في معهد ماساتشوستس للتكنولوجيا ما يُسمَّى بالنماذج اللغوية المتكيفة ذاتيًّا (Self-Adapting Language Models – SEAL)، وهو إطار جديد يتيح للنماذج اللغوية الكبيرة التعلُّم بصورة مستمرة من دون الحاجة إلى انتظار المهندسين لإجراء دورة إعادة تدريب كاملة. يعلِّم SEAL النموذج كتابة «أدلّة دراسية» خاصة به (تُسمَّى التعديلات الذاتية self-edits) وتوليد أمثلة اصطناعية، ثم يُعَدِّل أوزانه عبر الضبط الدقيق باستخدام التعلُّم بالتعزيز (reinforcement learning). في الاختبارات الأولية، تمكَّن نموذج يضمّ مليار مُعامل، بفضل SEAL، من استيعاب حقائق جديدة بدرجة تفوّقت على نموذج خضع لضبط تقليدي، بل وتجاوز أداء البيانات التدريبية التي ولّدها GPT-4.
قد يُمثّل هذا النهج نقطة تحوّل لوكلاء الذكاء الاصطناعي المؤسسي الذين يحتاجون إلى التكيّف مع شفرة متغيّرة، أو لوائح تنظيمية متبدّلة، أو تفضيلات عملاء متقلبة. ومع منح النماذج حرية تقرير ما ينبغي تعلُّمه وكيفية ذلك، يَعِد SEAL بتحديثات أسرع وأقل تكلفة وأكثر استهدافًا. ومع ذلك، يحذّر الباحثون من أن التدريب الذاتي المستمر قد يؤدي إلى «نسيان كارثي» (catastrophic forgetting)، ولذلك يوصون بدمج SEAL مع أنظمة استرجاع للمعلومات وجدولة تحديث الأوزان خلال فترات انخفاض الاستخدام.
النقاط الرئيسية
- يمكّن SEAL النموذج اللغوي من إنشاء بيانات التدريب وتعليمات الضبط الخاصة به، ما يُلغي الحاجة إلى إعداد البيانات يدويًا.
- حلقة التعلُّم بالتعزيز تكافئ النموذج على التعديلات الذاتية التي تحسّن الأداء الفعلي للمهام.
- في التجارب رفع SEAL دقّة استيعاب المعرفة إلى 47٪، متفوّقًا على البيانات المولَّدة عبر GPT-4، وحقق معدل نجاح في الاستدلال بعدد قليل من الأمثلة وصل إلى 72.5٪.
- الإطار مثالي لبيئات المؤسسات الديناميكية، لكنه يتطلّب جدولة محكمة وضوابط للحماية من النسيان الكارثي.
- يتوقّع الباحثون ظهور نماذج «معلِّم» مخصّصة تولِّد التعديلات الذاتية لنماذج «طالب»، ما يجعل التكيّف أكثر كفاءة.
في جملة واحدة
يحوّل إطار SEAL من MIT النماذج اللغوية إلى مُعلِّمين لأنفسها، ما يمكّنها من التعلّم الفوري وتحقيق قفزات كبيرة في الدقة. غير أنّ تشغيله بفاعلية يتطلّب ذاكرة هجينة وجدولة تحديثات مخطَّطة لتجنّب فقدان المعارف القديمة.
المصادر: 1