أجرى باحثون من Google DeepMind وجامعة ستانفورد دراسة تناولت طرق تحسين تخصيص نماذج اللغة الضخمة (Large Language Models - LLMs) للمهام الواقعية، وذلك من خلال منهجين رئيسيين: التوليف الدقيق (fine-tuning) والتعلّم في السياق (in-context learning - ICL). يعتمد التوليف الدقيق على تحديث معلمات النموذج باستخدام بيانات جديدة، في حين يقوم التعلّم في السياق على تقديم أمثلة ضمن الموجه (prompt) دون تعديل بنية النموذج نفسها. وقد أظهرت النتائج أن التعلّم في السياق يمكن أن يساهم في تعزيز قدرة النماذج على استيعاب المعرفة الجديدة وتطبيقها بفعالية، إلا أنه يتطلب موارد حسابية أكبر أثناء وقت الاستدلال.
وللجمع بين مزايا كلا النهجين، اقترح الباحثون استراتيجية هجينة تُعرف باسم التوليف الدقيق المعزز (augmented fine-tuning). تستفيد هذه التقنية من التعلم في السياق لتوليد أمثلة جديدة ومتعددة تُضاف لاحقًا إلى مجموعة بيانات التوليف الدقيق. وأظهرت التجارب أن النماذج المدربة باستخدام التوليف الدقيق المعزز حققت أداءً أفضل في مهام الاستدلال والتعميم مقارنة بالنماذج التي اعتمدت على أحد النهجين فقط. ويُعد هذا الأسلوب حلاً واعدًا للمؤسسات التي تسعى إلى تطوير تطبيقات ذكاء اصطناعي مخصصة وفعالة مبنية على نماذج اللغة الضخمة، مع تحقيق أداء أكثر استقرارًا وكفاءة أعلى من حيث الموارد.
النقاط الرئيسية
- يُظهر التعلّم في السياق (ICL) قدرة أعلى على التعميم مقارنة بالتوليف الدقيق التقليدي في نماذج اللغة.
- يتطلب التعلّم في السياق (ICL) موارد حسابية أكبر أثناء الاستدلال، نظراً لحاجته إلى تقديم سياق إضافي في كل مرة.
- اقترح الباحثون نهجًا هجينًا يسمى "التوليف الدقيق المعزز" (augmented fine-tuning)، يجمع بين مزايا التعلّم في السياق والتوليف الدقيق.
- يساهم هذا الأسلوب المبتكَر في تحسين التعميم والكفاءة عبر استخدام التعلّم في السياق لإغناء بيانات التوليف الدقيق.
- يوفّر هذا النهج للمؤسسات فرصة تطوير تطبيقات أقوى وأكثر كفاءة باستخدام نماذج اللغة الضخمة، مع تقليل استهلاك الموارد أثناء وقت الاستدلال.
في جملة واحدة
كشفت دراسة من Google DeepMind وجامعة ستانفورد أن الجمع بين التعلّم في السياق والتوليف الدقيق يُعزز من قدرة نماذج اللغة على التعميم. تقنية "التوليف الدقيق المعزز" توفّر للمؤسسات أسلوبًا أكثر فاعلية لبناء أنظمة ذكاء اصطناعي قوية وذات كفاءة محسّنة.
المصادر: 1