في جملة واحدة
تعيد شركات الذكاء الاصطناعي الناشئة في الصين تصميم آليات الانتباه (attention) لخفض التكاليف وتوسيع طول السياق وسط نقص الرقائق. وتستهدف الأساليب الهجينة مثل KDA من Moonshot AI الحفاظ على القدرة التنافسية عالميًا عبر بنى أكثر ذكاءً وكفاءة.
التفاصيل
في ظل محدودية الوصول إلى الرقائق المتقدمة، تتجه شركات الذكاء الاصطناعي الناشئة في الصين إلى الابتكار الخوارزمي لتعزيز نماذج اللغة الكبيرة (LLMs). ومن بينها Moonshot AI وDeepSeek، التي تعيد التفكير في آليات الانتباه (attention)، أي كيفية معالجة النماذج للمعلومات واسترجاعها، إذ إن النهج التقليدي الذي يقارن كل رمز جديد (token) بجميع الرموز السابقة يصبح مكلفًا على نحو متزايد مع اتساع السياق. وقد برزت ما يُعرف بميزانية الانتباه (attention budget) كعنق زجاجة رئيسي أمام تطوير وكلاء ذكاء اصطناعي (AI agents) أعلى كفاءةً وقدرة.
لتجاوز ذلك، يستكشف المطورون صيغًا هجينة من الانتباه الخطي (linear attention) تقارن الرموز الجديدة بمجموعة فرعية فقط من الرموز (tokens)، ما يقلّص على نحو حاد المتطلبات الحوسبية. ويجسّد Kimi Linear، أحدث ابتكارات Moonshot AI، هذا التحول عبر تقنية Kimi Delta Attention (KDA) التي تمزج بين طبقات الانتباه الكامل (full attention) والانتباه الخطي (linear attention). الهدف: تعظيم الاستفادة من موارد الحوسبة المحدودة (compute) مع مواكبة روّاد القطاع عالميًا.
النقاط الرئيسية
- قيود الرقائق تدفع شركات الذكاء الاصطناعي الصينية إلى تفضيل الكفاءة الخوارزمية على التوسع في العتاد (hardware).
- تزداد كلفة الانتباه الكامل (full attention) التقليدي مع ازدياد طول السياق (context length)، ما يخلق عنق زجاجة يُعرف بميزانية الانتباه (attention budget).
- الانتباه الخطي الهجين (hybrid linear attention) يقلّل المتطلبات الحوسبية (compute) عبر مقارنة الرموز الجديدة (tokens) بمجموعة فرعية مختارة من الرموز السابقة.
- يطرح Kimi Linear من Moonshot AI تقنية Kimi Delta Attention (KDA) التي تجمع بين الانتباه الكامل (full attention) والانتباه الخطي (linear attention)، بينما تتبنى DeepSeek أفكارًا مماثلة.
المصادر: 1