أعلنت شركة Foxconn عن نموذج اللغة الكبير (LLM) المحسّن من Llama 3.1 من Meta

لقد فاجأت شركة فوكسكون، الشركة المعروفة بتصنيع هواتف آيفون ومنتجات الأجهزة الأخرى لشركة أبل، الجميع للتو بالإعلان عن أول نموذج لغوي كبير (LLM)، والذي يسمى FoxBrain، والذي من المفترض استخدامه لتحسين التصنيع وإدارة سلسلة التوريد.

وتقول الشركة المصنعة التايوانية إن FoxBrain تم تدريبه باستخدام 120 وحدة معالجة رسومية فقط من طراز H100 من Nvidia. تم تطوير هذا البرنامج LLM بشكل أساسي على أساس بنية Meta's Llama 3.1، مع 70 مليار معلمة من خلال التقطير. يتضمن مفهوم تحسين LLM استخدام نموذج "الأب" وتدريب نموذج "الطفل" بناءً على استجاباته. واعترفت شركة فوكسكون أيضًا بأن نموذج LLM الخاص بها ليس جيدًا مثل النموذج المتطور لشركة DeepSeek (الصين)، ولكن الأداء العام قريب جدًا من المعايير العالمية.

وفي حديثه عن هذا الإنجاز، قال الدكتور يونغ هوي لي، مدير مركز أبحاث الذكاء الاصطناعي في معهد هون هاي للأبحاث (فوكسكون):

في الأشهر الأخيرة، أصبح تعزيز قدرات التفكير والاستخدام الفعال لوحدات معالجة الرسومات تدريجيًا اتجاهًا رئيسيًا في مجال الذكاء الاصطناعي. لقد اعتمد نموذج FoxBrain الخاص بنا على استراتيجية تدريب فعالة للغاية، مع التركيز على تحسين عملية التدريب بدلاً من تجميع قوة الحوسبة بشكل أعمى.

"من خلال أساليب التدريب المصممة بعناية وتحسين الموارد، نجحنا في بناء نموذج ذكاء اصطناعي محلي يتمتع بقدرات تفكير قوية."

لا تقوم شركة Foxconn بتجميع منتجات Apple فحسب، بل تقوم أيضًا بتصنيع خوادم الذكاء الاصطناعي الخاصة بشركة Nvidia. باستخدام 120 وحدة معالجة رسومية من طراز H100، يتم توسيع نطاق FoxBrain باستخدام شبكة Quantum-2 InfiniBand من Nvidia، ويستغرق التدريب حوالي 4 أسابيع فقط (بتكلفة حسابية إجمالية تبلغ 2688 يوم وحدة معالجة رسومية). قامت شركة Foxconn بإنشاء 98 مليار رمز بيانات تدريب مسبق عالي الجودة باللغة الصينية التقليدية مع طول نافذة سياق يصل إلى 128000 رمز.

الشراكة بين Foxconn و Nvidia ليست جديدة، حيث تعمل الشركتان أيضًا على مشاريع أخرى، بما في ذلك بناء أكبر منشأة لتصنيع وحدات معالجة الرسوميات Blackwell في العالم.

كما قامت شركة Nvidia بتزويد شركة Foxconn بالحاسوب العملاق Taipei-1 لاستكمال عملية التدريب المسبق للنموذج. وقالت شركة فوكسكون إن FoxBrain سوف يصبح "محركًا رئيسيًا" لتحديث منصات الشركة الرئيسية الثلاث: التصنيع الذكي، والمركبات الكهربائية الذكية، والمدن الذكية.