Gemma 2 أو Llama 3 هو أفضل نموذج مفتوح المصدر؟

في مؤتمر I/O 2024، أعلنت Google عن خطها التالي من نماذج Gemma 2، والآن تقوم الشركة أخيرًا بإصدار النماذج خفيفة الوزن بموجب ترخيص مفتوح المصدر. ويقال إن طراز Gemma 2 27B الجديد واعد للغاية، حيث يتفوق على بعض الطرازات الأكبر مثل Llama 3 70B و Qwen 1.5 32B. ولكي نختبر هذا الادعاء، دعونا نقارن بين Gemma 2 وLlama 3 - وهما اثنان من أفضل نماذج البرمجيات مفتوحة المصدر اليوم.

الكتابة الإبداعية

أولاً، دعونا نلقي نظرة على مدى جودة Gemma 2 وLlama 3 عندما يتعلق الأمر بالكتابة الإبداعية. طلب كاتب المقال من كلا النموذجين كتابة قصة قصيرة حول العلاقة بين القمر والشمس. يقوم كلاهما بعمل رائع، لكن نموذج Gemma 2 من Google يبرز بفضل نثره الجذاب وقصته الجيدة.

من ناحية أخرى، تبدو لعبة Llama 3 مملة وآلية بعض الشيء. لقد كانت Google دائمًا جيدة في إنشاء النصوص باستخدام نماذج Gemini وGemma 2 27B الأصغر حجمًا ليس استثناءً.

خيار الفوز: جيما 2

الاختبار متعدد اللغات

في الجولة القادمة، دعونا نرى مدى قدرة كلا النموذجين على التعامل مع اللغات غير الإنجليزية. نظرًا لأن Google تعلن أن Gemma 2 جيد في فهم لغات متعددة، فقد قارنه المؤلف بنموذج Llama 3 الخاص بـ Meta. طلب المؤلف من كلا النموذجين ترجمة مقطع إلى اللغة الهندية. لقد قدم كل من Gemma 2 و Llama 3 أداءً جيدًا للغاية.

وقد حاول المؤلف أيضًا استخدام لغة أخرى، وهي البنغالية، وأعطت النماذج نتائج جيدة مماثلة. بالنسبة للغات الهندية على الأقل، يمكننا القول أن Gemma 2 و Llama 3 مدربتان جيدًا على مجموعة كبيرة من النصوص. ومع ذلك، فإن حجم Gemma 2 27B أصغر بحوالي 2.5 مرة من حجم Llama 3 70B، مما يجعله أكثر إثارة للإعجاب.

خيارات الفوز: Gemma 2 و Llama 3

التحقق من المنطق

على الرغم من أن Gemma 2 وLlama 3 ليسا من أذكى النماذج الموجودة، إلا أنهما قادران على إجراء بعض اختبارات التفكير الشائعة تمامًا مثل النماذج الأكبر حجمًا. في المقارنة السابقة بين Llama 3 و GPT-4 ، كان نموذج Meta's 70B مثيرًا للإعجاب لأنه أظهر ذكاءً جيدًا للغاية حتى في حجمه الأصغر.

في هذه الجولة، هزمت Llama 3 فريق Gemma 2 بفارق كبير في النتيجة. أجابت Llama 3 على سؤالين من أصل 3 بشكل صحيح بينما واجهت Gemma 2 صعوبة في الإجابة حتى على سؤال واحد بشكل صحيح. لم يتم تدريب Gemma 2 على حل أسئلة التفكير المعقدة.

من ناحية أخرى، يتمتع Llama 3 بأساس منطقي قوي، والذي من المرجح أن يتم استنتاجه من مجموعة البيانات المشفرة. وعلى الرغم من صغر حجمه - على الأقل مقارنة بنماذج تريليون معلمة مثل GPT-4 - فإنه يظهر مستوى أكثر من عادل من الذكاء. في النهاية، يؤدي استخدام المزيد من الرموز لتدريب النموذج إلى إنشاء نموذج أكثر قوة.

خيار الفوز: لاما 3

اتبع التعليمات

في الجولة التالية، طلب المؤلف من Gemma 2 وLlama 3 إنشاء 10 كلمات تنتهي بكلمة "NPU". وحصلت لاما 3 على 10/10 إجابات صحيحة. على النقيض من ذلك، أنتجت Gemma 2 7 جمل صحيحة فقط من أصل 10. في العديد من الإصدارات السابقة، لم تتبع نماذج Google، بما في ذلك Gemini، تعليمات المستخدم بشكل جيد. ويستمر نفس الاتجاه مع Gemma 2.

يعد اتباع تعليمات المستخدم أمرًا بالغ الأهمية بالنسبة لنماذج الذكاء الاصطناعي. ويضمن الموثوقية ويولد ردود فعل دقيقة لما قمت بتوجيهه. ومن ناحية السلامة أيضًا، يساعد ذلك في إبقاء النموذج ثابتًا لضمان الامتثال بشكل أفضل لبروتوكولات السلامة.

خيار الفوز: لاما 3

البحث عن المعلومات

يحتوي كل من Gemma 2 و Llama 3 على طول سياق يبلغ 8 آلاف رمز. أضاف المؤلف كتلة ضخمة من النص، مأخوذة مباشرة من كتاب كبرياء وتحامل، تحتوي على أكثر من 17000 حرف و3.8 ألف رمز. كما هو الحال دائمًا، يضع المؤلف اقتباسًا عشوائيًا في مكان ما في النص ويطلب من النموذجين العثور عليه.

أدركت جيما 2 المعلومات بسرعة وأشارت إلى أن الاقتباس تم إدراجه بشكل عشوائي. ووجدت لاما 3 أيضًا أن هذا الادعاء يبدو في غير محله واقترحت ذلك. من حيث ذاكرة السياق الطويلة، على الرغم من أنها محدودة بـ 8 كيلو بايت من الرموز، فإن كلا النموذجين قويان للغاية في هذا الصدد.

لاحظ أن المؤلف أجرى هذا الاختبار على HuggingChat (الويب) لأن meta.ai رفض تشغيل هذا الموجه، على الأرجح بسبب محتوى حقوق الطبع والنشر.

خيارات الفوز: Gemma 2 و Llama 3

التحقق من الهلوسة

تميل النماذج الأصغر حجمًا إلى المعاناة من هلوسات الذكاء الاصطناعي بسبب بيانات التدريب المحدودة، وغالبًا ما تقوم بتلفيق المعلومات عندما يواجه النموذج موضوعات غير مألوفة. لذلك ألقى المؤلف اسم بلده الخيالي لاختبار ما إذا كانت جيما 2 ولاما 3 تعانيان من الهلوسة. ومما يثير الدهشة أنهم لم يفعلوا ذلك، وهو ما يعني أن كلاً من Google وMeta لديهما أساس جيد جدًا لنماذجهما.

كما طرح المؤلف سؤالاً آخر (خاطئًا) لاختبار صحة النماذج، ولكن مرة أخرى، لم تكن مهلوسة. بالمناسبة، قام المؤلف باختبار Llama 3 على HuggingChat بينما كان meta.ai يتصفح الإنترنت للحصول على معلومات حالية حول الموضوعات ذات الصلة.

خيارات الفوز: Gemma 2 و Llama 3

استنتج

على الرغم من أن نموذج Gemma 2 27B من Google لا يعمل بشكل جيد في اختبارات التفكير، إلا أنه قادر على أداء عدد من المهام الأخرى. إنه رائع للكتابة الإبداعية، ويدعم لغات متعددة، ويتمتع بذاكرة جيدة والأهم من ذلك كله أنه ليس مهلوسًا مثل النماذج السابقة.

لا شك أن Llama 3 أفضل، لكنه أيضًا نموذج أكبر بكثير، حيث تم تدريبه على 70 مليار معلمة. سيجد المطورون أن طراز Gemma 2 27B مفيد لمجموعة واسعة من حالات الاستخدام. ولإضافة المزيد، يتوفر Gemma 2 9B أيضًا.

بالإضافة إلى ذلك، ينبغي للمستخدمين التحقق من جهاز Gemini 1.5 Flash، والذي يعد أيضًا نموذجًا أصغر حجمًا ويدعم أيضًا الإدخال متعدد الوسائط. ناهيك عن أنها سريعة وفعالة بشكل لا يصدق.