وصف إيلون ماسك جروك 4,5 بأنه نموذج بحجم أوبوس يعمل بسرعة أكبر وبتكلفة أقل. الآن يقدم معيار مستقل وحاسم دليل حقيقي يدعم هذا الادعاء.
أظهر اختبار AutomationBench-AA من شركة آرتيفيشال أناليسيس تصدر جروك 4,5 الترتيب بنسبة 51,4% وتكلفة 0,34$ لكل مهمة. تفوق على كلود فابل 5 (48,6%) وكلود أوبوس 4,8 (48,5%).
تحقق مستقل من ادعاء إيلون ماسك
أعلنت شركة سبيس إكس أيه آي إطلاق جروك 4,5 للعامة هذا الأسبوع، والمبني على قاعدة V9 المكونة من 1,5 تريليون باراميتر. استند طرح ماسك على تقييمات داخلية أولية.
يغير معيار AutomationBench-AA هذا الأمر. تدير آرتيفيشال أناليسيس هذا المعيار بشكل مستقل وتحافظ على خصوصية مجموعة المهام لمنع التضارب.
يشمل الاختبار 657 مهمة في 40 تطبيقاً محاكياً، بما فيها جي ميل، وسلاك، وسيلز فورس، وهب سبوت. يقيس الاختبار النسبة من الأهداف التي ينجزها الوكيل دون اختراق القيود.
تابعونا على X للحصول على آخر الأخبار فور حدوثها
جروك 4,5: أرخص، أسرع، وغالباً ملتزم
بلغت تكلفة جروك 4,5 لكل مهمة 0,34$ فقط، وهي أقل بكثير من تكلفة فابل 5 التي بلغت 1,35$ وأوبوس 4,8 التي وصلت إلى 1,46$. كان جيميني 3,5 فلاش الأقرب بتكلفة 0,49$.
استخدم النموذج حوالي 8 000 رمز مخرجات لكل مهمة، أي تقريباً ربع إجمالي أوبوس 4,8. تسهم هذه الكفاءة في فروق التكلفة بشكل أساسي، وتتماشى مع الطريقة التي عرض بها ماسك النموذج عند الإطلاق.
قالت آرتيفيشال أناليسيس إن إجمالي استخدام الرموز الخاص به البالغ 0,44M لكل مهمة يعد من بين الأقل في الترتيب، وأن انخفاض التكلفة نابع من هذه الكفاءة وكذلك من تسعير الرموز المنخفض.
بالإضافة إلى ذلك، أكمل جروك 4,5 79,9% من أهداف المهام ونجح بالكامل في 21,9% من المهام. في مجال المالية، وهو أصعب المجالات، تصدر بنتيجة 71%، متقدماً على فابِل 5 الذي حصل على 64% وأوبوس 4,8 الذي حصل على 62%.
مع ذلك، اخترق النموذج القواعد أكثر من أقرب منافسيه. سجل 0,63 انتهاكاً لإجراءات الحماية لكل مهمة، أعلى من أوبوس 4,8 الذي سجل 0,55 وجيميني 3,5 فلاش الذي سجل 0,46.
اشرح أن هذا الفارق مهم للشركات التي تنشر وكلاء في أنظمة مالية حية، حيث يمكن لانتهاك واحد فقط أن يكبدها تكاليف حقيقية.
ادعُ للاشتراك في قناة اليوتيوب الخاصة بنا لمتابعة القادة والصحفيين يقدمون تحليلات خبراء
