إطار عمل للتقييم الدقيق لتقييم واختيار وتتبع مخرجات الوكلاء الذكيين دون إعادة تدريب.
ترتيب مخرجات الوكلاء المرشحة ومراقبة تقدم التنفيذ باستخدام نماذج تسجيل تعتمد على الاحتمالات اللوغاريتمية (logprob).
أداة llm-as-a-verifier هي إطار عمل بلغة Python يستخدم تسجيل توزيع الاحتمالات اللوغاريتمية لتقييم وترتيب مسارات الوكلاء الذكيين. وهي مناسبة للمطورين الذين يبنون سير عمل للوكلاء ويحتاجون إلى توسيع النطاق وقت الاختبار، واختيار المخرجات، وتتبع التقدم خطوة بخطوة دون الحاجة إلى ضبط دقيق نماذج جديدة. يمكن لباحثي الذكاء الاصطناعي الطبي استخدامها لترتيب مسارات الوكلاء السريريين على معايير قياسية مثل MedAgentBench.
تقوم الأداة بتقييم مسارات الوكلاء متعددة الخطوات باستخدام نماذج مكافأة ثنائية، وتتبع التقدم أحادي الخطوة، ودورات المحور الاحتمالي (Probabilistic Pivot Tournaments). وهي تحسب توقعات درجات دقيقة من الاحتمالات اللوغاريتمية لـ LLM عبر معايير تقييم مخصصة. يمكنك استخدام نماذج أضعف مثل DeepSeek V4.1 Flash للتحقق من المسارات التي تولدها أنظمة أكبر.
تتناسب هذه الأداة مع مطوري الذكاء الاصطناعي وباحثي المعلوماتية الطبية الذين يبنون أنظمة وكلاء متعددة الخطوات ويريدون التحقق التلقائي وقت الاختبار. وهي مثالية للفرق التي تشغل معايير قياسية للوكلاء مثل MedAgentBench أو SWE-Bench Verified. وهي غير مخصصة لدعم القرار السريري للمستخدم النهائي دون التكامل في تدفق عمل أكبر للمطورين.
ترتيب N من مسارات الوكلاء باستخدام مقارنات ثنائية مخفضة بدلاً من مصفوفات دورية كاملة.
يحسب درجات التوقع عبر توزيع الاحتمالات اللوغاريتمية الكامل لرموز التقييم لاختيار المرشحين.
يراقب تنفيذ خطوات الوكيل مباشرة باستخدام ProgressTracker لتحديد العمليات الفاشلة مبكراً.
يقبل قواميس المعايير المحددة من قبل المستخدم لتقييم مجالات مثل الاستدلال السريري أو إصلاحات التعليمات البرمجية.
أداة llm-as-a-verifier مجانية ومفتوحة المصدر تحت رخصة MIT. وتأتي التكلفة الأساسية من استخدام رموز API للنموذج أو تشغيل خادم GPU الخاص بك لتوليد الاحتمالات اللوغاريتمية.
877 وظيفة مفتوحة عن بعد في تدريب الذكاء الاصطناعي، آخر تحديث ١٦ نوفمبر ٢٠٢٦؛ أجر معظمها $20–$175 في الساعة. منها 2 وظائف تطلب متحدثين بالعربية. يعرضها ذكائي مجانًا، والتقديم يتم على منصة جهة التوظيف.
نعم، يمكنك توصيله بخادم متوافق مع OpenAI مثل vllm serve شريطة أن يعيد احتمالات رموز logprob.
تستخدم دورة المحور الاحتمالي لترتيب المرشحين في مقارنات O(Nk) بدلاً من عمليات التحقق الدورية الكاملة O(N^2).
نعم، تظهر المعايير القياسية في README أن أدوات التحقق الأصغر مثل DeepSeek V4.1 Flash تنجح في ترتيب مخرجات النماذج الأكبر مثل Claude Opus.
شاهد Zekai أولاً في جوجل