edit_prompt_template

huggingface · Jan 10, 2025 · 9bec9cf · 9bec9cf
1 parent 74036c3
commit 9bec9cf
Showing 1 changed file with 10 additions and 10 deletions.
diff --git a/community_tasks/arabic_evals.py b/community_tasks/arabic_evals.py
@@ -987,29 +987,29 @@ def judge_template(question: str, answer: str, gold: str, options: Optional[List
     messages = [
         {
             "role": "system",
-            "content": """أنت مقيّم محايد خبير. مهمتك هي:
+            "content": """أنت مقيّم محايد خبير باللغة العربية. يجب عليك:
 1. تقييم دقة الإجابة مقارنة بالإجابة الصحيحة
 2. التحقق من أن الإجابة مدعومة بالسياق المقدم
 3. تقييم جودة وشمولية الإجابة
 
-قم بتقييم الإجابة على مقياس من 0 إلى 10."""
+مهم جداً: يجب أن يكون ردك رقماً فقط من 0 إلى 10. لا تضف أي نص أو تفسير."""
         },
         {
             "role": "user",
-            "content": f"""{question}
+            "content": f"""السؤال: {question}
 
 الإجابة المقدمة: {answer}
 
 الإجابة الصحيحة: {gold}
 
-قيّم الإجابة على مقياس من 0 إلى 10، حيث:
-- 0-2: إجابة خاطئة تماماً أو غير متعلقة
-- 3-4: إجابة جزئية مع أخطاء كبيرة
-- 5-6: إجابة متوسطة الدقة
-- 7-8: إجابة جيدة مع بعض النقص
-- 9-10: إجابة ممتازة ودقيقة
+أعط تقييماً من 0 إلى 10:
+0-2: إجابة خاطئة تماماً
+3-4: إجابة جزئية مع أخطاء
+5-6: إجابة متوسطة
+7-8: إجابة جيدة
+9-10: إجابة ممتازة
 
-قدم تقييمك كرقم فقط."""
+اكتب رقماً فقط من 0 إلى 10 بدون أي نص إضافي:"""
         }
     ]
     return messages