أي مساعد ذكاء اصطناعي يفهم العربية فعلاً؟ اختبرنا أربعة على عشرين مهمة

تدعي كل الشركات أن مساعدها «يدعم العربية»، لكن الدعم شيء والفهم شيء آخر. أعطينا أربعة مساعدين المهام العشرين نفسها بالعربية الفصحى وباللهجة، وقيّمنا الإجابات بمعايير ثابتة: الدقة، سلامة اللغة، وفهم السياق المحلي. هذا الدليل يلخص ما وجدناه ويقترح كيف تختار.

كيف اختبرنا

شملت المهام تلخيص خبر طويل في ثلاث جمل، وصياغة بريد رسمي لطلب إجازة، وشرح بنود عقد إيجار بلغة بسيطة، وتحويل فقرة من لهجة محلية إلى الفصحى، وحل مسألة حسابية مكتوبة بالكلمات. قيّم كل إجابة محرران بشكل مستقل دون معرفة اسم المساعد.

النتائج الرئيسية

1. في التلخيص والصياغة الرسمية تقاربت النتائج، مع تفوق طفيف لمساعدين اثنين في سلامة الإعراب.
2. في فهم اللهجات ظهر فرق كبير: مساعد واحد فقط فهم الفقرة كاملة، وأخطأ الباقون في معنى تعبير شائع.
3. في شرح العقود أضاف اثنان من المساعدين بنوداً غير موجودة في النص، وهو خطأ خطير في سياق قانوني.

«المساعد الذي يعترف بأنه لا يعرف أفضل من المساعد الذي يخترع إجابة واثقة» — أحد المحررين المقيّمين.

ولهذا أضفنا معياراً لم يكن في خطتنا الأصلية: عدد المرات التي يعترف فيها المساعد بعدم اليقين أو يطلب توضيحاً. المساعد الذي سأل «هل تقصد اللهجة المصرية أم الشامية؟» قبل الترجمة حصل على درجة أعلى من الذي ترجم فوراً وأخطأ، لأن السؤال في السياق العربي المتعدد اللهجات علامة فهم لا علامة ضعف.

كيف تختار

• للكتابة الرسمية: أي من المساعدين الأربعة يفي بالغرض مع مراجعة سريعة.
• للهجات والسياق المحلي: اختبر المساعد على نص من لهجتك قبل الاشتراك.
• للوثائق القانونية أو الطبية: استخدمه لفهم المصطلحات فقط، ولا تعتمد على شرحه للبنود.

أمثلة من الاختبار

في مهمة البريد الرسمي طلبنا رسالة اعتذار عن التأخر في تسليم مشروع، فأنتج مساعدان رسالة متوازنة تعتذر وتقترح موعداً جديداً، بينما بالغ ثالث في الاعتذار حتى بدا مذلاً، واختصر الرابع الرسالة في سطرين بلا تحية. وفي مهمة اللهجة أخطأ ثلاثة مساعدين في تعبير يعني «لا بأس» وترجموه إلى نقيضه، وهو خطأ يبدو صغيراً لكنه يقلب معنى رسالة كاملة إن اعتمد عليه المستخدم دون مراجعة.

الخلاصة

الفجوة بين المساعدين في العربية أصغر مما كانت قبل عام، لكنها ما زالت موجودة حيث يهم الأمر أكثر: اللهجة والسياق. لا تختر بناءً على الإعلان، بل على اختبار من خمس دقائق بنصوصك أنت.