كيف تختبر ميزة ذكاء اصطناعي قبل أن تثق بها؟

ميزة الذكاء الاصطناعي لا تختبر بتجربتها مرتين والإعجاب بالجواب. الإعجاب لا يتكرر ولا يسلم إلى زميل ولا يقارن بنسخة الشهر القادم، ولا يقول شيئا عن الأسئلة التي لم تخطر لك. الذي يحل مكانه ثلاثة أشياء: مجموعة أسئلة مكتوبة، ومفتاح أجوبة يوافق عليه شخص ثان، وقرار في ما يحدث حين تخطئ الميزة، لأنها ستخطئ، والسؤال الوحيد أين يقع الخطأ.

لماذا تكتب الأسئلة قبل البناء؟

لأنها المواصفات، والأثر الوحيد الذي يبقى بعد تغيير النموذج أو المورّد أو الرأي.

مكتوبة مبكرا، تحدد النطاق: كثير من الأسئلة يحتاج سجلا لن تملكه الميزة أو جوابا يسكن في رأس أحدهم، واكتشاف ذلك في وثيقة يكلف ظهرا، وبعد الإطلاق يكلف الميزة كلها. ومكتوبة متأخرة، تقيس ما بني لا ما احتيج إليه: كاتبها رأى الأجوبة، فتنزلق نحو التي تنجح، وهذا انزلاق من يكتب اختبارا لشيء صنعه، لا كذب.

ما الأسئلة العشرون؟

العشرون رقم تبدأ منه لا هدف: تكفي لتغطية أشكال المشكلة، وتبقى في حدود ما يصححه إنسان.

خذها من حيث يسأل العملاء والموظفون فعلا: صندوق الشكاوى وهاتف المندوب. أكثرها ممل، الأسئلة القليلة نفسها بصياغات مختلفة، وهذا الممل يدفع ثمن الميزة. ثم أضف أربعة أنواع لا يتطوع بها أحد:

• سؤال لا تحمله البيانات، وجوابه الصحيح الوحيد أنه غير موجود؛
• سؤال عن شخص لا عن سجل، مثل: هل هذا العميل مأمون الجانب؟ والميزة ترفضه؛
• سؤال مكتوب كما يكتب الناس: دارجة، واختصار، وخطأ إملائي، وسؤالان في رسالة واحدة؛
• سؤال يحاول الوصول إلى سجل عميل آخر، وهنا يتحول المساعد النافع إلى تسريب بيانات.

كيف تكتب جوابا صحيحا حين لا يوجد جواب واحد صحيح؟

لا تكتب الجواب. اكتب ما يجب أن يحمله الجواب الجيد، وما لا يجوز أن يحمله، وما يجب أن يفعله حين لا يستطيع، ثم يضع شخصان علامة على المجموعة نفسها ويقارنان.

في سؤال «لماذا تأخر طلبي؟» يذكر الجواب الجيد الحالة والخطوة التالية. ولا يذكر موعد تسليم، ولا يلوم شركة التوصيل، ولا يعتذر باسم موظف لم يفتح الملف. لا شيء من هذا جملة تقارن بنص، بل معيار، وهو ما يجعل التصحيح قابلا للتكرار والنتيجة قابلة للنقاش.

ما تصححه	النجاح	الفشل
المعلومة المطلوبة	الحالة من السجل مع مصدرها	رقم معقول بلا مصدر
المعلومة الممنوعة	لا موعد ولا سعر ولا وعد	«يفترض أن يصل قريبا»
الاعتذار	يقول ما لم يجده ويعرض الخطوة التالية	يجيب عن سؤال مجاور
المسار	يصل إلى الصفحة أو الشخص الذي يجيب	ينتهي عند «اتصلوا بنا»

وحيث يختلف المصححان فالمعيار لم يكتب بعد. ذلك الخلاف أنفع مخرج للتمرين، وتجريبه على المتوسط خطأ: حد لا ينطق به أحد حد لا يلتزم به أحد.

لماذا تحسب الخطأ الذي يكلف مالا لا المتوسط؟

لأن المتوسط يخفي الأخطاء الوحيدة التي تهم. اقسم المجموعة حسب العاقبة قبل أن تحسب شيئا: أسئلة يكلف خطؤها سؤالا ثانيا، وأسئلة تكلف مالا أو وعدا أو بيانات عميل. الأولى تخطئ أحيانا وتبقى نافعة، والثانية لا تخطئ أبدا، ولا رقم إجمالي يجعل ذلك مقبولا: ميزة جيدة في الأكثرية السهلة وخاطئة في سؤال الإرجاع غير صالحة للسؤال الذي ستلام عليه.

ورقمان آخران بجانب الأحكام: كم يمضي الموظف في تصحيح جواب، لأن ميزة صحيحة وبطيئة كلفة براتب؛ وكم مرة يعمل البديل، لأن بديلا لا يعمل يعني أن العتبة وضعت للتهرب من عناء وضعها.

من يصحح الأجوبة، وماذا ينتج التصحيح؟

من يقوم بالعمل، ويصحح على غير علم بما توقعه الباني. ويصحح الباني أولا لالتقاط العطل الظاهر، لكن تلك الجولة فحص سريع لا دليل.

والمخرج مجموعة موسومة: السؤال، وما يجب أن يحمله الجواب الجيد، والجواب كما جاء، وحكم، وسطر للسبب. إطار إدارة مخاطر الذكاء الاصطناعي من NIST يعد القياس جزءا من النظام لا مرحلة بعده، وهذا الملف يبقى بعد كل قرار في النموذج.

وصحح المسار البشري الحالي على المجموعة نفسها قبل أن تبني. يقول لك ما معنى «جيد» عندك، ومنه الأسئلة التي يخطئ فيها أفضل موظف، وهي أسئلة ستخطئ فيها الميزة ولا يصح لومها عليها.

وماذا لو كان صوابه في معظم الحالات؟

حينها يتوقف السؤال عن كونه «هل تعمل؟» ويصير «أين تقع الأخطاء؟». ثلاثة أدوات، تحدد لكل نوع سؤال لا لكل ميزة:

العتبة. أسئلة يجاب عنها تلقائيا، وأخرى لا تصاغ إلا مسودة يرسلها إنسان، وأخرى تذهب إلى إنسان مباشرة. قائمة ينفذها مبرمج، لا نية تقال في اجتماع.

البديل. ما يستلمه العميل عوضا عن ذلك، يكتبه إنسان ويراجع كأي رسالة عميل. «لم أستطع تأكيد ذلك، وهذا من يؤكده» بديل. أما انتظار طويل ينتهي باعتذار فعطل.

العينة. عشرون محادثة مسجلة يقرأها إنسان كل أسبوع، تسحب عشوائيا لا من التي بدت غريبة. الخطأ الذي يصل إلى عميل هو في الغالب الذي لم يختره أحد.

ما الذي يمنع فعلا جوابا واثقا خاطئا من الوصول إلى عميل؟

شيء لا يعتمد على حكم النموذج نفسه. بحث في النظام عن المعلومات التي يجب أن تكون دقيقة، فيأتي الرقم من السجل لا من جملة. وفحص أن الصفحة التي يستشهد بها الجواب ما زالت تقول ذلك. وقاعدة صارمة تحول كل ما ينزل عن العتبة إلى تحويل إلى موظف، لا إلى جواب متحفظ، لأن التحفظ ينجو من المراجعة: جواب يقول «تقريبا» و«عادة» يقرأ حذرا، ويبقى خاطئا، ويمر على مراجع يستعجل.

وقائمة OWASP العشر تفرد التحكم في الوصول المكسور فئة قائمة بذاتها، ولهذا يوجد النوع الرابع من الأسئلة أعلاه: مساعد بطبقة استرجاع يمكن أن يُسأل عن سجل لا يجوز أن يعيده، ومجموعة الأسئلة هي المكان الذي يكتشف فيه ذلك بدل تقرير حادثة.

بأي ترتيب تجري الاختبار؟

1. اجمع عشرين سؤالا حقيقيا من السجل والهاتف، بكلمات السائل.
2. اكتب لكل واحد ما يجب أن يحمله الجواب الجيد، وما لا يجوز أن يحمله، وما يفعله حين لا يستطيع.
3. اقسم المجموعة حسب عاقبة الخطأ: أي الأسئلة يجاب عنها أو تصاغ أو تحول.
4. صحح المسار البشري الحالي على المجموعة نفسها واحفظ النتيجة أساسا.
5. ابنِ، ثم صحح على غير علم مع من يقوم بالعمل.
6. أعد كتابة المعيار حيث اختلف المصححان، ثم صحح مرة أخرى.
7. اكتب العتبة والبديل نصا ينفذه مبرمج.
8. أعد الجولة بعد كل تغيير، وأضف أسئلة سألها المستعملون هذا الشهر.

أين يخطئ هذا

المجموعة يكتبها الباني. كل سؤال منها يجيب عنه البناء، والعلامات جيدة، ثم يأتي الأسبوع الأول في الإنتاج بأسئلة كانت غائبة.

التصحيح ومفتاح الأجوبة أمام العين. يرى المصحح الجواب المتوقع، فيتعرف على شكله في المخرج، ويمر جواب صحيح بالمصادفة وخاطئ في الطلب التالي.

الاختبار على بيانات مرتبة. تقاس الميزة على سجلات التجربة، حيث لكل عميل معرف واحد ولكل منتج سعر، وفي الإنتاج لا هذا ولا ذاك.

عتبة تضبط مرة واحدة. يعاد تسمية عمود أو تتغير وحدة في نظام سابق، فتنزلق الأجوبة، والمراجعة التي كانت ستلتقط ذلك معلقة على تغيير في الشيفرة لم يحدث.

ما لا يغطيه هذا المقال

لا شيء هنا عن اختيار النموذج ولا عن صياغة التعليمات ولا عن تقدير كلفة كل سؤال؛ ذلك يحدد كم يمكن أن تكون الميزة جيدة، وهذا يحدد هل تستطيع أن تعرف. وليس مراجعة أمنية ولا موافقة قانونية، ويفترض أن في الشركة من يقول كيف يبدو الجواب الصحيح؛ وإذا لم يوجد، فالاختبار يثبت أن المواصفات كانت غائبة.

نكتب مجموعة الأسئلة ومفتاح الأجوبة قبل البناء، ونحفظهما بجانب الشيفرة حتى يقاس كل تغيير لاحق على الأسئلة العشرين نفسها.