مقالات

الذكاء الاصطناعي لا يصلح بيانات لا تثق بها

جودة الاسترجاع هي جودة البيانات: سجل واحد لكل شيء، وأسماء ووحدات واضحة، وصلاحيات تفرض عند البحث لا في التعليمات.

بقلم Atheerium5 دقائق قراءة
  • ai
  • data-quality
  • analytics
كل المقالات

المساعد لا يعرف شركتك؛ يقرأ ما يصله من خطوة البحث، فسقف جوابه هو ما عادت به تلك الخطوة. وإذا حمل نظامان نسختين مختلفتين من العميل نفسه أو السعر نفسه، اختار إحداهما أو خلط بينهما أو عرضهما بثقة واحدة، فجاء الخطأ في فقرة مصقولة لا في رسالة تنبيه. ينقلب الحكم في حالة واحدة: أن يكون السجل نظيفا ومالكه واحد، ويبقى السؤال محتاجا إلى حكم لا إلى بحث. أما إذا كان السجل نفسه موضع خلاف، فلا نموذج يحسمه.

ماذا يقرأ المساعد فعلا؟

النموذج لا يعرف السوق ولا المخزن ولا العملاء. يصله عدد من الصفوف أو المقاطع أو الوثائق اختارتها خطوة بحث لأنها تشبه السؤال، ويكتب منها جوابه. كل ما يمكن أن يصيب فيه أو يخطئ موجود داخل تلك المجموعة، ولا شيء خارجها.

هذا ينقل العمل إلى ما قبل النموذج: أي المصادر تدخل الفهرس، وكيف يحدد كل سجل، وكيف تدمج التكرارات، ومن يحق له استرجاع ماذا. النموذج الأفضل لا يصلح اختيارا خاطئا، بل يجعل الاختيار الخاطئ يقرأ أفضل.

لماذا يبدأ الإصلاح من سجل واحد لكل شيء؟

العميل الذي له رقمان هو عميلان عند البحث. صف يحمل «شركة بن علي»، وصف آخر «بن علي ش.ذ.م.م»، وثالث لا يحمل سوى رقم هاتف، ورابع هو المتجر نفسه باسمه القديم. تطلب مجموع ما عليه، فتحصل على واحد منها أو على مجموع ثلاثة.

الإصلاح تنظيمي قبل أن يكون تقنيا: نظام واحد يملك سجل العميل، وكل نظام آخر يشير إليه بمفتاح ثابت، ودمج التكرارات إجراء دوري له مالك باسمه. تستطيع أن تخبر المساعد أي مصدر هو المرجع، لكن تلك التعليمات لا تساوي شيئا ما دام المصدران يقبلان التعديل.

ما علاقة أسماء الأعمدة والوحدات بالجواب؟

اسم العمود هو الدليل الوحيد للنموذج على المعنى. «الكمية»، «qty»، «Qte»، «كمية_قطع» أربعة حقول لا صلة بينها عند خطوة البحث، مهما كانت واضحة لمن بنى الجدول. النموذج يقرأ العناوين ولا يدقق النية.

والوحدات تنتج الخطأ نفسه بخسارة أكبر: مخزون بالكيلوغرام في جدول وبالطن في آخر، وأسعار بالدينار في نظام المبيعات وبآلاف الدنانير في ملخص المالك. لا شيء يطلق إنذارا، وكل واحد منها ينتج رقما معقول الشكل وخاطئا بفارق مضاعف.

أمران يمنعان معظم ذلك: اسم واحد ووحدة واحدة لكل مفهوم، مكتوبان، وسطر وصف بجانب كل جدول. دليل اتحاد الويب العالمي (W3C) حول بيانات الويب ومفردات جودتها يعد هذه البيانات الوصفية جزءا من نشر البيانات لا زيادة عليها.

وماذا تفعل التكرارات بالعدد؟

تضاعفه. تسأل المساعد عن عدد العملاء الناشطين فيعد الصفوف لا الأشخاص: صيدلية في سطيف أدخلها مندوبان باسمين، ومورد ظهر مرة باسمه القانوني ومرة باسمه التجاري، ومنتج كتب مرة مع مقاسه ومرة دونه. كل تكرار جواب معقول، والمجموع المبني على التكرارات معقول أيضا.

الدمج مكانه الفهرس لا التعليمات. ادمج على مفتاح عملي، مثل رقم هاتف أو رقم سجل تجاري أو رمز داخلي، واجعل الدمج قابلا للتراجع.

من يحق له رؤية ما يسترجعه المساعد؟

الصلاحيات تنتمي إلى طبقة الاسترجاع. إذا بني الفهرس من كل وثائق الشركة وكان الضمان الوحيد جملة تطلب من النموذج إخفاء الرواتب، فتلك جملة رجاء لا ضابط. التعليمات توجه مولد نص، ولا تمنح صلاحية.

الشكل العملي هو ما تستعمله أنظمة المصدر عندك: تعرف على السائل، وحدد ما يجوز له فتحه، ثم رشح نتائج البحث قبل أن تجري. مدير مخزن يسأل عن المخزون لا ينبغي أن يسترجع عقد مورد كان البحث نفسه سيعرضه لمدير المالية. إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتقنية (NIST) يسمي هذا وظيفة الإدارة ويطلب توثيقها. عمليا: الفحص داخل الاستعلام، والجواب يبنى مما عاد فقط.

كيف تختبره قبل النشر؟

اكتب الأسئلة وأجوبتها قبل أن يوجد المساعد: من 30 إلى 50 سؤالا يسألها من سيستعمله فعلا، يجيب عن كل واحد من يعرف جوابه. أضف أسئلة لا تحملها الوثائق المفهرسة، لأن «لا أملك هذه المعلومة» جواب صحيح، والرقم المختلق عيب تريد اكتشافه هنا.

ثم يضع إنسان علامة على كل جواب:

المشكلة شكل الجواب ما يجب تغييره
نظامان وكيان واحد أرقام واثقة ومتفرقة مالك واحد ومفتاح واحد
أسماء أعمدة غامضة رقم معقول وخاطئ قاموس أسماء ووحدات
صلاحيات مفتوحة جواب صحيح لقارئ خاطئ الترشيح عند البحث

أعد التجربة بعد كل تغيير في نظام مصدر، وضع الموعد التالي في رزنامة. اختبار يجري مرة واحدة يقيس عرضا لا نظاما.

بأي ترتيب تعمل؟

  1. اكتب الأسئلة التي سيجيب عنها المساعد، ومن يسأل كل واحد منها.
  2. حدد النظام الذي يملك جواب كل سؤال.
  3. أصلح ما تكشفه الأسئلة: التكرارات، والأسماء، والوحدات، والحقول الإلزامية الفارغة.
  4. اكتب قواعد الصلاحيات لكل دور، وطبقها في الاستعلام.
  5. ابن مجموعة الأسئلة مع من يستعمل البيانات، لا مع من يبني الأنبوب وحده.
  6. علم الأجوبة بيدك وأحص الخطأ والمرفوض وغير الآمن.
  7. حدد النطاق من ذلك الحساب، وموعد الجولة التالية.

الخطوات الأربع الأولى تستغرق وقتا أطول من ربط نموذج، وهي التي تقرر هل يستحق المساعد وجوده.

أين يخطئ هذا كله

العرض النظيف. تجربة على أنظف ثلاثة جداول تثبت أن النموذج يستطيع العمل، ولا تقول شيئا عن الجداول التي تحمل الخلافات.

الجواب الذي يبدو ناجحا. تطلب مبيعات الشهر الماضي فتحصل على تصدير المحاسبة مضافا إلى متابعة مبيعات تشمله أصلا. الفقرة مكتوبة بإحكام، والرقم يقارب الضعف، ولا أحد يسأل حتى يصل إلى تقرير للبنك.

الصلاحيات في التعليمات. يكتب أحدهم تعليمة محكمة عن السرية، فيصوغ موظف آخر السؤال بطريقة مختلفة ويحصل على جدول رواتب، ولا يكتشف الأمر إلا بعد أشهر.

مشروع التنظيف بلا نهاية. «سنصلح البيانات أولا» هكذا تتوقف هذه المشاريع: لا تعريف لكلمة إصلاح، فلا ينشر المساعد ولا تنجز البيانات.

التغيير الصامت. يعاد تسمية عمود، أو تتغير وحدة في تصدير، أو يبدأ نظام سابق بإرسال حقل فارغ. لا شيء يفشل بصوت عال، والأجوبة تنزلق.

ما لا يغطيه هذا المقال

لا شيء هنا عن اختيار النموذج أو صياغة التعليمات أو تقدير كلفة كل سؤال؛ ذلك مهم ويأتي في المرتبة الثانية. ولا يتناول الأساس القانوني لمعالجة البيانات الشخصية ولا مدد الحفظ ولا قواعد القطاع، وهي أسئلة لمحام في بلدك. ويفترض أيضا أن الخلافات قابلة للحل: إذا كان فرعان في وهران وسطيف يحتفظان بسجلات منفصلة فعلا، فالدمج قرار إداري يسبق المساعد.

نبني السجل والتسمية والصلاحيات أولا، ثم نضع المساعد على بيانات يمكن التحقق من جوابها.

ابدأ مشروعًا

لديك شيء تريد بناءه؟

ملخص قصير يكفي. تحصل على نطاق مكتوب وسعر ثابت قبل أن يبدأ أي شيء.