حالة: إشراف بشري نجح فعلاً
«هناك دائماً إنسان في الحلقة»، طمأنني مزوّد رعاية صحية بشأن أداة فرز بالذكاء الاصطناعي. على الورق، صحيح — تؤكّد ممرّضة كل توصية. في الممارسة، كان الإشراف أجوف.
كانت الأداة صائبة كثيراً بما يكفي حتى صار تأكيدها انعكاساً. مئات المرات في الوردية، تنقر الممرّضة «قبول». تحلّل الإشراف البشري الحقيقي إلى ختم مطاطي — فخّ الأتمتة المعروف، حيث يدرّب نظام موثوق مُشرِفه على التوقّف عن الإشراف.
تطلب ISO 42001 إشرافاً بشرياً ذا معنى، و«ذا معنى» هي الكلمة الفاصلة. الإنسان الذي لا يستطيع الاختلاف واقعياً ليس إشرافاً؛ بل زينة تمنح طمأنينة زائفة.
أعدنا التصميم. صارت الأداة تُظهِر ثقتها ومنطقها، لا مجرّد حكم. الحالات منخفضة الثقة أو غير المعتادة تُوسَم لمراجعة حقيقية؛ والروتينية تتدفّق أسرع. صُرِف انتباه الممرّضة حيث يهمّ الحكم فعلاً، وجُعِل الاختلاف سهلاً وبلا لوم.
ارتفعت معدّلات التجاوز من شبه صفر إلى مستوى ذي دلالة — دليل أن الإشراف صار حقيقياً أخيراً. الدرس: الإنسان في الحلقة بلا قيمة ما لم تُصمَّم الحلقة كي يكون له وزن.