المعمارية16 ديسمبر 20258 دقائق للقراءة

الغلاف ليس معمارية أمان

معظم منتجات AI للأطفال اليوم أغلفة رقيقة حول نموذج واحد مع مطالبة نظام ومرشح ألفاظ. معمارية الأمان الحقيقية مختلفة تمامًا.

Joe Brownبقلم Joe Brown

إذا فتحت معظم منتجات AI الموجهة للأطفال خلال العامين الماضيين فستجد الشيء نفسه: نموذجًا أساسيًا واحدًا، ومطالبة نظام طويلة تطلب منه بأدب ألا يكون غير آمن، وقائمة ألفاظ محظورة، وربما استدعاءً لواجهة API للإشراف عند الخروج. هذا غلاف يصلح نموذجًا أوليًا، لكنه ليس معمارية أمان لمنتج يستخدمه الأطفال.

ما الغلاف فعلًا؟

يأخذ الغلاف رسالة المستخدم ويضيف مطالبة ويستدعي النموذج وربما يجري فحصًا واحدًا ثم يعيد الإجابة. تعيش استراتيجية الأمان كلها في مطالبة النظام وتدريب النموذج، وكلاهما خارج سيطرتك. يمكن تجاوز المطالبة بصياغة ذكية ويتغير السلوك كلما حدّث المزود النموذج.

تفشل الأغلفة بطرق متوقعة: يعثر الأطفال مصادفة على حقن المطالبات، وتنحرف محادثات تقمص الأدوار خطوة بعد أخرى، ويختلق النموذج حقائق بثقة، ويتحول موضوع آمن في الجولة الأولى إلى خطر في الخامسة عشرة لأن أحدًا لا يراقب المحادثة ككل.

كيف تبدو المعمارية؟

تتعامل معمارية الأمان مع النموذج كمكوّن داخل نظام مصمم حول الطفل لا حول مربع الدردشة. تتكون من طبقات، لكل طبقة مهمة واضحة.

طبقة المدخلات: سياق العمر والهوية وتصنيف النية وتنظيف المطالبات ووسم المخاطر. طبقة السياسات: قواعد الفئات العمرية وقوائم الموضوعات وقيود الاسترجاع وصلاحيات الأدوات. طبقة التوليد: توجيه النموذج ومخرجات منظمة وإشراف أثناء البث. طبقة المخرجات: إعادة صياغة مناسبة للعمر وفحوص نبرة ومصادر. طبقة الرصد: سجلات ودرجات وتصعيد وشفافية للوالدين. طبقة الحوكمة: اختبارات خصومية وتراجع وبطاقات نماذج وDPIA.

لماذا يهم ذلك أكثر للأطفال

يستطيع البالغ غالبًا تجاوز إجابة سيئة، أما الطفل فقد يحفظ الخطأ الواثق كحقيقة، أو يفسر النبرة الودودة كعلاقة، أو يحول اقتراحًا سيئًا إلى تحدٍ. كلفة الجولة غير الآمنة غير متكافئة، ولهذا لا تكفي مطالبة واحدة ونموذج واحد.

الاختبار الصادق

لو حذفت مطالبة النظام غدًا، هل يبقى المنتج آمنًا؟ إن كانت الإجابة لا فلديك غلاف. وإن كانت نعم لأن طبقات مستقلة ترصد الخطر قبل وصوله إلى الطفل، فلديك معمارية. الأطفال يستحقون الثانية.