بوابة الذكاء الاصطناعي · ضوابط الأوامر والبيانات
حقن الأوامر (Prompt Injection) وتسرّب البيانات: ما الذي تستطيع بوابة الذكاء الاصطناعي إيقافه، وما الذي لا تستطيعه
حقن الأوامر نصٌّ يغيّر ما يفعله النموذج اللغوي: يكتبه المستخدم، أو يكون مخفيًا في مستند أو صفحة ويب أو رسالة بريد إلكتروني يُطلب من النموذج قراءتها. وتضعه OWASP في أول قائمتها لمخاطر تطبيقات النماذج اللغوية، وتذكر أنه لا يُعرف حتى الآن هل توجد طريقة منع مضمونة تمامًا. تخفّف بوابة الذكاء الاصطناعي هذا الخطر بتصفية الأوامر، وإزالة البيانات الشخصية، ووضع سقوف للاستخدام قبل وصول الطلبات إلى النموذج. أما ما يستطيع الأمر المحقون فعله فعلًا، فتحدّه الصلاحيات التي تمنحونها للتطبيق ووكلائه. توضح هذه الصفحة موقع كل ضابط، وما يوثّقه Kong AI Gateway لكل منها، ولماذا تحتاج الأوامر العربية إلى اختبارات خاصة بها.
نُشر في 6 دقائق قراءة
الخلاصة في أربع نقاط
- نوعان من الحقن: مباشر يُكتب في الأمر نفسه، وغير مباشر يأتي في محتوى يقرؤه النموذج، مثل ملف مرفوع أو صفحة ويب.
- دور البوابة: قواعد للأوامر، وفحص دلالي، وإزالة للبيانات الشخصية، وفحص للردود، وحدود للرموز (Tokens)، تُطبَّق على كل التطبيقات في مكان واحد.
- دور التطبيق: أقل الصلاحيات للوكلاء، وموافقة بشرية على الإجراءات عالية الخطورة، وفصل المحتوى غير الموثوق، وفحص المخرجات قبل أن تستخدمها أنظمة أخرى.
- العربية تحتاج إلى مجموعة اختبار خاصة بها. قوائم المنع المكتوبة بالإنجليزية لا تطابق الصياغة العربية، ونماذج اللغات الموثّقة لدى Kong لإزالة البيانات الشخصية لا تشمل العربية.
الحقن المباشر والحقن غير المباشر
الحقن المباشر يكون في الأمر نفسه: يكتب المستخدم تعليمات تهدف إلى تجاوز قواعد النظام، كأن يطلب منه تجاهل تعليماته والكشف عنها.
الحقن غير المباشر يصل عبر محتوى يعالجه النموذج نيابةً عن المستخدم. فمساعد خدمة العملاء الذي يلخّص رسالة بريد إلكتروني أو مرفقًا قد يصادف تعليمات مخفية في ذلك النص، وقد ينفّذها إن لم يوقفه شيء. وهذه الحالة أصعب، لأن المستخدم الذي يتسبب فيها قد لا يعلم بوجودها.
أين يقع كل ضابط
| خطر OWASP للنماذج اللغوية (2025) | ما تستطيعه بوابة الذكاء الاصطناعي | ما يجب أن يتولاه التطبيق ووكلاؤه |
|---|---|---|
| LLM01 Prompt Injection (حقن الأوامر) | حجب الأوامر التي تطابق قواعد المنع أو تشبه أوامر هجوم معروفة | فصل المحتوى غير الموثوق عن التعليمات، وتقييد ما يمكن أن تطلقه مخرجات النموذج |
| LLM02 Sensitive Information Disclosure (كشف المعلومات الحساسة) | إزالة البيانات الشخصية من الأوامر قبل وصولها إلى المزوّد، وفحص الردود | عدم تزويد النموذج ببيانات لا يحق للمستخدم رؤيتها |
| LLM05 Improper Output Handling (سوء التعامل مع المخرجات) | فحص الردود مقابل قواعد الردود | التحقق من مخرجات النموذج وتهيئتها قبل وصولها إلى المتصفح أو استعلام قاعدة بيانات أو نظام آخر |
| LLM06 Excessive Agency (الصلاحيات المفرطة) | تقييد استدعاءات الوكلاء للأدوات عبر OAuth2، بحيث تتطلب إجراءات الكتابة صلاحيات أضيق من إجراءات القراءة | منح الوكلاء الأدوات والصلاحيات التي تحتاجها المهمة فقط، واشتراط موافقة بشرية على الإجراءات عالية الخطورة |
| LLM07 System Prompt Leakage (تسرّب تعليمات النظام) | تطبيق قوالب أوامر موحّدة على كل الفرق | إبقاء الأسرار وقواعد الوصول خارج تعليمات النظام أصلًا |
| LLM10 Unbounded Consumption (الاستهلاك غير المحدود) | حدود للرموز والتكلفة لكل مستهلك | وضع حدود لكل مستخدم داخل التطبيق حيث تحتاجها الأعمال |
لا يكتمل أي من هذه الضوابط وحده. عمود البوابة أسرع في التطبيق لأنه يغطي كل التطبيقات دفعة واحدة، وعمود التطبيق هو الذي يمنع الأمر المحقون من إحداث ضرر.
ما يوثّقه Kong AI Gateway لكل ضابط
| الضابط | كما يوثّقه Kong | ما ينبغي معرفته قبل الاعتماد عليه |
|---|---|---|
| AI Prompt Guard | قوائم سماح ومنع من التعابير النمطية (Regular Expressions) تُطبَّق على رسائل المستخدم؛ ومطابقة قاعدة منع، أو عدم مطابقة أي قاعدة سماح، تؤدي إلى رفض الطلب | الأنماط لا تطابق إلا ما تكتبونه. قوائم المنع الإنجليزية لا تلتقط الصياغة العربية، والصياغات الجديدة تتجاوز الأنماط القديمة |
| AI Semantic Prompt Guard | يسمح بالأوامر أو يحجبها بحسب تشابهها مع قوائم من الأوامر النموذجية، فيمكن التقاط المحاولات المكتوبة بلغة طبيعية | يحتاج إلى نموذج تضمين (Embeddings) وقاعدة بيانات متجهية. ويُرسَل نص الأمر إلى مزوّد التضمين الذي تختارونه، وهذا مكان إضافي تذهب إليه أوامركم. ودعم اللغات المتعددة يعتمد على ذلك النموذج. وهو جزء من عرض AI Gateway Enterprise لدى Kong |
| AI Sanitizer | يزيل البيانات الشخصية، مثل أرقام الهواتف وعناوين البريد الإلكتروني وأرقام البطاقات وأرقام الهوية الوطنية، قبل وصول الطلب إلى النموذج، عبر خدمة إخفاء هوية منفصلة؛ ويمكنه إعادة القيم الأصلية في الرد | يوثّق Kong نماذج لغوية مضمّنة للإنجليزية والإسبانية والفرنسية والألمانية والإيطالية واليابانية والكورية والبرتغالية والتركية، وليس بينها العربية؛ والأنماط المخصّصة مدعومة. وهو جزء من العرض المؤسسي (Enterprise) |
| AI Semantic Response Guard | يفحص رد النموذج بمقارنته بأمثلة مسموحة وممنوعة بحسب التشابه، لالتقاط المحتوى غير الآمن أو غير الملتزم قبل وصوله إلى المستخدم | يحتاج إلى نموذج تضمين وقاعدة بيانات متجهية، مثل الفحص الدلالي للأوامر. وقرّروا ماذا يحدث للرد المحجوب ومن يراجعه. وهو جزء من العرض المؤسسي (Enterprise) |
| AI Prompt Template | أوامر وتعليمات افتراضية موحّدة تشترك فيها كل الفرق | القوالب تقلّل التفاوت، لكنها لا تجعل التعليمات سرّية |
| AI Rate Limiting Advanced | حدود للرموز والتكلفة لكل مستهلك أو مجموعة مستهلكين | جزء من العرض المؤسسي (Enterprise) |
| ضوابط مزوّدي السحابة أنفسهم | يمكن أن يفرض Kong الضوابط عبر خدمة الأمان والسلامة لدى مزوّد سحابي إن كنتم تستخدمونها | تحقّقوا من المكان الذي تعالج فيه تلك الخدمة الأمر |
ينتقل Kong AI Gateway في الإصدار 2 من نموذج الإضافات إلى نموذج الكيانات، لذلك قد تتغير الأسماء والإعدادات بين الإصدارات. راجعوا الوثائق الخاصة بالإصدار الذي ستنشرونه.
الأوامر العربية تحتاج إلى مجموعة اختبار خاصة بها
تظهر فجوتان بمجرد أن تكون الأوامر بالعربية.
الصياغة. قاعدة منع لعبارة "ignore your instructions" لا تطابق الطلب نفسه مكتوبًا بالعربية. والفحص الدلالي يعتمد على مدى إتقان نموذج التضمين للعربية. ابنوا مجموعة الهجمات باللغتين، وبالخليط العربي الإنجليزي الذي يكتبه المستخدمون فعلًا.
الأرقام. قد تصل الأرقام بالأرقام الهندية المشرقية (١٢٣ بدلًا من 123)، كأن تُكتب بلوحة مفاتيح عربية. اختبرنا أنماطًا شائعة لأرقام الهوية الوطنية السعودية (\b[12]\d{9}\b) وأرقام الجوال (\b(?:\+?966|0)5\d{8}\b) في محرّكين للتعابير النمطية: لم يطابق أيٌّ منهما ١٠٩٨٧٦٥٤٣٢ ولا ٠٥١٢٣٤٥٦٧٨، لأن الأنماط تبدأ بأرقام غربية. أما نمط الهوية الوطنية الذي يحدد نطاقي الأرقام صراحةً فطابق الصيغتين:
اقرأ المزيد
(?<![0-9\x{0660}-\x{0669}])[12\x{0661}\x{0662}][0-9\x{0660}-\x{0669}]{9}(?![0-9\x{0660}-\x{0669}])
وبالطريقة نفسها، طابق نمط أرقام الجوال الصيغ 05… و9665… و+9665… بصيغتي الأرقام:
(?<![0-9\x{0660}-\x{0669}])(?:\+?(?:966|\x{0669}\x{0666}\x{0666})|[0\x{0660}])[5\x{0665}][0-9\x{0660}-\x{0669}]{8}(?![0-9\x{0660}-\x{0669}])
ومثل نمط الهوية البسيط، يطابق النمط الأول أيضًا أي رقم آخر من 10 خانات يبدأ بـ 1 أو 2، مثل الطابع الزمني يونكس بالثواني، فطبّقوه فقط حيث يمكن أن تظهر أرقام الهوية. والنمطان مكتوبان بصيغة PCRE التي يوثّقها Kong لإضافة AI Prompt Guard. أما Python وJavaScript فتحتاجان إلى طريقة أخرى لكتابة نطاقات Unicode، والمحرّكات التي لا تدعم النظر إلى الخلف (Look-behind)، مثل محرّك Go، ترفض النمطين. وقد شغّلناهما في PCRE وPerl وPython وJavaScript، لا داخل Kong: فشغّلوا أنماطكم داخل البوابة، وداخل خدمة إخفاء الهوية التابعة لـ AI Sanitizer إن أضفتم إليها أنماطًا مخصّصة، على عيّنات عربية وإنجليزية، قبل التشغيل الفعلي.
اختبروا قبل الإطلاق
- ابنوا مجموعة هجمات: حقن مباشر وغير مباشر بالعربية والإنجليزية والنص المختلط، إضافة إلى أوامر تحمل بيانات شخصية بصيغتي الأرقام.
- أضيفوا أوامر عادية يجب أن تمر، لتقيسوا الحجب الخاطئ إلى جانب ما يفلت.
- مرّروا المجموعتين عبر البوابة في بيئة غير إنتاجية، وسجّلوا ما حُجب وما أفلت وما حُجب خطأً.
- عدّلوا القواعد وأعيدوا التشغيل كلما تغيّرت القواعد أو النماذج أو إصدارات البوابة.
- في بيئة الإنتاج، تابعوا الطلبات المحجوبة لكل تطبيق، وحدّدوا من يتولى مراجعتها.
وإن كانت إعداداتكم توفّر وضع مراقبة لقاعدةٍ ما، فابدؤوا به؛ وإلا فاعتمدوا على التشغيل غير الإنتاجي أعلاه، وحوّلوا القواعد إلى الحجب بعد فهم حالات الحجب الخاطئ.
كيف تساعدكم إنتركي
تنفّذ إنتركي منصة Kong وتشغّلها للمنشآت في السعودية، من الرياض، بالعربية والإنجليزية. وفي حركة الذكاء الاصطناعي ينطبق الترتيب نفسه المتّبع في واجهات API: جرد التطبيقات التي تستدعي النماذج، وأي النماذج، وبأي بيانات، ثم سياسة تُكتب مع فريق الأمن لديكم، ثم ضبط ضوابط البوابة أعلاه وفقها، واختبارها بمجموعات هجمات عربية وإنجليزية قبل الإطلاق. وتبقى صلاحيات تطبيقاتكم ووكلائكم قرارًا تصميميًا لفرقكم؛ نساعد في تحديدها، وتفرض البوابة ما تستطيع فرضه منها.
أسئلة يطرحها العملاء
هل تمنع بوابة الذكاء الاصطناعي حقن الأوامر؟
تخفّف الخطر ولا تزيله. وتذكر OWASP أنه لا يُعرف حتى الآن هل توجد طريقة منع مضمونة تمامًا. فاجمعوا بين قواعد البوابة وتقييد صلاحيات الوكلاء والموافقة البشرية على الإجراءات عالية الخطورة.
هل يرسل الفحص الدلالي أوامرنا إلى أي جهة؟
نعم. يوثّق Kong أنه يرسل نص الأمر إلى مزوّد التضمين الذي تضبطونه. وإن وجب أن تبقى الأوامر داخل المملكة، فاستخدموا نموذج تضمين يعمل حيث تسمح سياستكم.
هل تعمل إزالة البيانات الشخصية بالعربية؟
النماذج اللغوية المضمّنة الموثّقة لدى Kong لا تشمل العربية. والأنماط المخصّصة مدعومة، فيمكن إضافة الصيغ السعودية، وينبغي اختبار كل نمط على عيّنات عربية، بما فيها الأرقام الهندية المشرقية.
هل نحتاج إلى الترخيص المؤسسي من Kong؟
لعدد من هذه الضوابط، نعم: يوثّق Kong أن الفحص الدلالي للأوامر والردود وإزالة البيانات الشخصية وحدود الرموز المتقدمة جزء من عرض AI Gateway Enterprise. وترخيص Kong يُسعَّر وفق شروط Kong.
هل نبدأ بالحجب أم بالتسجيل فقط؟
ابدؤوا بالتسجيل حيث أمكن، وراجعوا ما كان سيُحجب، ثم حوّلوا القواعد إلى الحجب. فالحجب دون هذه المراجعة كثيرًا ما يوقف مستخدمين مشروعين.
التالي
صفحات ذات صلة
الخطوة التالية
ناقشوا ضوابط الذكاء الاصطناعي لديكم
أخبرونا بالتطبيقات التي تستدعي النماذج وأي النماذج، ونوع البيانات التي تحملها الأوامر، وهل يستطيع الوكلاء تنفيذ إجراءات في أنظمتكم. يردّ عليكم أحد المختصين في فريق الرياض في أيام العمل السعودية، بالعربية أو الإنجليزية.
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية