Datadog · LLM Observability

مراقبة تطبيقات الذكاء الاصطناعي التوليدي باستخدام Datadog: الطلبات والزمن والكلفة والجودة

تُظهر مراقبة تطبيقات الذكاء الاصطناعي التوليدي ما فعله التطبيق فعلًا في كل طلب: النص الذي أرسله إلى النموذج (الـ prompt)، والمستندات التي استرجعها، والأدوات التي استدعاها الوكيل الذكي، والوقت الذي استغرقته كل خطوة، وعدد الرموز (tokens) المستهلكة، والكلفة، وهل كانت الإجابة صحيحة ومفيدة. ويسجّل Datadog LLM Observability ذلك في تتبّعات يمكن البحث فيها وقياسها وتقييمها. وتبيع إنتركي، الشريك الرسمي لـ Datadog، تراخيص Datadog في المملكة، وتجهّز تطبيقاتكم للتتبع، وتقدّم الدعم الفني بعد الإطلاق.

خطّطوا لمراقبة تطبيق الذكاء الاصطناعي ما الذي يتتبّعه

الخلاصة

  • المشكلة: قد يكون تطبيق الذكاء الاصطناعي التوليدي يعمل وسريعًا، ومع ذلك يجيب إجابات خاطئة. ومراقبة الخوادم لا تكشف إجابة غير صحيحة، ولا رقم جوال تسرّب في إجابة، ولا فاتورة رموز تضاعفت.
  • ما يسجّله Datadog: كل طلب في صورة تتبّع (trace)، فيه span لكل استدعاء للنموذج ولكل استرجاع ولكل أداة ولكل خطوة من خطوات الوكيل، مع زمن الاستجابة والأخطاء واستهلاك الرموز والكلفة.
  • كيف تُقاس الجودة: مقيّمات جاهزة من Datadog، ومقيّمات تكتبونها بأسلوب «النموذج حكمًا» (LLM-as-a-judge)، ونتائج اختباراتكم، وتقييمات المستخدمين.
  • العلاقة مع Kong AI Gateway: البوابة تضبط كل استدعاء للنموذج وتسجّله، والمراقبة تشرح ما جرى داخل التطبيق قبل الاستدعاء وبعده.
  • ما تقدّمه إنتركي: التراخيص، وتجهيز التطبيقات للتتبع، وتصميم التقييمات، وضوابط البيانات الشخصية، ولوحات المتابعة والتنبيهات، والدعم الفني من الرياض.

Datadog LLM Observability باختصار

Datadog LLM Observability: إجابات مختصرة
السؤالالإجابة المختصرة
ما الذي يُتتبَّعاستدعاء واحد للنموذج، أو مسار عمل ثابت، أو تشغيل كامل لوكيل ذكي، مع span لكل خطوة
ما الذي يُقاسزمن الاستجابة والأخطاء واستهلاك الرموز والكلفة لكل طلب ولكل خطوة
كيف تُجهَّز التطبيقاتحِزم SDK للغات Python وNode.js وJava، أو واجهة HTTP API من Datadog للغات الأخرى
كيف تُقيَّم الجودةمقيّمات جاهزة ومخصصة، ونتائج تقييم خارجية، وتقييمات المستخدمين
كيف تُحتسب التكلفةعلى الـ LLM spans المستقبَلة، بحسب توثيق Datadog
أين تذهب البياناتإلى موقع Datadog لديكم، وحتى نوفمبر 2026 لا تُدرج Datadog أي موقع لها في الشرق الأوسط

ما الذي تحتاجه مراقبة تطبيقات الذكاء الاصطناعي التوليدي

تسأل مراقبة التطبيقات المعتادة: هل الخدمة تعمل، وما سرعة استجابتها؟ أما تطبيق الذكاء الاصطناعي التوليدي فيحتاج إلى أكثر من ذلك، لأن أعطاله في الغالب صامتة. يجيب النموذج بلغة غير لغة السؤال، أو يسترجع نسخة قديمة من سياسة داخلية، أو يستدعي الوكيل الأداة نفسها خمس مرات، أو يعود كل طلب خلال ثانيتين ويحمل للعميل رقمًا غير صحيح.

ويستخدم المشترون أسماء مختلفة لهذه الحاجة: مراقبة نماذج اللغة الكبيرة (LLM monitoring)، ومراقبة الذكاء الاصطناعي (AI observability)، ومراقبة GenAI. وفي التطبيق العملي تشمل ستة أمور:

اقرأ المزيد
  • المسار الكامل للطلب: النص الذي بُني للنموذج، والسياق الذي استُرجع، وكل استدعاء للنموذج وكل استدعاء لأداة، بالترتيب.
  • زمن كل خطوة، لتعرفوا هل ذهب الوقت إلى النموذج أم إلى البحث في قاعدة المتجهات أم إلى واجهة API لديكم.
  • الرموز والكلفة لكل طلب ولكل ميزة ولكل نموذج، حتى ترى الإدارة المالية مصدر إنفاق الذكاء الاصطناعي.
  • الأخطاء، ومنها انتهاء مهلة المزوّد، والطلبات المرفوضة، واستدعاءات الأدوات التي فشلت.
  • جودة الإجابة، وتُقاس بقواعد، أو بنموذج يؤدي دور الحَكَم، أو بمراجعة بشرية.
  • الأمان والخصوصية، مثل محاولات حقن التعليمات (prompt injection) والبيانات الشخصية في الأسئلة أو الإجابات.

وتبدأ الفرق عادةً بواحد من أربعة تطبيقات:

  • مساعد داخلي يجيب من مستندات الموارد البشرية أو السياسات: جودة الاسترجاع، والكلفة لكل إدارة، والإجابة باللغة الصحيحة.
  • محادثة آلية بالعربية للعملاء: الإجابات البطيئة أو الفاشلة، والبيانات الشخصية في المحادثات، وتقييمات المستخدمين.
  • البحث في مستندات الجهة (RAG): هل استُخدم السياق المسترجَع، وأي الأسئلة ليس لها مصدر مناسب.
  • وكلاء أذكياء يستدعون واجهات API داخلية: الحلقات المتكررة، والاستدعاءات المكررة للأدوات، والخطوات التي ترفع الكلفة.

أما مراقبة نماذج التعلم الآلي (ML observability)، أي متابعة النماذج التي تدرّبونها بأنفسكم من حيث انحراف البيانات والدقة، فهي مجال قريب لكنه مختلف. وهذه الصفحة عن التطبيقات التي تستدعي نماذج اللغة الكبيرة.

كيف يؤدي Datadog LLM Observability هذه المهام

يحمل المنتج في توثيق Datadog الحالي اسم Agent Observability، بينما لا تزال الروابط وكثير من المراجع تستخدم اسم LLM Observability. وهذه المهام كما توثّقها Datadog.

ما توثّقه Datadog في LLM Observability حسب المهمة
المهمةما توثّقه Datadog
التتبّعيتحوّل كل طلب إلى تتبّع، وتغطي الـ spans كل قرار يتخذه الوكيل وكل خطوة في مسار العمل
الالتقاطيسجّل التجهيز التلقائي رسائل الإدخال والإخراج، واستهلاك الرموز متى توفّر، وزمن الاستجابة، والأخطاء، ومعاملات النموذج
القياسلوحات متابعة جاهزة للكلفة وزمن الاستجابة والأداء واتجاهات الاستخدام
التقييممقيّمات جاهزة مثل Language Mismatch وSensitive Data Scanning، ومقيّمات مخصصة بأسلوب LLM-as-a-judge، وتقييمات خارجية تُرسل عبر واجهة API
المراجعةتقييمات المستخدمين، وقوائم مراجعة (annotation queues) لمراجعة بشرية منظّمة للتتبّعات
فهم الاستخدامتجمع ميزة Patterns أسئلة المستخدمين في موضوعات، لتُظهر ما يسألون عنه وكيف تتغير جودة الإجابات مع الوقت
كشف المشكلات المتكررةتحلّل ميزة Insights التتبّعات بحثًا عن مشكلات متكررة في الكلفة أو الاعتمادية، مع السبب والدليل والإصلاح المقترح
حماية البياناتيفحص Sensitive Data Scanner المدخلات والمخرجات ويحجب ما يجده من معلومات حساسة، وتُرصد محاولات حقن التعليمات

تتغير أسماء الميزات بين إصدارات Datadog، والمرجع هو توثيق Datadog نفسه، ونتحقق مما هو متاح على موقع Datadog لديكم أثناء التصميم.

تجهيز تطبيق الذكاء الاصطناعي التوليدي للتتبع

توفّر Datadog حِزم SDK للغات Python (الإصدار 3.7 فما بعده) وNode.js (الإصدار 16 فما بعده) وJava (الإصدار 8 فما بعده)، وتوصي باستخدامها. وتدعم كل حزمة التجهيز التلقائي، الذي يلتقط استدعاءات النماذج في الأطر المدعومة دون تعديل الكود، والتجهيز المخصص، الذي يتيح لمطوّريكم تحديد مسارات العمل وخطوات الوكيل واستدعاءات الأدوات والجلسات بأنفسهم. أما التطبيقات المكتوبة بلغات أخرى فترسل الـ spans ونتائج التقييم عبر واجهة HTTP API من Datadog.

اقرأ المزيد

ويغطي التجهيز التلقائي مزوّدي نماذج شائعين، منهم OpenAI وAzure OpenAI وAmazon Bedrock وAnthropic وGoogle Vertex AI، إضافة إلى عدد من أطر الوكلاء الأذكياء، والقائمة أوسع في Python وأضيق في Java. وتذكر Datadog كذلك أنها تدعم اصطلاحات OpenTelemetry الدلالية للذكاء الاصطناعي التوليدي (GenAI semantic conventions). ونطابق مكوّنات تطبيقكم مع القائمة الحالية قبل التسعير، لأن أي إطار خارجها يعني كتابة spans مخصصة.

وإن كانت خدماتكم مُتتبَّعة أصلًا عبر مراقبة أداء التطبيقات Datadog APM، فاعتمدوا معيار وسوم واحدًا للاثنين. وتوثّق Datadog تكامل OpenAI في APM على أنه منفصل عن LLM Observability، لذا نتفق معكم على ما تستخدمه كل خدمة.

روابط ذات صلةمراقبة أداء التطبيقات Datadog APM

تقييم جودة الإجابات، ومنها الإجابات العربية

التتبّع يخبركم بما حدث، والتقييم يخبركم هل كان صحيحًا. ابدؤوا بأسئلة قليلة تهمّ العمل أصلًا: هل أجاب المساعد باللغة التي سُئل بها؟ هل بقي في الموضوعات المعتمدة؟ هل استند إلى المستند المسترجَع؟ هل كشف بيانات شخصية؟

وسؤال اللغة مهم في التطبيقات السعودية. فمقيّم Language Mismatch من Datadog يشير إلى الإجابات المكتوبة بلغة غير لغة السؤال، فيكشف حالة العميل الذي سأل بالعربية وجاءه الرد بالإنجليزية. أما الفحوص التي تعتمد على المعنى، مثل مطابقة الإجابة العربية للسياسة الأصلية، فالأنسب كتابتها مقيّمات مخصصة بأسلوب LLM-as-a-judge واختبارها على أمثلة عربية حقيقية، لأن تعليمات الحَكَم التي تنجح بالإنجليزية قد تتصرف تصرفًا مختلفًا بالعربية.

ويحتاج حقن التعليمات إلى تصميم مستقل. فالرصد في منصة المراقبة يُظهر المحاولات بعد وقوعها، أما منعها فمكانه البوابة والتطبيق. ويتناول دليل الحماية من حقن التعليمات الضوابط في الجانبين.

روابط ذات صلةدليل الحماية من حقن التعليمات

المراقبة وبوابة Kong AI Gateway: أيهما يجيب عن ماذا

كثيرًا ما يُخلط بين الاثنين، ومعظم بيئات الإنتاج تستخدمهما معًا. فالبوابة نقطة تحكّم يمرّ بها كل استدعاء للنموذج، والمراقبة سجلّ لما فعله التطبيق حول هذه الاستدعاءات.

Kong AI Gateway وDatadog LLM Observability حسب السؤال
السؤالKong AI GatewayDatadog LLM Observability
أي فريق يستدعي أي نموذجتقرّر ذلك وتفرضهتُظهر النماذج التي استُدعيت
كم يحق لكل فريق أن ينفقتفرض حدودًا للرموز والكلفةتعرض استهلاك الرموز والكلفة لكل طلب ولكل خطوة
البيانات الشخصية في الأسئلةتحجبها قبل أن يغادر النص شبكتكمتفحص ما يصل إلى التتبّعات وتحجبه
لماذا جاءت إجابة بطيئة أو خاطئةترى استدعاء النموذج وحدهترى الاسترجاع والأدوات وخطوات الوكيل والتقييمات
هل تتحسن الجودةليست من مهامهاالتقييمات وأنماط الموضوعات وتقييمات المستخدمين مع الوقت

توثّق Kong سجلات استخدام فيها عدد الرموز وزمن الاستجابة والكلفة، عبر سجلات التدقيق ومُصدِّرات المقاييس وOpenTelemetry. ونصمّم طريقة وصول هذه السجلات إلى منصة المراقبة بحسب الإصدارات التي تشغّلونها. وتعرض صفحة Kong AI Gateway جانب التحكّم.

الأسئلة والبيانات الشخصية وإقامة البيانات في السعودية

تحمل الأسئلة والإجابات كل ما يكتبه المستخدم: الأسماء، وأرقام الجوال، وأرقام الهوية الوطنية أو الإقامة، وبيانات الحسابات. وهي نص حر، بخلاف المقاييس. وDatadog منصة SaaS، وحتى نوفمبر 2026 تقع مواقعها الموثّقة في الولايات المتحدة وألمانيا واليابان وأستراليا والمملكة المتحدة، ولا موقع منها في الشرق الأوسط. فحدّدوا التطبيقات التي يجوز أن ترسل الأسئلة والإجابات كاملة، والتي ترسلها محجوبة، والتي ترسل البيانات الوصفية وحدها مثل زمن الاستجابة والرموز والكلفة.

وتوازن الجهات السعودية ذلك مع نظام حماية البيانات الشخصية الذي تشرف عليه الهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا)، ومع تصنيف بياناتها الداخلي. ويعمل مهندسو إنتركي في الرياض على ذلك مع فرق الأمن وحماية البيانات لديكم بالعربية أو الإنجليزية، ويعرض دليل إقامة بيانات Datadog الخيارات المتاحة.

روابط ذات صلةالهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا)دليل إقامة بيانات Datadog

ما الذي يحدد الكلفة

يذكر توثيق Datadog أن LLM Observability يُقاس ويُفوتر على الـ LLM spans المستقبَلة، والـ LLM span طلب واحد إلى مزوّد النموذج. لذا قد ينتج تشغيل واحد للوكيل عدة spans تدخل في الفاتورة. وتتبع الكلفة حجم الطلبات، وعدد استدعاءات النموذج في كل طلب، وهل تُتتبَّع كل البيئات أم بيئة الإنتاج وحدها. والمقيّمات المخصصة بأسلوب LLM-as-a-judge تستدعي نموذجًا هي أيضًا، لذا نؤكد طريقة احتساب هذه الاستدعاءات عند إعداد عرض السعر. والأسعار المعلنة في دليل أسعار Datadog.

روابط ذات صلةدليل أسعار Datadog

كيف يسير مشروع المراقبة مع إنتركي

  1. اختيار التطبيق الأول.

    تطبيق ذكاء اصطناعي توليدي واحد له مستخدمون فعليون، والأسئلة التي يريد العمل إجابتها عنه.

  2. تسعير التراخيص.

    تراخيص Datadog بحسب الـ LLM spans المتوقعة، مع التطبيق والدعم الفني.

  3. الاتفاق على قواعد البيانات.

    ما يُرسل كاملًا، وما يُرسل محجوبًا، وما يُرسل بياناتٍ وصفية فقط، بالاتفاق مع فرق الأمن وحماية البيانات.

  4. تجهيز التطبيق للتتبع.

    تجهيز تلقائي حيث تكون المكوّنات مدعومة، وspans مخصصة لمسارات العمل والوكلاء والأدوات.

  5. تصميم التقييمات.

    تفعيل المقيّمات الجاهزة، وكتابة مقيّمات مخصصة واختبارها على أمثلة عربية وإنجليزية.

  6. بناء لوحات المتابعة والتنبيهات.

    عروض للكلفة وزمن الاستجابة والجودة لكل تطبيق، وتنبيهات تحدد الخطوة وأول ما يجب فحصه.

  7. التشغيل أو التسليم.

    تشغّل إنتركي المنصة من الرياض، أو تسلّمها لفريقكم مع التوثيق وتبقى داعمًا فنيًا.

أسئلة يطرحها العملاء

ما الفرق بين مراقبة تطبيقات الذكاء الاصطناعي التوليدي ومراقبة أداء التطبيقات APM التي نستخدمها؟

تُظهر APM أين ذهب الوقت بين الخدمات. وتضيف مراقبة تطبيقات الذكاء الاصطناعي التوليدي ما يختص به هذا النوع من التطبيقات: الأسئلة والإجابات، وخطوات الاسترجاع والأدوات، والرموز، والكلفة، وتقييم جودة الإجابة. ومعظم الفرق تستخدم الاثنين بمعيار وسوم واحد.

أي مزوّدي النماذج يستطيع Datadog تتبّعهم دون تعديل الكود؟

يغطي التجهيز التلقائي في Datadog مزوّدين منهم OpenAI وAzure OpenAI وAmazon Bedrock وAnthropic وGoogle Vertex AI، إضافة إلى عدد من أطر الوكلاء الأذكياء، والتغطية أوسع في Python. وما كان خارج القائمة يُتتبَّع بـ spans مخصصة أو عبر واجهة HTTP API.

هل تُخزَّن أسئلة المستخدمين وإجابات الذكاء الاصطناعي خارج المملكة؟

ما ترسلونه يُخزَّن على موقع Datadog لديكم، وحتى نوفمبر 2026 لا يوجد موقع منها في الشرق الأوسط. ويمكنكم إرسال الأسئلة محجوبة، أو إرسال البيانات الوصفية وحدها مثل زمن الاستجابة والرموز والكلفة، للتطبيقات التي لا يجوز أن تغادر بياناتها.

كيف يُرخَّص Datadog LLM Observability وكيف تُحتسب تكلفته؟

توثّق Datadog الفوترة على الـ LLM spans المستقبَلة، أي span واحد لكل طلب إلى مزوّد النموذج. وتبيع إنتركي تراخيص Datadog في المملكة، وتسعّرها مع التطبيق والدعم الفني في عرض واحد.

هل نحتاج إلى Kong AI Gateway إلى جانب المراقبة؟

ليس في البداية. فالمراقبة تشرح ما فعله التطبيق، والبوابة تضبط أي النماذج تستدعيها الفرق، وكم تنفق، وما البيانات التي تغادر. والجهات التي فيها عدة فرق تستدعي النماذج تنتهي غالبًا إلى استخدام الاثنين.

كم يستغرق تجهيز أول تطبيق ذكاء اصطناعي للمراقبة؟

تقديرنا بضعة أسابيع لتطبيق واحد على مكوّنات مدعومة. وما يحدد المدة: كتابة spans مخصصة للأطر غير المدعومة، والاتفاق على قواعد البيانات، وكتابة المقيّمات واختبارها بالعربية والإنجليزية.

التالي

اقرأ أيضًا

تطبيق Datadog وتشغيله مراقبة أداء التطبيقات باستخدام Datadog بوابة الذكاء الاصطناعي من Kong الحماية من حقن التعليمات في تطبيقات الذكاء الاصطناعي توثيق LLM Observability (من Datadog)

الخطوة التالية

خطّطوا لمراقبة تطبيق الذكاء الاصطناعي

أخبرونا بتطبيق الذكاء الاصطناعي التوليدي الذي تريدون مراقبته، والمكوّنات التي بُني بها، والنماذج التي يستدعيها، ونوع البيانات في أسئلته. ويمكننا تسعير تراخيص Datadog والإعداد والدعم الفني معًا.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو ما الذي يتتبّعه

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.