خطوط بيانات المراقبة في السعودية: تصفية السجلات وحجبها وتوجيهها قبل خروجها

في معظم البيئات يرسل كل خادم وتطبيق كل سطر من سجلاته إلى منصة المراقبة، ثم تأتي القرارات بعد ذلك: ما الذي يُفهرس، وما الذي يُستبعد، وأي سطر حمل رقم هوية وطنية. وعندها تكون البيانات قد غادرت شبكتكم.

خط بيانات القياس عن بُعد (telemetry pipeline) ينقل هذه القرارات إلى البداية. وتصف Datadog خدمة Observability Pipelines بأنها طريقة لجمع السجلات والمقاييس ومعالجتها داخل بنيتكم التحتية: يستقبل الـ Worker السجلات من الوكلاء وأدوات الشحن الموجودة لديكم، ويطبّق القواعد التي تحددونها، ثم يرسل كل سجل إلى مكانه. وفي Datadog تُبنى خطوط البيانات من القوالب في شاشة Pipelines، ويُدار منها الـ Worker.

فإن كنتم تستخدمون Datadog Log Management فخط البيانات يقف أمامها ويقرر ما يصل إليها.

تقليل الحجم بالمعالِجات لا بالتخمين

من معالِجات السجلات التي توثّقها Datadog: Filter وSample وDeduplicate وThrottle وQuota وReduce. فالـ Filter يستبعد ما يطابق استعلامًا، كفحوص السلامة أو أسطر التصحيح (debug)، والـ Sample يحتفظ بنسبة من تدفق كثير الضجيج.

ومعالِج Quota هو الذي تسأل عنه الإدارة المالية. فهو يضع حدًا يوميًا للسجلات المطابقة، بعدد الأحداث أو بالبايت، ويمكن تقسيمه بحسب الخدمة أو البيئة أو الحالة حتى لا تستهلك خدمة واحدة كثيرة الضجيج حصة الجميع. وعند بلوغ الحد يستطيع خط البيانات استبعاد السجلات الزائدة، أو الإبقاء عليها، أو إرسالها إلى تخزين احتياطي في Amazon S3 أو Azure Blob أو Google Cloud Storage. وتذكر Datadog أن العدّ بين أجهزة الـ Worker يتزامن بضع مرات في الدقيقة، فقد تتجاوز دفعة مفاجئة الحد، ولذلك توصي بإضافة Throttle إلى Quota.

روابط ذات صلةدليل تكلفة سجلات Datadog

يعمل معالِج Sensitive Data Scanner داخل الـ Worker، فتتغير القيم المطابقة قبل أن يغادر السجل مقرّكم. ويستخدم قواعد مكتبة Datadog الجاهزة أو تعبيرات نمطية (regex) تكتبونها. وعند المطابقة يستطيع استبدال القيمة بنص تحددونه، أو حجب جزء منها، أو تحويلها إلى معرّف فريد بالتجزئة (hash). وتنص Datadog على أن هذه الإجراءات الثلاثة لا يمكن التراجع عنها، وهذا هو المطلوب: ما يُحجب داخل المملكة لا يمكن استرجاعه في مكان آخر.

وتُكتب الأنماط المحلية، كأرقام الهوية الوطنية والإقامة وأرقام الجوال وأرقام IBAN، قواعدَ مخصصة، وتُختبر على عينات حقيقية قبل تفعيلها. ويعرض دليل حجب البيانات الشخصية في بيانات المراقبة طبقات الحماية الثلاث، وموقع هذه الطبقة بين الحجب في المصدر والحجب في Datadog.

روابط ذات صلةدليل حجب البيانات الشخصية في بيانات المراقبة

Datadog منصة SaaS، وحتى نوفمبر 2026 تقع مواقعها الموثّقة في الولايات المتحدة وألمانيا واليابان وأستراليا والمملكة المتحدة، ولا موقع منها في الشرق الأوسط. ولا تغيّر Observability Pipelines مكان تخزين Datadog لما ترسلونه إليها، وإنما تغيّر ما ترسلونه.

• يحتاج إلى اتصال خارجي بموقع Datadog لديكم. يشترط دليل التثبيت من Datadog مفتاح API مفعّلًا للإعداد عن بُعد (Remote Configuration)، ويذكر نقاط Datadog التي يجب أن يسمح بها الجدار الناري.
• السجلات التي يجب أن تبقى تذهب إلى وجهة أخرى. فالأرشيف والتخزين الاحتياطي والوجهات الأخرى تختارونها أنتم، فيمكن توجيه السجلات التي لا يجوز خروجها إلى تخزين أو أدوات داخل المملكة.

روابط ذات صلةسدايادليل إقامة بيانات Datadogدليل إقامة البيانات في السعودية

• يناسبكم حين تكون أحجام السجلات كبيرة، أو تحتاج عدة فرق إلى السجلات نفسها في أدوات مختلفة، أو تحدد قواعد إقامة البيانات ما يجوز خروجه.
• قد لا تحتاجون إليه حين تكون الأحجام معتدلة وDatadog هي الوجهة الوحيدة، فقد تكفي فلاتر الاستبعاد والحجب في Datadog Agent.
• لا يصلح التسجيل السيئ. فالتطبيق الذي يسجّل كل طلب بمستوى debug يُصحَّح من المصدر.
• لا يعالج التتبعات. ففي التتبعات يتولى OpenTelemetry Collector العمل داخل الشبكة.

ومن المصادر المدعومة Datadog Agent وFluentd وFluent Bit وsyslog وHTTP وKafka وOpenTelemetry، فتبقى أدوات الشحن الموجودة في الغالب كما هي.