Datadog · Log Management
إدارة السجلات في Datadog: التجميع والتحليل والفهارس والأرشفة، بتطبيق من إنتركي
تجمع خدمة إدارة السجلات (Log Management) في Datadog السجلات من الخوادم والحاويات والخدمات السحابية والتطبيقات، وتحوّلها إلى حقول قابلة للبحث، ثم تتيح لكم البحث فيها والتنبيه عليها وأرشفتها من مكان واحد. وتفصل الخدمة بين استقبال السجل وفهرسته، فتجمعون كل السجلات ثم تقررون لكل نوع منها: ما يبقى متاحًا للبحث، وما يُحفظ مدة طويلة، وما يُكتفى منه بمؤشر رقمي. وتبيع إنتركي، بصفتها شريكًا رسميًا لـDatadog، تراخيص Datadog في المملكة، وتتولى تطبيق إدارة السجلات وتقديم الدعم الفني بعد التشغيل.
نُشر في 6 دقائق قراءة
الخلاصة
- ما تقدمه: تجميع السجلات وتحليلها والبحث فيها والتنبيه عليها وأرشفتها، إلى جانب المقاييس والتتبعات (Traces) في Datadog.
- كيف تصل السجلات: عبر Datadog Agent على الخوادم والحاويات، أو تكاملات الخدمات السحابية والخدمات بلا خوادم (Serverless)، أو أدوات شحن السجلات، أو واجهة HTTP API.
- كيف تصبح مفيدة: تحوّل مسارات المعالجة (Pipelines) الأسطر الخام إلى حقول مسماة تُستخدم في التصفية والتجميع.
- أين تُحفظ: في فهرس قياسي للتشخيص اليومي، أو في Flex Logs للحفظ الأطول والبحث المتقطع، أو في أرشيف داخل وحدة تخزين تملكونها، أو تُحوَّل إلى مؤشر رقمي فقط.
- البيانات الشخصية: تُحجب قبل خروجها من شبكتكم، أو تُفحص وتُحجب داخل Datadog.
- دور إنتركي: التراخيص، والتجميع، ومعيار التحليل، وتوجيه السجلات ومدد حفظها حسب نوعها، وصلاحيات الوصول، والتنبيهات، والدعم من الرياض.
كيف تعمل إدارة السجلات في Datadog
| المرحلة | ما الذي يحدث | ما الذي تقررونه |
|---|---|---|
| التجميع | يرسل Agent أو التكامل أو واجهة API كل سجل إلى موقع Datadog الخاص بحسابكم | المصادر المشمولة، وما يُصفّى أو يُحجب قبل الإرسال |
| المعالجة | تحلل المسارات كل سجل، وتحدد تاريخه والخادم والخدمة والحالة ونص الرسالة | أسماء الحقول التي تعتمدها كل الفرق |
| التوجيه | يذهب كل سجل إلى فهرس، أو إلى Flex Logs، أو إلى أرشيف، أو يتحول إلى مؤشر، أو إلى أكثر من وجهة | مدة الحفظ وإمكانية البحث لكل نوع من السجلات |
| البحث والتنبيه | البحث، والعرض المباشر (Live Tail)، والأنماط، والتحليلات؛ وتطلق أدوات المراقبة (Monitors) التنبيهات | من يرى أي سجلات، وما الحالات التي تستدعي تنبيه المناوب |
وترتبط السجلات بالتتبعات والمقاييس، فيقودكم الطلب البطيء في مراقبة أداء التطبيقات (APM) في Datadog مباشرةً إلى أسطر السجل المرتبطة به.
إيصال السجلات إلى Datadog
| المصدر | طريقة التجميع |
|---|---|
| خوادم Linux وWindows | Datadog Agent بعد تفعيل جمع السجلات. يتابع الملفات، ويستقبل عبر TCP أو UDP، ويحجب القيم، ويجمع السجلات متعددة الأسطر مثل تتبعات الأخطاء (Stack Traces) |
| الحاويات | يقرأ Agent مخرجات الحاويات على Docker وKubernetes وRed Hat OpenShift وAmazon ECS وECS Fargate، ويُضبط لكل حاوية عبر الوسوم (Labels) |
| التطبيقات | أداة التسجيل الموجودة لديكم، مع جمع Agent لمخرجاتها. وتوثق Datadog لغات Java وPython وGo وRuby و.NET وPHP وNode.js ومنصات الجوال |
| الخدمات السحابية والخدمات بلا خوادم | تكاملات الخدمات السحابية، وأداة إعادة توجيه قائمة على Lambda لأحمال Serverless |
| أدوات الشحن الحالية وأي مصدر آخر | Syslog وغيرها من أدوات الشحن الشائعة، أو واجهة HTTP API للسجلات في Datadog عبر HTTPS |
وهناك ثلاثة حدود مهمة. تقبل واجهة API سجلات يصل حجمها إلى 1 MB، وتوصي Datadog بألا يتجاوز السجل 25 KB. ويُرفض السجل الذي يزيد عمر تاريخه على 18 ساعة. واستقبال السجلات عبر OpenTelemetry (OTLP) من خلال Agent معطّل افتراضيًا.
تحليل السجلات عبر مسارات المعالجة
تشغّل مسارات المعالجة (Pipelines) في Datadog معالِجات متتابعة على كل سجل يطابق مرشّح المسار. فيستخرج محلل Grok الحقول من النص الحر، وتحدد معالجات إعادة التعيين (Remappers) التاريخ الرسمي والخدمة والحالة والرسالة ومعرّف التتبع.
- مسارات التكامل تُضاف تلقائيًا للمصادر المعروفة، وهي للقراءة فقط. ولتعديل أحدها انسخوه ثم عدّلوا النسخة.
- المرشّحات تعمل قبل المعالِجات، فلا يستطيع المسار اختيار السجلات بحقل يستخرجه هو نفسه.
- أبقوا المسارات صغيرة. توصي Datadog بألا يزيد المسار على 20 معالِجًا، ولا يزيد محلل Grok على 10 قواعد تحليل.
- اتفقوا على معيار تسمية واحد، ليحمل
statusوserviceوenvالمعنى نفسه في سجلات كل الفرق.
أين يذهب كل سجل
لأن الاستقبال منفصل عن الفهرسة، يمكن لكل سجل مُستقبَل أن يظهر في العرض المباشر، وأن يغذي المؤشرات، وأن يُؤرشف، سواء فُهرس أم لا. وهنا يتركز معظم عمل التصميم.
| الوجهة | الأنسب لـ | مدة الحفظ | البحث والتنبيه |
|---|---|---|---|
| فهرس قياسي (Standard Index) | سجلات التطبيقات والخدمات المستخدمة في التشخيص اليومي | تُحدد لكل فهرس | بحث كامل، وأدوات مراقبة للسجلات |
| Flex Logs | سجلات الأمن والمعاملات والشبكات التي تُحفظ أشهرًا ويُبحث فيها من حين لآخر | من 30 إلى 450 يومًا مع سعة المعالجة القابلة للتوسع؛ أو 3 أو 6 أو 12 أو 15 شهرًا مع Flex Logs Starter | قابلة للبحث؛ ولا تدعم أدوات المراقبة ولا Watchdog |
| الأرشيف | سجلات التدقيق والإعدادات التي تُحفظ طويلًا ونادرًا ما تُقرأ | ما دامت وحدة التخزين لديكم تحتفظ بها | استعادة السجلات من الأرشيف (Rehydration) أو البحث فيه عند الحاجة |
| مؤشر مبني على السجلات | السجلات كثيرة العدد التي يهم اتجاهها أكثر من كل سطر فيها | تُحفظ المؤشرات بدقة 10 ثوانٍ لمدة 15 شهرًا | رسوم بيانية وتنبيهات على المؤشرات |
- الفهارس لكل منها مدة حفظ خاصة، وتُبعد مرشحات الاستبعاد (Exclusion Filters) سجلات محددة عن الفهرس دون حذفها من العرض المباشر أو المؤشرات أو الأرشيف.
- الأرشيف يستقبل كل السجلات المُستقبَلة، مفهرسة أو غير مفهرسة، ويُكتب بصيغة JSON مضغوطة في وحدة تخزين تملكونها على Amazon S3 أو Google Cloud Storage أو Azure Storage. ويمكن أن يكون لكل أرشيف مرشّح خاص.
- المؤشرات المبنية على السجلات تُحسب من كل السجلات المُستقبَلة، وتُفوتَر كمقاييس مخصصة (Custom Metrics)، فتجنبوا تجميعها حسب معرّفات المستخدمين أو الطلبات.
ويشرح دليل تكلفة سجلات Datadog أثر هذه الاختيارات في الفاتورة، وكيف تُحدد مدة الحفظ لكل نوع من السجلات.
البحث في السجلات والتنبيه عليها
في مستكشف السجلات (Log Explorer) تبحث الفرق في السجلات وتجمعها وتعرضها رسومًا بيانية، وتطّلع على أنماطها، وتحفظ طرق العرض التي تستخدمها كثيرًا. ويعرض Live Tail السجلات المفهرسة وغير المفهرسة في وقت شبه فوري.
وتُطلق أداة مراقبة السجلات (Log Monitor) تنبيهًا عندما تتجاوز السجلات المطابقة حدًا معينًا خلال فترة زمنية: عدد السجلات، أو عدد القيم الفريدة، أو قيمة رقمية مثل زمن الاستجابة. وتحكم تصميم التنبيهات قاعدتان:
- أدوات مراقبة السجلات تقيّم السجلات المفهرسة فقط، وفي الفئة القياسية وحدها. فالسجلات المحفوظة في Flex Logs أو الأرشيف فقط لا تطلق تنبيهًا.
- أطول نافذة زمنية متحركة يومان. وللاتجاهات الأطول، ضعوا التنبيه على مؤشر مبني على السجلات.
البيانات الشخصية وصلاحيات الوصول في السجلات
كثيرًا ما تحمل السجلات أسماء وأرقام جوالات وأرقام هويات وطنية وأرقام بطاقات لم يقصد أحد جمعها، ويُتعامل معها في ثلاثة مواضع:
- في الشيفرة. لا تسجّلوا محتوى الطلبات ولا الحقول الشخصية أصلًا.
- داخل شبكتكم. تشغّل خدمة Observability Pipelines برنامجًا (Worker) داخل بنيتكم التحتية يمكنه حجب البيانات الشخصية والأسرار قبل خروج السجلات.
- داخل Datadog. تكتشف أداة Sensitive Data Scanner القيم الحساسة وتحجبها كليًا أو جزئيًا أو تحوّلها إلى قيمة مجزّأة (Hash). وعند تشغيلها في السحابة يكون الفحص بعد الإرسال، أي أن البيانات تخرج من بيئتكم قبل حجبها.
اقرأ المزيد
ويمكن أيضًا تقييد الوصول حسب الدور، عبر استعلامات تقييد (Restriction Queries) لا يرى بها الفريق إلا السجلات المطابقة لاستعلامه. وحتى نوفمبر 2026 لا تضم قائمة Datadog أي موقع لمراكز البيانات في الشرق الأوسط. ويشرح دليل مكان بيانات Datadog ما الذي يصل إلى Datadog وأين يُخزَّن. كما تقدم إنتركي مراجعة لقواعد حجب البيانات الشخصية في بيانات المراقبة: نختبر قواعد الحجب الحالية لديكم على الصيغ السعودية، مثل أرقام الجوال والهوية الوطنية، وعلى القيم التي تشبهها فقط.
روابط ذات صلةدليل مكان بيانات Datadog
كيف تُفوتَر السجلات في Datadog
تحتسب Datadog إدارة السجلات القياسية بوحدتين: الجيجابايت المُستقبَلة، وملايين السجلات المفهرسة. أما Flex Logs فيُحتسب تخزينها لكل مليون سجل محفوظ، وسعة المعالجة فيها بسعر ثابت لكل حجم، فيما تُحتسب Flex Logs Starter بسعر مجمّع للتخزين والمعالجة. وتُعدّ المؤشرات المبنية على السجلات مقاييس مخصصة. والسعر النهائي يحدده عرض Datadog.
كيف تطبّق إنتركي إدارة السجلات
- حصر السجلات. المصادر، وحجمها اليومي، ومستخدموها، وأنواعها مثل سجلات التطبيقات والأمن والتدقيق والتشخيص.
- التراخيص. عرض سعر لتراخيص Datadog بحسب الأحجام ومدد الحفظ المطلوبة.
- التجميع. Agent والتكاملات، وحجب القيم من المصدر عند الحاجة، ومعالجة السجلات متعددة الأسطر.
- معيار التحليل. مسارات المعالجة، ومعيار موحد لتسمية الحقول، وربط السجلات بالتتبعات.
- التوجيه ومدد الحفظ. الفهارس، ومرشحات الاستبعاد، وFlex Logs، والأرشيف، والمؤشرات المبنية على السجلات، لكل نوع.
- الصلاحيات والتنبيهات. استعلامات التقييد، وقواعد الحجب، وأدوات المراقبة التي يجب أن تنبّه المناوب.
- الدعم. دعم فني بعد التشغيل، ومراجعات دورية للأحجام والتنبيهات المزعجة، ثم التشغيل من الرياض أو التسليم لفريقكم مع التوثيق.
وتتولى إنتركي تقييم Datadog وتطبيقها وتشغيلها للجهات في المملكة، وفريق التطبيق في الرياض ويعمل بالعربية والإنجليزية. تعرّفوا على خدمات إنتركي لتطبيق Datadog.
روابط ذات صلةتعرّفوا على خدمات إنتركي لتطبيق Datadog
أسئلة شائعة
هل يلزم فهرسة كل سجل نرسله؟
لا. الاستقبال منفصل عن الفهرسة. والسجلات التي تستبعدونها من الفهارس تبقى ظاهرة في العرض المباشر، ويمكن أن تولّد مؤشرات، وتُؤرشف أيضًا.
هل يمكن أن تبقى السجلات داخل المملكة؟
تُعالج السجلات المرسلة في موقع Datadog الخاص بحسابكم، وحتى نوفمبر 2026 لا يوجد أي منها في الشرق الأوسط. ولمنع حقول أو سجلات معينة من الخروج أصلًا، احجبوها أو استبعدوها داخل شبكتكم، من المصدر أو عبر Observability Pipelines.
هل تبيع إنتركي تراخيص Datadog؟
نعم. تبيع إنتركي تراخيص Datadog، وتتولى تطبيقها وتقديم الدعم الفني لها في المملكة.
نرسل سجلاتنا إلى Datadog حاليًا، فهل يمكنكم المساعدة؟
نعم. نبدأ بمراجعة ما تجمعونه، وطريقة تحليله وتوجيهه، والتنبيهات التي تُطلق، ثم نعالج الثغرات.
التالي
اقرأ أيضًا
الخطوة التالية
اطلبوا خطة لإدارة السجلات
أخبرونا بالأنظمة التي تصدر عنها سجلاتكم، وبحجمها اليومي التقريبي، وبالمدة التي يجب حفظ كل نوع منها. وسنرد عليكم بخطة مقترحة للتجميع والتوجيه، وبالتراخيص التي تحتاجها.
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية