Datadog · مراقبة Kafka

مراقبة Kafka في السعودية: الوسطاء وتأخر المستهلكين وزمن الوصول الكامل في Datadog

تُخبركم مراقبة Kafka هل تصل الأحداث التي تقوم عليها أعمالكم في وقتها: هل الوسطاء (brokers) سليمون، وكم تأخرت كل مجموعة مستهلكين عن آخر رسالة، وكم يستغرق الحدث من الخدمة التي أنتجته حتى آخر خدمة تقرؤه. ويقرأ Datadog مقاييس الوسطاء عبر JMX، ومواضع القراءة (offsets) لدى المستهلكين من الوسطاء أنفسهم، ويضيف Data Streams Monitoring زمن الوصول لكل مسار عبر المواضيع وطوابير الرسائل. وتبيع إنتركي تراخيص Datadog في المملكة، وتُعدّ التكاملات، وتبني لوحات المتابعة والتنبيهات، وتقدّم الدعم الفني من الرياض.

ارسموا خريطة مسارات Kafka لديكم ما الذي يُراقب

الخلاصة

  • ما الذي تغطيه: وسطاء Kafka، والمواضيع (topics) والأقسام (partitions)، ومجموعات المستهلكين ومقدار تأخرها، والخدمات التي تنتج الأحداث وتستهلكها.
  • كيف تُجمع البيانات: يشغّل Datadog Agent فحص Kafka عبر JMX على كل وسيط، وفحص Kafka Consumer مقابل الوسطاء، ويضيف Data Streams Monitoring زمن المسار من الخدمات المنتجة والمستهلكة لديكم.
  • ويغطي أيضًا: Kafka على Kubernetes مع Strimzi، وAmazon MSK، وRabbitMQ وغيره من طوابير الرسائل.
  • لمن هي: فرق المنصات والتكامل التي تشغّل أنظمة قائمة على الأحداث، مثل المدفوعات والإشعارات ونسخ البيانات.
  • ما الذي تقدّمه إنتركي: التراخيص، وإعداد الـ Agent والتكاملات، والوسوم، وتنبيهات التأخر وزمن الوصول، ولوحات المتابعة، والدعم الفني بالعربية والإنجليزية.

نظرة سريعة: ما الذي يُراقب في Kafka ومن أين يقرؤه Datadog

مراقبة Kafka ليست سؤالًا واحدًا، بل عدة أسئلة لكل منها مصدر مختلف. وحين تُقرأ معًا تُظهر هل البطء في الوسيط أم في المستهلك أم في الخدمة التي قبله.

إشارات مراقبة Kafka ومصدرها في Datadog
الإشارةمن أين يقرؤها Datadogما السؤال الذي تجيب عنه
صحة الوسطاءفحص Kafka: مقاييس JMX مثل الأقسام ناقصة النسخ (under-replicated partitions) وزمن الطلباتهل العنقود نفسه سليم، وهل النسخ المتماثلة متوافقة؟
تأخر المستهلكين بعدد الرسائلفحص Kafka Consumer: مواضع القراءة لدى الوسيط ولدى المستهلك لكل قسمكم رسالة بقيت على كل مجموعة مستهلكين لتقرأها
تأخر المستهلكين بالثوانيData Streams Monitoring، من الخدمات المنتجة والمستهلكة المزوّدة بالقياسكم عمر الأحداث التي يقرؤها المستهلك الآن
زمن الوصول من البداية إلى النهايةData Streams Monitoring، عبر المواضيع والطوابير والخدماتكم يستغرق الحدث ليعبر المسار كاملًا
المنتجون والمستهلكونتتبعات APM وخريطة المسارات في Data Streamsأي خدمة تكتب في كل موضوع وأيها تقرأ منه
الخوادم وJVM والحاوياتDatadog Agent ومراقبة البنية التحتيةهل لدى الخوادم والـ pods تحت Kafka الموارد التي تحتاجها

ما الذي ينبغي أن تغطيه مراقبة Kafka

في البنوك وشركات الاتصالات يقع Kafka في الغالب بين أهم الأنظمة: يُنشر كل تحويل حدثًا، فتقرؤه خدمة فحص الاحتيال وخدمة الإشعارات، ثم يقرؤه دفتر الحسابات أو منصة البيانات مرة أخرى. وحين يشكو عميل من بطء تحويل، قد يكون الوسيط سليمًا تمامًا بينما تتأخر مجموعة مستهلكين واحدة ساعة كاملة.

لذلك تغطي مراقبة طوابير الرسائل الجيدة ثلاث طبقات. الأولى العنقود: الوسطاء والأقسام والنسخ المتماثلة والخوادم التي تعمل عليها. والثانية المستهلكون: كم تأخرت كل مجموعة، بعدد الرسائل وبالوقت. والثالثة المسار: الوقت من أول خدمة منتجة إلى آخر خدمة مستهلكة، عبر كل موضوع بينهما. ومقاييس الوسطاء وحدها تجيب عن الطبقة الأولى فقط، أما Datadog فيغطي الثلاث، وتربط بينها وسوم الخدمة والبيئة نفسها المستخدمة في بقية المنصة.

مقاييس الوسطاء ومراقبة تأخر المستهلكين في Kafka

الوسطاء. يجمع فحص Kafka في Datadog مقاييس الوسطاء عبر JMX، باستخدام JMXFetch في الـ Agent. ويذكر Datadog أن ذلك يحتاج إلى JVM على كل عقدة Kafka، ويكفي الـ JVM الذي يعمل عليه Kafka أصلًا. وتغطي المقاييس النسخ المتماثلة ووحدة التحكم (controller) والشبكة والطلبات، ومنها مقاييس KRaft. ويضع Datadog حدًا قدره 350 مقياسًا لكل نسخة من الفحص، لذلك تختار إنتركي في العناقيد الكبيرة المقاييس التي تُجمع بدل جمع كل شيء.

اقرأ المزيد

التأخر بعدد الرسائل. يقرأ فحص Kafka Consumer آخر موضع في كل قسم من الوسطاء، ويقارنه بالموضع الذي ثبّتته كل مجموعة مستهلكين. ومن مقاييسه التأخر لكل قسم ولكل مجموعة. ويأتي الفحص مع الـ Agent، ويعمل من خادم أو حاوية قريبة من المستهلكين، دون إضافة أي شيء إلى الوسطاء.

التأخر بالثواني. تأخر 10,000 رسالة لا يعني شيئًا في موضوع مزدحم، ويعني تأخيرًا كبيرًا في موضوع هادئ، فيصبح التنبيه على عدد الرسائل وحده إما كثير الضجيج وإما متأخرًا. ويقيس Data Streams Monitoring التأخر بالثواني بين المنتج والمستهلك، وهو أسهل في وضع حدود التنبيه. ويوثّق Datadog ذلك لخدمات Java ابتداءً من الإصدار 1.9.0 من مكتبة التتبع الخاصة بها، ويذكر أن kafka-clients 3.7.x، التي يستخدمها Spring Boot 3.3.x، لا تدعم حساب هذا التأخر. وتشرح صفحة مراقبة البنية التحتية الـ Agent على الخوادم تحت Kafka.

روابط ذات صلةصفحة مراقبة البنية التحتية

Data Streams Monitoring: زمن الوصول الكامل عبر المواضيع

يتابع Data Streams Monitoring الحدث من الخدمة التي أنتجته، مرورًا بكل موضوع أو طابور، حتى كل خدمة تستهلكه. ويصفه Datadog بأنه يقيس صحة المسار بزمن الوصول من البداية إلى النهاية للأحداث التي تعبر أنظمتكم، مع حجم البيانات المارّة بالبايت وتأخر المستهلكين. وتُظهر خريطة المسارات أي الخدمات المنتجة والمستهلكة تعتمد على أي طابور، ويمكن إنشاء مراقب لأي مسار، مثل المسار من واجهة الدفع البرمجية إلى خدمة دفتر الحسابات.

اقرأ المزيد

ويعمل بنقل السياق داخل ترويسات الرسائل (headers). ويُفعَّل بمتغير بيئة واحد هو DD_DATA_STREAMS_ENABLED=true على كل خدمة ترسل الرسائل أو تستهلكها، وتتولى مكتبات Datadog الباقي. ويذكر Datadog أن الخدمات التي ترسل بيانات APM عبر OpenTelemetry لا تحتاج إلى إعداد إضافي. واللغات المدعومة بحسب Datadog هي Java وPython و.NET وNode.js وGo وRuby، ومن التقنيات Apache Kafka وRabbitMQ وAmazon SQS وAmazon SNS وAmazon Kinesis وGoogle Pub/Sub وAzure Service Bus وIBM MQ.

ولأنه يعمل داخل خدماتكم، يأتي Data Streams Monitoring مع Datadog APM، إذ تضمّنه Datadog في APM Pro وAPM Enterprise. فتُظهر التتبعات الطلب الذي أنتج الحدث، وتُظهر خريطة المسارات أين ذهب الحدث بعد ذلك.

مراقبة Strimzi وAmazon MSK ومراقبة RabbitMQ

Kafka على Kubernetes مع Strimzi. يقرأ فحص Strimzi في Datadog مقاييس Prometheus الخاصة بمشغّلات Strimzi الثلاثة (Cluster وTopic وUser)، ابتداءً من الإصدار 7.47.0 من الـ Agent. أما الوسطاء أنفسهم فتبقى مراقبتهم بفحصي Kafka وKafka Consumer، ويُضبطان عبر Autodiscovery حتى تُلتقط الـ pods الجديدة للوسطاء فور تشغيلها.

Amazon MSK. يذكر Datadog أن فحص Kafka لديه لا يُستخدم مع Amazon MSK، وأن لـ MSK تكاملًا خاصًا به: يقرأ الـ Agent، من جهاز عميل، مقاييس Prometheus التي يتيحها MSK بعد تفعيل المراقبة المفتوحة (open monitoring)، أو يقرأ زاحفٌ مقاييس MSK من CloudWatch دون حاجة إلى الـ Agent.

RabbitMQ. يقرأ فحص RabbitMQ في Datadog إما إضافة Prometheus، التي يفعّلها RabbitMQ افتراضيًا ابتداءً من الإصدار 3.8، وإما إضافة الإدارة (management plugin). ويغطي الطوابير، والرسائل المنشورة والمسلَّمة والمؤكَّدة والمعاد تسليمها، والمستهلكين، وذاكرة العُقد وأقراصها وواصفات الملفات فيها.

أين تستخدمها الفرق في المملكة

  • أحداث المدفوعات والتحويلات. تنبيه على التأخر بالثواني لمجموعات المستهلكين التي تقف خلف مسار الدفع، يصل إلى الفريق المسؤول عنها قبل أن يلاحظ العملاء أي تأخير.
  • أحداث الاستخدام والإشعارات في الاتصالات. مواضيع عالية الحجم يتغير معدلها خلال اليوم، فتنفع فيها حدود زمن الوصول أكثر من عدد ثابت للرسائل.
  • التقاط تغييرات البيانات إلى Kafka. تُلتقط تغييرات قواعد البيانات وتُنشر في Kafka لتقرأها أنظمة أخرى. ويشرح دليل التقاط تغييرات البيانات هذا النمط، ويُدرج موقع iblync نفسه Apache Kafka بين الأنظمة التي يربطها؛ وانظروا النسخ المتماثل الفوري مع iblync. وتُظهر المراقبة حينها هل الهدف متأخر عن المصدر بدقائق أم بثوانٍ.
  • نقل Kafka إلى Kubernetes. العرض نفسه للوسطاء والتأخر قبل الانتقال إلى Strimzi وبعده، فيظهر أي تراجع من اليوم الأول.

روابط ذات صلةدليل التقاط تغييرات البياناتالنسخ المتماثل الفوري مع iblync

إقامة البيانات والدعم المحلي

Datadog منصة SaaS، وحتى نوفمبر 2026 تقع مواقعها الموثّقة في الولايات المتحدة وألمانيا واليابان وأستراليا والمملكة المتحدة، ولا موقع منها في الشرق الأوسط. وترسل فحوص Kafka وKafka Consumer وRabbitMQ مقاييس عن الوسطاء والمواضيع والأقسام ومجموعات المستهلكين، لا محتوى الرسائل نفسها. لكن أسماء المواضيع ومجموعات المستهلكين والوسوم وسجلات الوسطاء قد تحمل معرّفات، لذلك تتفق إنتركي مع فريق الأمن لديكم على ما يُجمع، وكيف تُسمّى المواضيع في Datadog، وأي حقول السجلات تُحذف قبل أن تغادر شبكتكم. ويتناول دليل إقامة بيانات Datadog هذا السؤال بتوسّع. ويأتي الدعم من مهندسي إنتركي في الرياض، بالعربية والإنجليزية، خلال أيام عملكم.

روابط ذات صلةدليل إقامة بيانات Datadog

كيف يسير مشروع مراقبة Kafka مع إنتركي

  1. رسم خريطة المسارات.

    العناقيد والمواضيع ومجموعات المستهلكين والخدمات على كل طرف، بدءًا بالمسارات التي تعتمد عليها أعمال المنشأة.

  2. تسعير التراخيص.

    خوادم البنية التحتية للوسطاء، وAPM مع Data Streams Monitoring للخدمات المنتجة والمستهلكة، مسعّرة مع التطبيق والدعم الفني.

  3. إعداد جمع بيانات الوسطاء والتأخر.

    JMX على الوسطاء، وفحصا Kafka وKafka Consumer، أو تكامل MSK أو Strimzi، بمراجعة فريق المنصات لديكم.

  4. تفعيل Data Streams Monitoring.

    خدمة بعد خدمة عبر خط النشر لديكم، بدءًا بأهم مسار.

  5. الاتفاق على الوسوم ثم البناء.

    معيار واحد للخدمة والبيئة والفريق والعنقود، ثم مراقبات للتأخر وزمن الوصول تسمّي المسؤول.

  6. مراجعة الضجيج والتكلفة.

    حجم التنبيهات والمقاييس المجموعة وحجم السجلات، تُراجع بعد الأسابيع الأولى في الإنتاج.

  7. التشغيل أو التسليم.

    تشغّل إنتركي المنصة من الرياض، أو تسلّمها لفريقكم مع التوثيق وتبقى داعمًا فنيًا.

ما الذي يحدد التكلفة والمدة

تتحدد تكلفة Datadog بعدد الخوادم التي يعمل عليها الـ Agent، ومنها الوسطاء، وعدد الخدمات التي تحتاج إلى APM وData Streams Monitoring، وحجم السجلات التي تُفهرس وتُحفظ، ومقدار ما يجمعه كل تكامل. ويشرح دليل أسعار Datadog لدينا كيف يُحتسب كل منتج، وتسعّر إنتركي التراخيص مع الإعداد والدعم في عرض واحد.

والمدة تقدير لا وعد. فمقاييس الوسطاء والتأخر بعدد الرسائل تصل عادة خلال أيام من الاتفاق على الوصول إلى JMX والشبكة. أما Data Streams Monitoring على المسارات المهمة فيستغرق في العادة بضعة أسابيع، لأن كل خدمة تُعدَّل عبر خط النشر الخاص بها. وأهم ما يحدد المدة عدد العناقيد، ومكتبات العملاء وإصداراتها، وسرعة الموافقة على تغييرات خدمات الإنتاج.

روابط ذات صلةدليل أسعار Datadog لدينا

أسئلة يطرحها العملاء

هل يعرض Datadog تأخر مستهلكي Kafka بالثواني لا بعدد الرسائل فقط؟

نعم، عبر Data Streams Monitoring الذي يقيس التأخر بالثواني بين المنتج والمستهلك في الخدمات المزوّدة بالقياس. أما فحص Kafka Consumer فيقيس التأخر بعدد الرسائل لكل قسم ومجموعة، دون تعديل خدماتكم.

هل نحتاج إلى تثبيت شيء على وسطاء Kafka لدينا؟

لمقاييس الوسطاء نعم: تفعيل JMX وتشغيل Datadog Agent على خادم كل وسيط، باستخدام الـ JVM الذي يعمل عليه Kafka. أما التأخر بعدد الرسائل فيقرؤه Agent آخر من الوسطاء دون إضافة شيء إليهم.

هل يراقب Datadog منصة Kafka على Strimzi أو Amazon MSK؟

نعم. على Strimzi يقرأ فحص من Datadog المشغّلات، وتقرأ فحوص Kafka الوسطاء عبر Autodiscovery. ولـ Amazon MSK تكامل خاص به في Datadog، لأن فحص Kafka المعتاد لا يعمل معه.

هل ترسل مراقبة Kafka محتوى رسائلنا إلى خارج السعودية؟

ترسل فحوص Kafka مقاييس عن الوسطاء والمواضيع ومجموعات المستهلكين، لا محتوى الرسائل، إلى موقع Datadog خارج المملكة. وتتفق إنتركي مع فريق الأمن لديكم على الأسماء والوسوم وحقول السجلات التي تُجمع.

كيف يُرخَّص Data Streams Monitoring للفرق في المملكة؟

تضمّن Datadog خدمة Data Streams Monitoring في APM Pro وAPM Enterprise، وتُحتسب لكل مضيف APM. وتبيع إنتركي تراخيص Datadog في المملكة وتسعّرها مع الإعداد والدعم، وأسعار القائمة في دليل الأسعار لدينا.

كم يستغرق إعداد مراقبة Kafka؟

تصل مقاييس الوسطاء والتأخر بعدد الرسائل عادة خلال أيام بعد الاتفاق على الوصول. أما Data Streams Monitoring على المسارات المهمة فيستغرق في العادة بضعة أسابيع، بحسب العناقيد وإصدارات المكتبات وموافقات التغيير.

التالي

اقرأ أيضًا

تطبيق Datadog وتشغيله إعداد Datadog APM دليل التقاط تغييرات البيانات توثيق Data Streams Monitoring (من Datadog)

الخطوة التالية

ارسموا خريطة مسارات Kafka لديكم في Datadog

أخبرونا بعدد عناقيد Kafka لديكم، وأين تعمل (خوادم، أو Kubernetes مع Strimzi، أو Amazon MSK)، وأي المسارات أهم لأعمالكم، وهل Datadog مستخدم لديكم. ويمكننا تسعير التراخيص والإعداد والدعم الفني معًا.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو ما الذي يُراقب

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.