Datadog · مراقبة جودة البيانات
مراقبة جودة البيانات: اكتشفوا الجداول المتأخرة والمسارات المتعطلة قبل أن تخطئ لوحة المتابعة
تنبّهكم مراقبة جودة البيانات (data observability) حين تتوقف البيانات التي يقوم عليها تقرير ما عن أن تكون صحيحة: جدول لم يتحدّث، أو تحميل جاء بنصف الصفوف المعتادة، أو عمود امتلأ فجأة بقيم فارغة، أو مهمة فشلت في الثالثة فجرًا. يشرح هذا الدليل المشكلة بكلمات بسيطة، والطرق التي تكتشفها بها الفرق، وأين يناسب Datadog Data Observability وأين لا يناسب. وإنتركي شريك رسمي لـ Datadog في المملكة العربية السعودية، تبيع التراخيص وتتولى التطبيق والدعم.
نُشر في 9 دقائق قراءة
المشكلة بكلمات بسيطة
- العطل المعتاد: تُفتح لوحة المتابعة وتبدو الأرقام طبيعية، لكنها أرقام الأمس، أو نصفها ناقص. ولا يصل تنبيه إلى أحد، لأن شيئًا لم يتوقف عن العمل.
- ما تضيفه مراقبة جودة البيانات: فحوص على البيانات نفسها (حداثتها، وعدد صفوفها، والقيم الفارغة، وبنية الجداول) وعلى المهام التي تنقلها، مع تتبّع لمسار البيانات (lineage) يُظهر التقارير التي تصل إليها المشكلة.
- أين يناسب Datadog: الفرق التي تستخدم مستودعات بيانات وأدوات معالجة يدعمها، وتستخدم Datadog لتطبيقاتها وبنيتها التحتية أو تخطط لذلك.
- أين لا يناسب: لا يقرّر Datadog ما البيانات الصحيحة. هذا قرار أصحاب البيانات لديكم، والفحوص تتبع قواعدهم.
Datadog Data Observability باختصار
| السؤال | الإجابة المختصرة |
|---|---|
| ما الذي يفحصه | حداثة البيانات، وعدد الصفوف، ومقاييس الأعمدة مثل القيم الفارغة والتكرار، وتغيّرات البنية، وفحوص SQL تكتبونها بأنفسكم |
| المهام التي يتابعها | مهام Databricks وSpark وAirflow وdbt وAWS Glue وAzure Data Factory |
| المستودعات التي توثّقها Datadog | Snowflake وDatabricks وBigQuery وRedshift وClickHouse Cloud، إضافة إلى PostgreSQL |
| كيف تُتتبَّع المشكلة | مسار البيانات على مستوى الجدول والعمود، وصولًا إلى لوحات المتابعة في أدوات مثل Power BI وTableau وLooker |
| ما الذي يغادر مستودعكم | نتائج الفحوص، لا صفوف الجداول، بحسب توثيق Datadog |
| كيف تحتسب Datadog التكلفة | Quality Monitoring لكل جدول مراقَب شهريًا، وJobs Monitoring لكل مضيف أو مهمة أو DBU |
ما الذي تشمله مراقبة جودة البيانات، وكيف تختلف عن اختبارات الجودة
تسأل مراقبة التطبيقات: هل الخدمة تعمل، وما سرعتها؟ أما مسار البيانات (data pipeline) فقد يعمل بسرعة ويسلّم بيانات خاطئة، لأن معظم أعطال البيانات صامتة. يغيّر نظام المصدر اسم عمود، أو تنتهي مهلة استخراج ليلي بعد تحميل جزء من الملف، أو يتأخر النسخ المتماثل، أو تبدأ عملية تحويل في القسمة على عمود أصبح فارغًا. وكل مهمة تُبلغ بالنجاح، ولوحة المبيعات تعرض أسبوعًا هادئًا.
اقرأ المزيد
وتراقب مراقبة جودة البيانات خمسة أمور، ليعرف فريق البيانات بالمشكلة قبل أن يعرفها قارئ التقرير:
- الحداثة: هل تحدّث الجدول في موعده؟
- الحجم: هل جاء التحميل بعدد الصفوف المعتاد تقريبًا؟
- جودة الأعمدة: القيم الفارغة، والتكرار، وعدد القيم المختلفة، والنطاقات والمتوسطات التي تتحرك فجأة.
- البنية: هل أُضيفت أعمدة أو حُذفت أو تغيّر اسمها أو نوعها؟
- مسار البيانات: ما الذي يغذّي هذا الجدول، وأي النماذج ولوحات المتابعة تقرأ منه؟
واختبارات جودة البيانات جزء من ذلك، لا كله. فالاختبار يفحص قاعدة فكّرتم فيها مسبقًا، مثل «رقم العميل لا يكون فارغًا أبدًا»، لحظة تشغيل المسار. أما المراقبة فتلاحظ التغيّر الذي لم يتوقعه أحد، بين مرات التشغيل، وفي جداول لم يكتب لها أحد اختبارًا. ومعظم الفرق تحتاج إلى الاثنين: الاختبارات للقواعد المعروفة، والمراقبة للمفاجآت.
لماذا يهمّ ذلك الجهات في المملكة
ثلاثة أسباب تجعل أعطال البيانات الصامتة مكلفة هنا. فتقارير الإدارة العليا ومجالس الإدارة تعتمد أكثر فأكثر على لوحات متابعة تتحدّث يوميًا أو كل ساعة، فيصل الجدول المتأخر إلى صاحب القرار سريعًا. وكثيرًا ما تمر البيانات اليوم بعدة محطات قبل المستودع: نظام أساسي يُنسخ إلى قاعدة تقارير، ثم يُحمَّل إلى مستودع البيانات، ثم يُنمذَج، وقد تتعطل أي محطة دون أن تنتبه الأخرى. والنص العربي له أعطاله الخاصة، كالأسماء التي تصل علامات استفهام بعد تغيير في الترميز، وهو ما لا يكشفه فحص القيم الفارغة، ويكشفه فحص لعدد القيم المختلفة أو فحص مخصص.
اقرأ المزيد
وإقامة البيانات تؤثر في التصميم أيضًا. فـ Datadog منصة SaaS، وحتى نوفمبر 2026 تقع مواقعها الموثّقة خارج الشرق الأوسط. وتوثّق Datadog أن فحوص الجودة تعمل استعلاماتٍ داخل مستودعكم، ولا ترسل إلا النتيجة، مثل عدد الصفوف أو عدد القيم الفارغة، لا الصفوف نفسها. وهناك استثناءان يحتاجان إلى قرار: فحص SQL مخصص يجمّع النتائج حسب عمود معيّن يرسل قيم ذلك العمود، وسجلات المهام قد تحمل أي شيء تطبعه المهمة. وتوازن الجهات السعودية ذلك مع نظام حماية البيانات الشخصية الذي تشرف عليه الهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا)، ومع تصنيف بياناتها الداخلي. ويعمل مهندسو إنتركي في الرياض على ذلك مع فرق حماية البيانات لديكم بالعربية أو الإنجليزية، ويعرض دليل إقامة بيانات Datadog الخيارات المتاحة.
روابط ذات صلةالهيئة السعودية للبيانات والذكاء الاصطناعي (سدايا)دليل إقامة بيانات Datadog
خيارات مراقبة جودة البيانات وما يقابل كل خيار
تبدأ الفرق عادةً بواحد من هذه الخيارات، وتضيف الذي يليه حين لا يعود كافيًا. ولا خيار منها خاطئ، لكن كلًّا منها يكشف نوعًا مختلفًا من المشكلات.
| الخيار | ما الذي يكشفه | ما يقابله |
|---|---|---|
| اختبارات داخل المسار (مثل اختبارات dbt) | القواعد التي كتبتموها مسبقًا، وقت التشغيل | قليلة الكلفة وقريبة من الكود، لكنها صامتة عن الجداول التي لا اختبارات لها وعما يحدث بين مرات التشغيل |
| استعلامات SQL مجدولة مع تنبيه بالبريد | عدد محدود من المخاطر المعروفة في جداول رئيسة | سريعة البدء، وتصبح عبء صيانة مع ازدياد الفحوص، ولا تُظهر مسار البيانات |
| تنبيهات أداة جدولة المهام | المهام التي فشلت أو تأخرت | تقول إن المهمة تعطلت، لا هل البيانات التي أنتجتها صحيحة |
| منصة لمراقبة جودة البيانات | تغيّرات الحداثة والحجم والأعمدة والبنية في جداول كثيرة، والمهام، ومسار البيانات حتى التقارير | تغطية أوسع وخطوط أساس تتعلمها المنصة، مقابل ترخيص ومشروع إعداد وضبط للتنبيهات |
وأيًّا كان اختياركم، اكتبوا لكل تقرير مهم مدى الحداثة المطلوبة لبياناته، ومن يُبلَّغ حين لا تتحقق. فبدون ذلك يُنتج كل خيار تنبيهات لا مسؤول عنها.
كيف يؤدي Datadog Data Observability هذه المهام
توثّق Datadog منتج Data Observability في خمسة أجزاء، وهذه مهمة كل جزء كما تصفها Datadog.
| الجزء | ما توثّقه Datadog |
|---|---|
| Quality Monitoring | مراقبات للحداثة وعدد الصفوف ومقاييس الأعمدة (القيم الفارغة، والتفرّد، وعدد القيم المختلفة، والحد الأدنى والأعلى، والمتوسط وغيرها) وفحوص SQL مخصصة، على المستودعات وبحيرات البيانات المدعومة وعلى PostgreSQL |
| مراقبات تغيّر البنية | تنبيه عند إضافة أعمدة أو بنى أخرى أو حذفها أو تغيير اسمها أو نوعها، وتصنّفها Datadog في مرحلة Preview |
| Jobs Monitoring | المهام الفاشلة وأخطاؤها، ومدة كل مهمة ومرحلة في Spark، والمعالج الخامل واستهلاك الموارد، وتنبيه حين تفشل مهمة أو تتجاوز موعد انتهائها |
| Lineage | العلاقات بين الجداول والأعمدة، مبنية من سجل الاستعلامات ومرات تشغيل المهام، مع حالة الجودة والمهام على المخطط |
| Data Catalog | فهرس قابل للبحث لأصول البيانات في جميع التكاملات المتصلة |
| CI/CD | عند طلب دمج (pull request) يغيّر نماذج dbt: الأصول المتأثرة بعده، والانحراف في عدد الصفوف ونسبة القيم الفارغة وعدد القيم المختلفة قبل دمج التغيير |
ويمكن أن تعمل المراقبات بحدود ثابتة أو باكتشاف الحالات الشاذة (anomaly detection). وتذكر Datadog أن نموذجها يتعلم الموسمية والاتجاهات، ويحتاج من ثلاثة إلى سبعة أيام من البيانات للتعلم، ويوقف التنبيهات خلالها. وللبحيرات توثّق Datadog AWS Glue وAmazon Athena، ولمراقبة Snowflake تحديدًا توثّق دعم سياسات الإخفاء (masking policies)، فتبقى الأعمدة المخفية مخفية عن حساب خدمة Datadog. وتتغير أسماء الميزات وحالة Preview بين الإصدارات، ونتحقق مما هو متاح على موقع Datadog لديكم أثناء التصميم.
مراقبة مسارات البيانات حين تصل البيانات بالنسخ المتماثل
كثير من البيئات في المملكة لا تحمّل المستودع من النظام الأساسي مباشرة. فمنصة نسخ متماثل تُبقي نسخة للتقارير قريبة من بيئة الإنتاج، ويُحمَّل المستودع من تلك النسخة. وهكذا يعمل النسخ المتماثل اللحظي iblync، منصة إنتركي: ينقل التغييرات بين أنظمة لم تُصمَّم لتتبادل البيانات، ويضبط سرعته حتى تحتفظ بيئة الإنتاج بقدرتها، ويضع التغييرات في طابور حين يتعذر الوصول إلى الهدف.
اقرأ المزيد
والاثنان يجيبان عن سؤالين مختلفين. فـ iblync ينقل التغييرات ويخبركم عن النسخ نفسه. أما مراقبة جودة البيانات في جهة الهدف فتخبركم هل البيانات التي يقرؤها العمل حديثة وكاملة. وحين يكون الهدف منصة يدعمها Datadog، مثل PostgreSQL أو مستودع مدعوم، يُظهر مراقِب الحداثة على جدول منسوخ مقدار التأخر بلغة التقرير: كم عمر أحدث صف؟ ويُظهر مراقِب عدد الصفوف تحميلًا توقف في منتصفه. ثم يُظهر مسار البيانات النماذج ولوحات المتابعة التي تقرأ ذلك الجدول، فيصل التنبيه إلى المسؤول عنها.
والتقسيم نفسه ينطبق على تدفقات الأحداث. فحين تمر البيانات عبر Kafka أو طوابير رسائل أخرى، تقيس خدمة Data Streams Monitoring من Datadog زمن الوصول من البداية إلى النهاية وتأخر المستهلكين بين الخدمات، وتتناول صفحة مراقبة Kafka هذا الجانب. ولتصميم الواجهات بين الأنظمة عمومًا، راجعوا خدمات تكامل البيانات.
روابط ذات صلةالنسخ المتماثل اللحظي iblyncصفحة مراقبة Kafkaخدمات تكامل البيانات
أين يناسب Datadog Data Observability، وأين لا يناسب
| حالتكم | هل يناسب؟ | السبب |
|---|---|---|
| Snowflake أو Databricks أو BigQuery أو Redshift، مع dbt أو Airflow | نعم | هذه المنصات التي توثّقها Datadog أولًا، مع مسار بيانات يربط بينها |
| مهام Spark أو Databricks بطيئة أو مكلفة | نعم | يعرض Jobs Monitoring المراحل والمعالج الخامل واستهلاك الموارد إلى جانب مقاييس البنية التحتية |
| تطبيقات وبنية تحتية مراقَبة أصلًا في Datadog | نعم | تنبيهات البيانات ومرات تشغيل المهام والخوادم التي تعمل عليها في مكان واحد، بمعيار وسوم واحد |
| نسخة تقارير منسوخة على PostgreSQL تغذّي لوحات المتابعة | غالبًا | مراقبات الحداثة وعدد الصفوف على النسخة، مع مطابقة إصدار PostgreSQL مع قائمة Datadog |
| مستودع أو بحيرة بيانات لا تُدرجها Datadog | ليس بعد | لا يستطيع Datadog الاستعلام منها، وقد تغطي الاستعلامات المجدولة أو مراقبة المهام جزءًا من الحاجة |
| لا مالك متفق عليه ولا هدف للحداثة في التقارير الرئيسة | ليس أولًا | ستُطلق المراقبات تنبيهات لا يتصرف فيها أحد، فاتفقوا على المالكين والأهداف قبل شراء أي شيء |
ما الذي يحدد الكلفة
تذكر صفحة الأسعار المعلنة من Datadog وحدات الاحتساب: Quality Monitoring لكل جدول مراقَب شهريًا، وJobs Monitoring لكل مضيف في الساعة للعناقيد (clusters)، ولكل مهمة في الساعة لأدوات جدولة المهام، ولكل DBU في Databricks serverless. لذا تتبع الكلفة عدد الجداول التي تراقبونها، لا عدد صفوفها، وحجم موارد الحوسبة التي تستهلكها مهامكم. ونادرًا ما يكون البدء بمراقبة كل الجداول من اليوم الأول هو الصواب: ابدؤوا بالجداول التي تقوم عليها التقارير التي يُتخذ بناءً عليها قرار، ثم وسّعوا حين تصبح التنبيهات موثوقة. والأسعار المعلنة في دليل أسعار Datadog.
روابط ذات صلةدليل أسعار Datadog
كيف تساعدكم إنتركي: مشروع مراقبة جودة البيانات خطوة بخطوة
-
اختيار التقارير.
من ثلاثة إلى خمسة تقارير يعتمد عليها العمل، ولكل تقرير مدى الحداثة المطلوب ومالكه.
-
تتبّع ما يغذّيها.
المصادر ومسارات النسخ المتماثل والمهام والجداول، لتكون الجداول المراقَبة هي التي تهمّ فعلًا.
-
تسعير التراخيص.
تراخيص Datadog بحسب الجداول المراقَبة وموارد حوسبة المهام، مع التطبيق والدعم الفني في عرض واحد.
-
الاتفاق على قواعد البيانات.
أي الفحوص المخصصة يجوز أن تجمّع حسب أي الأعمدة، وما الذي يجوز أن تحمله سجلات المهام، وإخفاء الأعمدة عن حساب خدمة Datadog.
-
الربط والمراقبة.
تكاملات المستودع وأدوات المعالجة وأدوات التقارير، ثم مراقبات الحداثة والحجم والأعمدة والبنية، بحدود ثابتة حيث القاعدة معروفة، وباكتشاف الحالات الشاذة حيث لا تكون.
-
توجيه التنبيهات.
يذكر كل تنبيه الجدول والتقارير المتأثرة وأول ما يجب فحصه، ويصل إلى المالك لا إلى بريد مشترك.
-
التشغيل أو التسليم.
تشغّل إنتركي المنصة مع الدعم من الرياض بالعربية والإنجليزية، أو تسلّمها لفريقكم مع التوثيق وتبقى داعمًا فنيًا.
أسئلة يطرحها العملاء عن مراقبة جودة البيانات
هل مراقبة جودة البيانات هي نفسها اختبارات جودة البيانات؟
لا. فاختبار الجودة يفحص قاعدة كتبتموها مسبقًا وقت تشغيل المسار. أما المراقبة فتلاحظ أيضًا التغيّرات التي لم يتوقعها أحد، مثل جدول توقف عن التحديث أو تحميل جاء بنصف الصفوف المعتادة، وتُظهر التقارير التي تصل إليها. ومعظم الفرق تُبقي اختباراتها وتضيف المراقبة.
أي مستودعات البيانات وأدوات المعالجة يستطيع Datadog Data Observability مراقبتها؟
توثّق Datadog منصات Snowflake وDatabricks وBigQuery وRedshift وClickHouse Cloud، وAWS Glue وAmazon Athena للبحيرات، وPostgreSQL. وللمهام تُدرج Databricks وSpark وAirflow وdbt وAWS Glue وAzure Data Factory. ونطابق إصداراتكم مع القائمة الحالية قبل التسعير.
هل تخرج بيانات جداولنا من المملكة إذا راقبها Datadog؟
توثّق Datadog أن فحوص الجودة تعمل داخل مستودعكم ولا ترسل إلا النتائج، مثل الأعداد، لا الصفوف. لكن الفحص المخصص المجمَّع حسب عمود يرسل قيم ذلك العمود، وسجلات المهام تحمل ما تطبعه المهام، لذا نتفق على هذه القواعد مع فريق حماية البيانات لديكم أولًا.
كيف يُرخَّص Datadog Data Observability في السعودية؟
تحتسب Datadog تكلفة Quality Monitoring لكل جدول مراقَب شهريًا، وJobs Monitoring بحسب المضيف أو المهمة أو DBU. وتبيع إنتركي تراخيص Datadog في المملكة، وتسعّرها مع التطبيق والدعم الفني في عرض واحد.
هل يستطيع Datadog فحص نسخة التقارير التي ينسخها iblync؟
نعم، حين تكون النسخة على منصة يدعمها Datadog، مثل PostgreSQL أو مستودع مدعوم. فمراقبات الحداثة وعدد الصفوف على الجداول المنسوخة تُظهر هل النسخة التي يقرؤها العمل حديثة وكاملة.
كم يستغرق إعداد مراقبة المسارات التي تقوم عليها تقاريرنا الرئيسة؟
تقديرنا بضعة أسابيع للجداول التي تقوم عليها مجموعة صغيرة من التقارير على منصات مدعومة. وما يحدد المدة: عدد المصادر التي تغذّيها، والاتفاق على المالكين وأهداف الحداثة، والأيام الأولى التي تتعلم فيها نماذج اكتشاف الحالات الشاذة.
التالي
اقرأ أيضًا
الخطوة التالية
حدّدوا مسارات البيانات التي تعتمد عليها تقاريركم
أخبرونا بمستودع البيانات وأدوات المعالجة التي تستخدمونها، وكيف تصل البيانات إلى المستودع، وأي التقارير أهم لديكم. ويمكننا تسعير تراخيص Datadog والإعداد والدعم الفني معًا.
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية