المراقبة
قيسوا حداثة البيانات وحجمها وأخطاءها عند كل مرحلة، وفعّلوا تنبيهًا حين يخرج أحدها عن المعتاد. وتشرح صفحة مراقبة الجداول والخطوط مع Datadog طريقة ذلك.
منصة البيانات
المراحل الموجودة في كل خط بيانات، والفرق بين خط ETL بالدفعات وخط البث، والأشياء الثلاثة التي تجعل الخط موثوقًا.
شرح مفهوم نُشر في 5 دقائق قراءة
خط البيانات مجموعة خطوات آلية تنقل البيانات من مكان إنتاجها إلى مكان استخدامها. وخط ETL نوع منه: يعمل بالدفعات ويحوّل البيانات قبل تحميلها. أما خط البث فينقل كل تغيير لحظة وقوعه. وكل خط يحتاج مراقبة، وقاعدة لإعادة المحاولة، ومسؤولًا معروفًا بالاسم.
كل خط بيانات، صغيرًا كان أو كبيرًا، يمر بالمراحل الخمس نفسها.
حيث تنشأ البيانات: قواعد بيانات التطبيقات، والملفات التي تصدّرها الأنظمة، وواجهات التطبيقات البرمجية (API)، والأجهزة. يقرأ الخط منها ولا يغيّر فيها شيئًا.
قراءة البيانات من المصدر: كلها وفق جدول زمني، أو ما تغيّر منذ التشغيل السابق فقط، أو سجل التغييرات في قاعدة البيانات نفسها، كما يشرح التقاط التغييرات من سجل قاعدة البيانات.
تنظيف البيانات وتوحيدها وربطها وحسابها، حين يُعاد تشكيلها للتقارير. وحين تُنسخ إلى نظام آخر كما هي، تقتصر هذه المرحلة على فحصها.
الكتابة في الوجهة: مستودع بيانات، أو قاعدة بيانات للتقارير، أو تطبيق آخر. والمفتاح الثابت يمنع تكرار السجلات إن أُعيد التشغيل بعد عطل.
تقرأ النتيجةَ التقاريرُ ولوحات المتابعة والتطبيقات والموظفون. وهنا يُكتشف عطل الخط في الغالب، ولذلك تهدف الأقسام التالية إلى اكتشافه قبل ذلك.
المصدر
قواعد البيانات، والملفات المصدَّرة، وواجهات التطبيقات
الالتقاط
المعالجة
الوجهة
مستودع بيانات، أو قاعدة بيانات للتقارير، أو تطبيق آخر
المراقبة
حداثة البيانات وحجمها وأخطاؤها عند كل مرحلة
المراقبة ليست الخطوة الأخيرة: هي تراقب كل مرحلة قبلها.
| خط الدفعات (ETL) | خط البث | |
|---|---|---|
| متى تنتقل البيانات | وفق جدول زمني: كل ليلة، أو كل ساعة، أو في آخر الشهر | باستمرار، كل تغيير بعد وقوعه بقليل |
| حداثة البيانات في الوجهة | بحداثة آخر تشغيل | متأخرة عن المصدر بثوانٍ أو دقائق قليلة |
| أين يُعاد تشكيل البيانات | قبل التحميل، داخل الخط | في الغالب قليلًا أو لا شيء، فكل تغيير يُنسخ كما هو |
| ما يناسبه | التقارير والتحليل ومستودع بيانات يُقرأ مرة في اليوم | إبقاء نظامين تشغيليين متطابقين، والتنبيهات التي لا تحتمل الانتظار |
| كيف يبدو العطل | يفشل تشغيل، فيعرض تقرير الصباح أرقام الأمس | تتراكم التغييرات، وتتأخر الوجهة أكثر حتى يُعالج السبب |
حين يربط الخط أنظمة تشغيلية
iblync، منصة إنتركي للمزامنة والترحيل، يشغّل النوع الثاني بين أنظمة غير متجانسة: مزامنة فورية مستمرة، مع التحكم في سرعة النقل واستهلاك الموارد. وإن توقفت الوجهة، تنتظر التغييرات في طابور وتُعالَج حين تعود.
روابط ذات صلةiblync، منصة إنتركي للمزامنة والترحيل
تجمع أغلب بنى خطوط البيانات بين ثلاثة أنماط. خط ETL (الاستخراج والتحويل والتحميل) يعيد تشكيل البيانات قبل أن تصل إلى المستودع. وأسلوب ELT يحمّل البيانات الخام أولًا ثم يحوّلها داخل المستودع، وتوضح صفحة ETL أم ELT متى يناسب كل منهما. أما التقاط تغييرات البيانات فيقرأ كل تغيير من سجل قاعدة بيانات المصدر ويرسله، وبه يبدأ خط البث في العادة.
والاختيار يكون لكل مجموعة بيانات على حدة، لا مرة واحدة للشركة كلها. فأرقام المالية التي تُقرأ شهريًا تصلح لها الدفعات، أما أرصدة المخزون المشتركة بين نظامين فلا تحتمل الانتظار إلى الليل.
روابط ذات صلةخط ETL
ستة أسباب وراء أغلب أعطال الخطوط. الاستعداد لكل منها أقل كلفة من اكتشافه بعد وقوعه.
قيسوا حداثة البيانات وحجمها وأخطاءها عند كل مرحلة، وفعّلوا تنبيهًا حين يخرج أحدها عن المعتاد. وتشرح صفحة مراقبة الجداول والخطوط مع Datadog طريقة ذلك.
حدّدوا ما يحدث حين تفشل مرحلة: كم مرة يُعاد التشغيل، وأين تنتظر التغييرات في الأثناء. ويحفظ iblync التغييرات في طابور حين تتوقف الوجهة، ويعالجها حين تعود.
شخص أو فريق لكل خط يستلم تنبيهاته، ويوافق على التغييرات في المصدر، ويقرر إعادة التشغيل. ودون مسؤول، يظن كل من يرى التنبيه أنه من شأن غيره.
تبدأ مراقبة الخط بثلاثة أسئلة لكل مرحلة: هل وصلت البيانات في وقتها؟ هل مرّ العدد المتوقع من السجلات؟ هل رُفضت سجلات، ولماذا؟ احسبوا السجلات الداخلة والخارجة في كل تشغيل، واحفظوا السجلات المرفوضة في جدول مستقل مع سبب رفضها، وسجّلوا متى تغيّر كل جدول آخر مرة.
أما الخطوط التي تنقل السجلات التشغيلية والمقاييس لا بيانات العمل، فلها حاجات خاصة، مثل التصفية والحجب قبل أن تخرج البيانات. اقرؤوا عنها في خطوط السجلات والمقاييس.
روابط ذات صلةخطوط السجلات والمقاييس
خط البيانات مجموعة خطوات آلية تنقل البيانات من مكان إنتاجها إلى مكان استخدامها. يقرأ من مصادر مثل قواعد بيانات التطبيقات والملفات المصدَّرة، ويعالج البيانات حيث يلزم، ثم يكتبها في وجهة مثل مستودع البيانات أو تطبيق آخر. وأشيع أشكاله اثنان: خط ETL بالدفعات، وخط البث الذي ينقل كل تغيير بعد وقوعه.
خط ETL خط بيانات يعمل بالدفعات ويحوّل البيانات قبل تحميلها. وفق جدول زمني، كل ليلة في الغالب، يستخرج البيانات من المصادر، وينظّفها ويعيد تشكيلها، ثم يحمّل النتيجة إلى وجهة مثل مستودع البيانات. ويناسب التقارير التي تُقرأ مرة في اليوم. وتشرح صفحة ما هو ETL؟ كل خطوة.
روابط ذات صلةما هو ETL؟
خط البيانات الاسم العام، و ETL نوع واحد منه. فكل نقل آلي للبيانات من مصدر إلى وجهة خط بيانات، سواء عمل بالدفعات أو بالبث، وسواء أعاد تشكيل البيانات أو نسخها كما هي. أما ETL فاسم نمط واحد: استخراج بالدفعات، ثم تحويل، ثم تحميل. و ELT الذي يحوّل البيانات داخل الوجهة نمط آخر، وتشرحه صفحة الفرق بين ETL و ELT.
روابط ذات صلةالفرق بين ETL و ELT
يُراقَب خط البيانات بقياس الحداثة والحجم والأخطاء عند كل مرحلة، وبتنبيه حين يخرج أحدها عن المعتاد. فالحداثة تبيّن متى وصلت البيانات آخر مرة، والحجم يبيّن هل وصل العدد المتوقع من السجلات، والأخطاء تبيّن التشغيلات الفاشلة والسجلات المرفوضة. وتشرح صفحة مراقبة جودة البيانات إعداد هذه الفحوص على الجداول والخطوط.
روابط ذات صلةمراقبة جودة البيانات
الخط المصمَّم جيدًا يحفظ التغييرات في طابور، ويعالجها حين تعود الوجهة. ودون طابور تضيع التغييرات أو يتوقف الخط كله، ويعيد أحدهم تحميل البيانات يدويًا. اسألوا أي مورّد: أين تنتظر التغييرات مدة التوقف، وكيف يلحق الخط بما فاته؟ فالطابور جزء من التصميم، لا إضافة تأتي بعد أول عطل.
التالي
الخطوة التالية
أخبرونا من أين تبدأ بياناتكم وأين يجب أن تصل، واسألوا سؤالًا واحدًا عن خط البيانات لديكم.
ما الذي يحدث بعد الإرسال
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية
أو ما هو ETL؟