منصة البيانات

خط البيانات: ما هو، وبمَ يختلف خط ETL، وما الذي يجعله موثوقًا

المراحل الموجودة في كل خط بيانات، والفرق بين خط ETL بالدفعات وخط البث، والأشياء الثلاثة التي تجعل الخط موثوقًا.

  • شركة تقنية سعودية في الرياض منذ 1999 إنتركي، الرياض
  • ISO 9001:2015 و ISO/IEC 27001:2022 إدارة الجودة وأمن المعلومات
  • تنفّذ وتشغّل، وتبقى بعد الإطلاق الفريق نفسه قبل الإطلاق وبعده

خط البيانات مجموعة خطوات آلية تنقل البيانات من مكان إنتاجها إلى مكان استخدامها. وخط ETL نوع منه: يعمل بالدفعات ويحوّل البيانات قبل تحميلها. أما خط البث فينقل كل تغيير لحظة وقوعه. وكل خط يحتاج مراقبة، وقاعدة لإعادة المحاولة، ومسؤولًا معروفًا بالاسم.

المراحل الخمس لخط البيانات

كل خط بيانات، صغيرًا كان أو كبيرًا، يمر بالمراحل الخمس نفسها.

  1. المصدر.

    حيث تنشأ البيانات: قواعد بيانات التطبيقات، والملفات التي تصدّرها الأنظمة، وواجهات التطبيقات البرمجية (API)، والأجهزة. يقرأ الخط منها ولا يغيّر فيها شيئًا.

  2. الالتقاط.

    قراءة البيانات من المصدر: كلها وفق جدول زمني، أو ما تغيّر منذ التشغيل السابق فقط، أو سجل التغييرات في قاعدة البيانات نفسها، كما يشرح التقاط التغييرات من سجل قاعدة البيانات.

  3. المعالجة.

    تنظيف البيانات وتوحيدها وربطها وحسابها، حين يُعاد تشكيلها للتقارير. وحين تُنسخ إلى نظام آخر كما هي، تقتصر هذه المرحلة على فحصها.

  4. التحميل.

    الكتابة في الوجهة: مستودع بيانات، أو قاعدة بيانات للتقارير، أو تطبيق آخر. والمفتاح الثابت يمنع تكرار السجلات إن أُعيد التشغيل بعد عطل.

  5. الاستخدام.

    تقرأ النتيجةَ التقاريرُ ولوحات المتابعة والتطبيقات والموظفون. وهنا يُكتشف عطل الخط في الغالب، ولذلك تهدف الأقسام التالية إلى اكتشافه قبل ذلك.

خط البيانات من أوله إلى آخره

  1. المصدر

    قواعد البيانات، والملفات المصدَّرة، وواجهات التطبيقات

  2. الالتقاط

    قراءة كاملة قراءة تزايدية سجل التغييرات
  3. المعالجة

    تنظيف توحيد ربط فحص
  4. الوجهة

    مستودع بيانات، أو قاعدة بيانات للتقارير، أو تطبيق آخر

  5. المراقبة

    حداثة البيانات وحجمها وأخطاؤها عند كل مرحلة

المراقبة ليست الخطوة الأخيرة: هي تراقب كل مرحلة قبلها.

خط دفعات أم خط بث

الشكلان الشائعان لخط البيانات، جنبًا إلى جنب
خط الدفعات (ETL)خط البث
متى تنتقل البياناتوفق جدول زمني: كل ليلة، أو كل ساعة، أو في آخر الشهرباستمرار، كل تغيير بعد وقوعه بقليل
حداثة البيانات في الوجهةبحداثة آخر تشغيلمتأخرة عن المصدر بثوانٍ أو دقائق قليلة
أين يُعاد تشكيل البياناتقبل التحميل، داخل الخطفي الغالب قليلًا أو لا شيء، فكل تغيير يُنسخ كما هو
ما يناسبهالتقارير والتحليل ومستودع بيانات يُقرأ مرة في اليومإبقاء نظامين تشغيليين متطابقين، والتنبيهات التي لا تحتمل الانتظار
كيف يبدو العطليفشل تشغيل، فيعرض تقرير الصباح أرقام الأمستتراكم التغييرات، وتتأخر الوجهة أكثر حتى يُعالج السبب

أين يناسب iblync

حين يربط الخط أنظمة تشغيلية

iblync، منصة إنتركي للمزامنة والترحيل، يشغّل النوع الثاني بين أنظمة غير متجانسة: مزامنة فورية مستمرة، مع التحكم في سرعة النقل واستهلاك الموارد. وإن توقفت الوجهة، تنتظر التغييرات في طابور وتُعالَج حين تعود.

بنية خط البيانات في التطبيق

تجمع أغلب بنى خطوط البيانات بين ثلاثة أنماط. خط ETL (الاستخراج والتحويل والتحميل) يعيد تشكيل البيانات قبل أن تصل إلى المستودع. وأسلوب ELT يحمّل البيانات الخام أولًا ثم يحوّلها داخل المستودع، وتوضح صفحة ETL أم ELT متى يناسب كل منهما. أما التقاط تغييرات البيانات فيقرأ كل تغيير من سجل قاعدة بيانات المصدر ويرسله، وبه يبدأ خط البث في العادة.

والاختيار يكون لكل مجموعة بيانات على حدة، لا مرة واحدة للشركة كلها. فأرقام المالية التي تُقرأ شهريًا تصلح لها الدفعات، أما أرصدة المخزون المشتركة بين نظامين فلا تحتمل الانتظار إلى الليل.

لماذا تتعطل الخطوط

ستة أسباب وراء أغلب أعطال الخطوط. الاستعداد لكل منها أقل كلفة من اكتشافه بعد وقوعه.

  • تغيّر مخطط المصدر: يُعاد تسمية عمود أو يُضاف أو يتغيّر نوعه، فترفض المرحلة التالية السجلات أو تحمّل قيمًا فارغة.
  • بيانات متأخرة: يتأخر تصدير المصدر، فيعرض التقرير أرقام الأمس دون أن يشير إلى ذلك.
  • التكرار: تشغيل أُعيد بعد عطل يحمّل السجلات نفسها مرتين، لأن التحميل بلا مفتاح ثابت.
  • امتلاء الوجهة: تنفد مساحة التخزين، فتفشل كل كتابة بعدها.
  • صلاحيات منتهية: تنتهي كلمة مرور أو رمز وصول يستخدمه الخط، فيفشل التشغيل الليلي.
  • لا أحد يملك الخط: تذهب التنبيهات إلى بريد مشترك، ويُكتشف العطل حين يسأل مدير عن رقم.

ثلاثة أشياء تجعل الخط موثوقًا

01

المراقبة

قيسوا حداثة البيانات وحجمها وأخطاءها عند كل مرحلة، وفعّلوا تنبيهًا حين يخرج أحدها عن المعتاد. وتشرح صفحة مراقبة الجداول والخطوط مع Datadog طريقة ذلك.

02

قاعدة لإعادة المحاولة وطابور

حدّدوا ما يحدث حين تفشل مرحلة: كم مرة يُعاد التشغيل، وأين تنتظر التغييرات في الأثناء. ويحفظ iblync التغييرات في طابور حين تتوقف الوجهة، ويعالجها حين تعود.

03

مسؤول معروف

شخص أو فريق لكل خط يستلم تنبيهاته، ويوافق على التغييرات في المصدر، ويقرر إعادة التشغيل. ودون مسؤول، يظن كل من يرى التنبيه أنه من شأن غيره.

ماذا تراقبون عند كل مرحلة

تبدأ مراقبة الخط بثلاثة أسئلة لكل مرحلة: هل وصلت البيانات في وقتها؟ هل مرّ العدد المتوقع من السجلات؟ هل رُفضت سجلات، ولماذا؟ احسبوا السجلات الداخلة والخارجة في كل تشغيل، واحفظوا السجلات المرفوضة في جدول مستقل مع سبب رفضها، وسجّلوا متى تغيّر كل جدول آخر مرة.

أما الخطوط التي تنقل السجلات التشغيلية والمقاييس لا بيانات العمل، فلها حاجات خاصة، مثل التصفية والحجب قبل أن تخرج البيانات. اقرؤوا عنها في خطوط السجلات والمقاييس.

أسئلة عن خطوط البيانات

ما هو خط البيانات؟

خط البيانات مجموعة خطوات آلية تنقل البيانات من مكان إنتاجها إلى مكان استخدامها. يقرأ من مصادر مثل قواعد بيانات التطبيقات والملفات المصدَّرة، ويعالج البيانات حيث يلزم، ثم يكتبها في وجهة مثل مستودع البيانات أو تطبيق آخر. وأشيع أشكاله اثنان: خط ETL بالدفعات، وخط البث الذي ينقل كل تغيير بعد وقوعه.

ما هو خط ETL؟

خط ETL خط بيانات يعمل بالدفعات ويحوّل البيانات قبل تحميلها. وفق جدول زمني، كل ليلة في الغالب، يستخرج البيانات من المصادر، وينظّفها ويعيد تشكيلها، ثم يحمّل النتيجة إلى وجهة مثل مستودع البيانات. ويناسب التقارير التي تُقرأ مرة في اليوم. وتشرح صفحة ما هو ETL؟ كل خطوة.

ما الفرق بين خط البيانات و ETL؟

خط البيانات الاسم العام، و ETL نوع واحد منه. فكل نقل آلي للبيانات من مصدر إلى وجهة خط بيانات، سواء عمل بالدفعات أو بالبث، وسواء أعاد تشكيل البيانات أو نسخها كما هي. أما ETL فاسم نمط واحد: استخراج بالدفعات، ثم تحويل، ثم تحميل. و ELT الذي يحوّل البيانات داخل الوجهة نمط آخر، وتشرحه صفحة الفرق بين ETL و ELT.

كيف يُراقَب خط البيانات؟

يُراقَب خط البيانات بقياس الحداثة والحجم والأخطاء عند كل مرحلة، وبتنبيه حين يخرج أحدها عن المعتاد. فالحداثة تبيّن متى وصلت البيانات آخر مرة، والحجم يبيّن هل وصل العدد المتوقع من السجلات، والأخطاء تبيّن التشغيلات الفاشلة والسجلات المرفوضة. وتشرح صفحة مراقبة جودة البيانات إعداد هذه الفحوص على الجداول والخطوط.

ماذا يحدث لخط البيانات حين تتوقف الوجهة؟

الخط المصمَّم جيدًا يحفظ التغييرات في طابور، ويعالجها حين تعود الوجهة. ودون طابور تضيع التغييرات أو يتوقف الخط كله، ويعيد أحدهم تحميل البيانات يدويًا. اسألوا أي مورّد: أين تنتظر التغييرات مدة التوقف، وكيف يلحق الخط بما فاته؟ فالطابور جزء من التصميم، لا إضافة تأتي بعد أول عطل.

الخطوة التالية

اسألوا مهندسًا سؤالًا واحدًا

أخبرونا من أين تبدأ بياناتكم وأين يجب أن تصل، واسألوا سؤالًا واحدًا عن خط البيانات لديكم.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

ما الذي يحدث بعد الإرسال

  1. نقرأ طلبكم
  2. يتواصل معكم مهندس
  3. تحصلون على تقدير أو عرض

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو ما هو ETL؟

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.