منصة البيانات

ما هو ETL؟ شرح الاستخراج والتحويل والتحميل

ما معنى ETL، وكيف تجري العملية خطوة خطوة، وكيف تعرفون هل يحتاج مشروعكم ETL أم مزامنة مستمرة.

  • شركة تقنية سعودية في الرياض منذ 1999 إنتركي، الرياض
  • ISO 9001:2015 و ISO/IEC 27001:2022 إدارة الجودة وأمن المعلومات
  • تنفّذ وتشغّل، وتبقى بعد الإطلاق الفريق نفسه قبل التحويل وبعده

ETL اختصار للاستخراج والتحويل والتحميل. هي عملية تأخذ البيانات من أنظمة المصدر، وتعيد تشكيلها بصيغة متفق عليها، ثم تحمّلها إلى وجهة مثل مستودع البيانات، وغالبًا وفق جدول زمني. يناسب ETL التقارير والتحليل. أما حين يجب أن يبقى نظامان تشغيليان متطابقين دقيقة بدقيقة، فالمزامنة المستمرة أنسب.

عملية ETL في جدول واحد

خطوات ETL الثلاث، بمثال واحد: مبيعات كل الفروع تُجمع في تقرير يومي
الخطوةما يحدثمثال
الاستخراجتُقرأ البيانات من أنظمة المصدرعند الواحدة صباحًا تُقرأ مبيعات اليوم السابق من نظام نقاط البيع في كل فرع
التحويلتُنظَّف البيانات وتُوحَّد وتُربط وتُحسبتُوحَّد رموز الفروع والمنتجات في قائمة واحدة، وتُخصم المرتجعات، ويُحسب إجمالي كل فرع وكل منتج
التحميلتُكتب النتائج في الوجهةتُضاف الإجماليات إلى جداول المبيعات في مستودع البيانات، ويقرؤها التقرير اليومي عند السابعة صباحًا

الاستخراج والتحويل والتحميل

  1. الاستخراج

    من أنظمة المصدر: قواعد البيانات، والملفات المصدَّرة، وواجهات التطبيقات

  2. التحويل

    تنظيف توحيد ربط حساب
  3. التحميل

    إلى الوجهة: مستودع بيانات أو قاعدة بيانات للتقارير

كل تشغيل يمر بالمحطات الثلاث بالترتيب نفسه.

الاستخراج

الاستخراج قراءة البيانات من مواضعها: قواعد بيانات التطبيقات التشغيلية، والملفات التي تصدّرها الأنظمة، وواجهات التطبيقات البرمجية (API). ويجري بإحدى طريقتين. الاستخراج الكامل يقرأ كل البيانات في كل تشغيل، وهو بسيط لكنه يثقل كلما كبرت الجداول. والاستخراج التزايدي يقرأ ما تغيّر منذ التشغيل السابق فقط، معتمدًا على عمود يسجّل وقت آخر تعديل أو رقمًا تسلسليًا، أو على سجل تغييرات قاعدة البيانات نفسها، وهو ما يشرحه دليل التقاط تغييرات البيانات.

ولأن الاستخراج يقرأ من أنظمة الإنتاج، يُحسب أثره على المصدر مسبقًا: يُجدول خارج ساعات العمل، أو يقرأ من نسخة مطابقة لا من القاعدة الأساسية، أو تُحدَّد سرعته. ويبقى الاستخراج قراءة فقط، فلا يغيّر شيئًا في المصدر.

التحويل

التحويل قلب العملية، وفيه تقع أكثر الأخطاء. ويشمل أربعة أعمال:

  • التنظيف: إزالة السجلات المكررة، ومعالجة القيم الفارغة، وتصحيح صيغ التواريخ وأرقام الجوال.
  • التوحيد: رمز واحد لكل فرع، ووحدة قياس واحدة، وتقويم واحد حين تخلط الأنظمة بين التاريخ الهجري والميلادي.
  • الربط: ضمّ المبيعات إلى قائمة المنتجات وقائمة الفروع، ليُقرأ كل رقم مع ما ينتمي إليه.
  • الحساب: الإجماليات والمتوسطات وهوامش الربح والأعمدة المشتقة.
اقرأ المزيد

وتأتي الأخطاء غالبًا من قواعد الربط: فرع جديد لم يُضف إلى القائمة المرجعية، أو رمز تغيّر في المصدر ولم يتغيّر في القواعد، أو سجلات تُرفض دون أن يلاحظها أحد. لذلك يُحصى عدد السجلات الداخلة والخارجة في كل تشغيل، وتُحفظ السجلات المرفوضة في جدول مستقل مع سبب رفضها، وتُكتب قواعد التحويل في وثيقة يعتمدها أصحاب البيانات.

التحميل

التحميل كتابة النتائج في الوجهة، وهي في الغالب مستودع بيانات أو قاعدة بيانات للتقارير. التحميل الكامل يستبدل محتوى الجدول في كل تشغيل، ويناسب الجداول الصغيرة. والتحميل التزايدي يضيف السجلات الجديدة ويحدّث ما تغيّر منها وفق مفتاح ثابت، فلا يتكرر سجل إن أُعيد التشغيل بعد عطل.

وتُشغَّل المهمة وفق جدول زمني: ليلًا في أغلب الحالات، أو كل ساعة إن احتاج التقرير ذلك. والترتيب مهم أيضًا: الجداول المرجعية مثل الفروع والمنتجات تُحمَّل قبل جداول المبيعات التي تعتمد عليها.

أين يُستخدم ETL

01

مستودع البيانات

الاستخدام الأشيع: تُجمع بيانات أنظمة المبيعات والمحاسبة والموارد البشرية في مستودع واحد، بصيغة واحدة، ليقرأها المحللون.

02

التقارير الدورية للإدارة والمراجعين

تقارير شهرية وربع سنوية تحتاج أرقامًا من أنظمة عدة، تُراجع وتُوحَّد قبل أن تصل إلى من يقرؤها.

03

دمج البيانات بعد استحواذ

حين تنضم شركة إلى أخرى، يوحّد ETL رموز العملاء والمنتجات بين النظامين، ليصدر تقرير واحد يشمل الشركتين.

04

ترحيل لمرة واحدة

ينقل ETL البيانات مرة واحدة من نظام قديم إلى نظام جديد، إن أمكن إيقاف القديم مدة النقل. وإن تعذّر إيقافه فاقرؤوا ETL أم CDC.

ETL أم مزامنة مستمرة

ثلاثة أسئلة تحسم الاختيار في أغلب المشاريع:

  • هل الوجهة للتحليل أم للتشغيل؟ المستودع الذي يقرؤه المحللون عمل ETL. أما النظام الذي يعمل عليه الموظفون والعملاء فيحتاج بيانات مطابقة للمصدر في كل لحظة.
  • هل يكفي تحديث يومي؟ تقرير الصباح يكفيه تشغيل ليلي. وإن وجب أن يبقى نظامان متطابقين دقيقة بدقيقة، فالحاجة مزامنة مستمرة.
  • هل يتغيّر شكل البيانات؟ إن كانت البيانات تُجمع وتُحسب وتُعاد صياغتها، فهذا تحويل لغرض التحليل. وإن كانت تنتقل بأعمدتها وقيمها كما هي إلى نظام آخر، فهذه مزامنة أو ترحيل.

وحين يكون الهدف نقل نظام كامل، تشرح صفحة ETL أم CDC الفرق بالتفصيل.

أسئلة عن ETL

ما معنى اختصار ETL؟

ETL اختصار لثلاث كلمات إنجليزية: Extract و Transform و Load، أي الاستخراج والتحويل والتحميل. وهي خطوات العملية بترتيبها: تُستخرج البيانات من أنظمة المصدر، وتُحوَّل إلى صيغة متفق عليها، ثم تُحمَّل إلى وجهة مثل مستودع البيانات. والمصطلح اسم لعملية لا لمنتج، فقد تجري بسكربتات أو على أدوات ETL مخصصة.

ما هي عملية ETL؟

عملية ETL مهمة تتكرر: تأخذ البيانات من أنظمة المصدر، وتعيد تشكيلها بصيغة متفق عليها، ثم تحمّلها إلى وجهة، وغالبًا وفق جدول زمني. وأكثر ما تخدمه التقارير والتحليل. وكل تشغيل يقرأ البيانات ويفحصها ويكتبها بالترتيب نفسه، فيُوثق بالتقرير المبني عليها يومًا بعد يوم.

ما مثال على ETL؟

مثال شائع: شركة تجزئة لها فروع كثيرة. كل ليلة تُستخرج مبيعات كل فرع من نظام نقاط البيع، وتُوحَّد رموز الفروع والمنتجات، وتُخصم المرتجعات، ثم تُحمَّل الإجماليات إلى مستودع البيانات. وفي الصباح تقرأ الإدارة تقريرًا يوميًا واحدًا يشمل كل الفروع، بأرقام موحّدة يمكن مقارنتها بالأيام السابقة.

هل ما زال ETL مستخدمًا اليوم؟

نعم. ما زال ETL شائعًا في التقارير والتحليل، حيثما وجب فحص البيانات وإعادة تشكيلها قبل أن يقرأها أحد. ومعه أسلوب قريب اسمه ELT، يحمّل البيانات الخام إلى الوجهة أولًا ثم يحوّلها فيها بقدرة مستودع البيانات على المعالجة. وفرق كثيرة تستخدم الأسلوبين، وتختار لكل مجموعة بيانات ما يناسبها.

ما الفرق بين ETL وترحيل البيانات؟

ETL عملية متكررة تغذي التحليل، أما ترحيل البيانات فنقل بيانات نظام إلى نظام آخر مرة واحدة أو على مراحل، ثم يُوقَف النظام القديم. ويصلح ETL للترحيل إن أمكن إيقاف النظام القديم مدة النقل. وإن تعذّر ذلك فالنقل يحتاج مزامنة مستمرة، وتشرح صفحة ETL أم CDC الاختيار بينهما.

هل يُستخدم iblync في عمليات ETL؟

لا. iblync منصة إنتركي للترحيل والمزامنة بين الأنظمة التشغيلية، ولم يُبنَ لتحويل البيانات لأغراض التحليل. فإن كان مشروعكم تحميل مستودع بيانات للتقارير، فهذا عمل أداة ETL. وإن وجب أن يبقى نظامان تشغيليان متطابقين، أو كان نظام ينتقل إلى قاعدة بيانات جديدة، فهذا ما بُني له iblync.

الخطوة التالية

اسألوا مهندسًا سؤالًا واحدًا

أخبرونا من أين تأتي بياناتكم وأين يجب أن تصل. اسألوا سؤالًا واحدًا عن ETL أو المزامنة في مشروعكم.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

ما الذي يحدث بعد الإرسال

  1. نقرأ طلبكم
  2. يتواصل معكم مهندس
  3. تحصلون على تقدير أو عرض

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو ETL أم CDC: كيف تختارون

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.