مستودع البيانات
الاستخدام الأشيع: تُجمع بيانات أنظمة المبيعات والمحاسبة والموارد البشرية في مستودع واحد، بصيغة واحدة، ليقرأها المحللون.
منصة البيانات
ما معنى ETL، وكيف تجري العملية خطوة خطوة، وكيف تعرفون هل يحتاج مشروعكم ETL أم مزامنة مستمرة.
شرح مفهوم نُشر في 4 دقائق قراءة
ETL اختصار للاستخراج والتحويل والتحميل. هي عملية تأخذ البيانات من أنظمة المصدر، وتعيد تشكيلها بصيغة متفق عليها، ثم تحمّلها إلى وجهة مثل مستودع البيانات، وغالبًا وفق جدول زمني. يناسب ETL التقارير والتحليل. أما حين يجب أن يبقى نظامان تشغيليان متطابقين دقيقة بدقيقة، فالمزامنة المستمرة أنسب.
| الخطوة | ما يحدث | مثال |
|---|---|---|
| الاستخراج | تُقرأ البيانات من أنظمة المصدر | عند الواحدة صباحًا تُقرأ مبيعات اليوم السابق من نظام نقاط البيع في كل فرع |
| التحويل | تُنظَّف البيانات وتُوحَّد وتُربط وتُحسب | تُوحَّد رموز الفروع والمنتجات في قائمة واحدة، وتُخصم المرتجعات، ويُحسب إجمالي كل فرع وكل منتج |
| التحميل | تُكتب النتائج في الوجهة | تُضاف الإجماليات إلى جداول المبيعات في مستودع البيانات، ويقرؤها التقرير اليومي عند السابعة صباحًا |
الاستخراج
من أنظمة المصدر: قواعد البيانات، والملفات المصدَّرة، وواجهات التطبيقات
التحويل
التحميل
إلى الوجهة: مستودع بيانات أو قاعدة بيانات للتقارير
كل تشغيل يمر بالمحطات الثلاث بالترتيب نفسه.
الاستخراج قراءة البيانات من مواضعها: قواعد بيانات التطبيقات التشغيلية، والملفات التي تصدّرها الأنظمة، وواجهات التطبيقات البرمجية (API). ويجري بإحدى طريقتين. الاستخراج الكامل يقرأ كل البيانات في كل تشغيل، وهو بسيط لكنه يثقل كلما كبرت الجداول. والاستخراج التزايدي يقرأ ما تغيّر منذ التشغيل السابق فقط، معتمدًا على عمود يسجّل وقت آخر تعديل أو رقمًا تسلسليًا، أو على سجل تغييرات قاعدة البيانات نفسها، وهو ما يشرحه دليل التقاط تغييرات البيانات.
ولأن الاستخراج يقرأ من أنظمة الإنتاج، يُحسب أثره على المصدر مسبقًا: يُجدول خارج ساعات العمل، أو يقرأ من نسخة مطابقة لا من القاعدة الأساسية، أو تُحدَّد سرعته. ويبقى الاستخراج قراءة فقط، فلا يغيّر شيئًا في المصدر.
روابط ذات صلةدليل التقاط تغييرات البيانات
التحويل قلب العملية، وفيه تقع أكثر الأخطاء. ويشمل أربعة أعمال:
وتأتي الأخطاء غالبًا من قواعد الربط: فرع جديد لم يُضف إلى القائمة المرجعية، أو رمز تغيّر في المصدر ولم يتغيّر في القواعد، أو سجلات تُرفض دون أن يلاحظها أحد. لذلك يُحصى عدد السجلات الداخلة والخارجة في كل تشغيل، وتُحفظ السجلات المرفوضة في جدول مستقل مع سبب رفضها، وتُكتب قواعد التحويل في وثيقة يعتمدها أصحاب البيانات.
التحميل كتابة النتائج في الوجهة، وهي في الغالب مستودع بيانات أو قاعدة بيانات للتقارير. التحميل الكامل يستبدل محتوى الجدول في كل تشغيل، ويناسب الجداول الصغيرة. والتحميل التزايدي يضيف السجلات الجديدة ويحدّث ما تغيّر منها وفق مفتاح ثابت، فلا يتكرر سجل إن أُعيد التشغيل بعد عطل.
وتُشغَّل المهمة وفق جدول زمني: ليلًا في أغلب الحالات، أو كل ساعة إن احتاج التقرير ذلك. والترتيب مهم أيضًا: الجداول المرجعية مثل الفروع والمنتجات تُحمَّل قبل جداول المبيعات التي تعتمد عليها.
الاستخدام الأشيع: تُجمع بيانات أنظمة المبيعات والمحاسبة والموارد البشرية في مستودع واحد، بصيغة واحدة، ليقرأها المحللون.
تقارير شهرية وربع سنوية تحتاج أرقامًا من أنظمة عدة، تُراجع وتُوحَّد قبل أن تصل إلى من يقرؤها.
حين تنضم شركة إلى أخرى، يوحّد ETL رموز العملاء والمنتجات بين النظامين، ليصدر تقرير واحد يشمل الشركتين.
ينقل ETL البيانات مرة واحدة من نظام قديم إلى نظام جديد، إن أمكن إيقاف القديم مدة النقل. وإن تعذّر إيقافه فاقرؤوا ETL أم CDC.
ثلاثة أسئلة تحسم الاختيار في أغلب المشاريع:
وحين يكون الهدف نقل نظام كامل، تشرح صفحة ETL أم CDC الفرق بالتفصيل.
ETL اختصار لثلاث كلمات إنجليزية: Extract و Transform و Load، أي الاستخراج والتحويل والتحميل. وهي خطوات العملية بترتيبها: تُستخرج البيانات من أنظمة المصدر، وتُحوَّل إلى صيغة متفق عليها، ثم تُحمَّل إلى وجهة مثل مستودع البيانات. والمصطلح اسم لعملية لا لمنتج، فقد تجري بسكربتات أو على أدوات ETL مخصصة.
روابط ذات صلةأدوات ETL
عملية ETL مهمة تتكرر: تأخذ البيانات من أنظمة المصدر، وتعيد تشكيلها بصيغة متفق عليها، ثم تحمّلها إلى وجهة، وغالبًا وفق جدول زمني. وأكثر ما تخدمه التقارير والتحليل. وكل تشغيل يقرأ البيانات ويفحصها ويكتبها بالترتيب نفسه، فيُوثق بالتقرير المبني عليها يومًا بعد يوم.
مثال شائع: شركة تجزئة لها فروع كثيرة. كل ليلة تُستخرج مبيعات كل فرع من نظام نقاط البيع، وتُوحَّد رموز الفروع والمنتجات، وتُخصم المرتجعات، ثم تُحمَّل الإجماليات إلى مستودع البيانات. وفي الصباح تقرأ الإدارة تقريرًا يوميًا واحدًا يشمل كل الفروع، بأرقام موحّدة يمكن مقارنتها بالأيام السابقة.
نعم. ما زال ETL شائعًا في التقارير والتحليل، حيثما وجب فحص البيانات وإعادة تشكيلها قبل أن يقرأها أحد. ومعه أسلوب قريب اسمه ELT، يحمّل البيانات الخام إلى الوجهة أولًا ثم يحوّلها فيها بقدرة مستودع البيانات على المعالجة. وفرق كثيرة تستخدم الأسلوبين، وتختار لكل مجموعة بيانات ما يناسبها.
ETL عملية متكررة تغذي التحليل، أما ترحيل البيانات فنقل بيانات نظام إلى نظام آخر مرة واحدة أو على مراحل، ثم يُوقَف النظام القديم. ويصلح ETL للترحيل إن أمكن إيقاف النظام القديم مدة النقل. وإن تعذّر ذلك فالنقل يحتاج مزامنة مستمرة، وتشرح صفحة ETL أم CDC الاختيار بينهما.
لا. iblync منصة إنتركي للترحيل والمزامنة بين الأنظمة التشغيلية، ولم يُبنَ لتحويل البيانات لأغراض التحليل. فإن كان مشروعكم تحميل مستودع بيانات للتقارير، فهذا عمل أداة ETL. وإن وجب أن يبقى نظامان تشغيليان متطابقين، أو كان نظام ينتقل إلى قاعدة بيانات جديدة، فهذا ما بُني له iblync.
روابط ذات صلةiblync
التالي
الخطوة التالية
أخبرونا من أين تأتي بياناتكم وأين يجب أن تصل. اسألوا سؤالًا واحدًا عن ETL أو المزامنة في مشروعكم.
ما الذي يحدث بعد الإرسال
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية