منصة البيانات
ETL أم ELT: أين يقع التحويل، ولماذا يهم
يختلف ETL عن ELT في شيء واحد: أين تُحوَّل البيانات. وهذا الفرق يغيّر التكلفة والسرعة ومن يستطيع تنفيذ العمل.
شرح مفهوم نُشر في 5 دقائق قراءة
- شركة تقنية سعودية في الرياض منذ 1999 السجل التجاري 1010156897
- ISO 9001:2015 و ISO/IEC 27001:2022 من جهة الاعتماد AQC
- تنفّذ وتشغّل، وتبقى بعد الإطلاق الفريق نفسه من التصميم إلى التشغيل
ETL يحوّل البيانات قبل تحميلها إلى الوجهة. أما ELT فيحمّل البيانات الخام أولًا ثم يحوّلها داخل الوجهة، وهي غالبًا مستودع بيانات سحابي. ينتشر ELT حين تملك الوجهة قدرة معالجة رخيصة وقابلة للتوسع. ويبقى ETL مفضلًا حين يجب حجب البيانات الحساسة أو تصفيتها قبل خروجها من بيئة المصدر.
ETL و ELT جنبًا إلى جنب
| وجه الاختلاف | ETL | ELT |
|---|---|---|
| أين يقع التحويل | في طبقة معالجة مستقلة بين المصدر والوجهة، قبل التحميل | داخل الوجهة نفسها، بعد تحميل البيانات الخام |
| ما يصل إلى الوجهة | بيانات منظّفة ومربوطة ومهيّأة لاستخدامها | البيانات الخام كما استُخرجت، ومعها الجداول المحوَّلة التي تُبنى منها |
| من ينفّذ العمل | مهندسو بيانات يبنون مهام الخط ويصونونها | المهندسون يحمّلون البيانات، والمحللون الذين يكتبون SQL يكتبون التحويلات داخل الوجهة في الغالب |
| أين تقع التكلفة | في خوادم التحويل أو محركه، وفي من يشغّلها | في قدرة الوجهة على المعالجة والتخزين، وتزيد مع كل تحويل يجري عليها |
| البيانات الحساسة | تُحجب أو تُصفّى أو تُحذف قبل خروجها من بيئة المصدر | تصل إلى الوجهة خامًا، فيجب أن يُسمح للوجهة بحفظها وأن تُضبط صلاحيات الوصول إليها |
| متى يصلح | وجهة محدودة القدرة، وبيانات يجب حجبها أولًا، وتقارير ثابتة القواعد | وجهة قابلة للتوسع، وأحجام كبيرة، ومحللون يريدون التاريخ الخام |
الصف الأول هو الفرق كله، والصفوف الخمسة الباقية نتائج له. وما تتضمنه كل خطوة من الخطوات الثلاث تجدونه في شرح الاستخراج والتحويل والتحميل خطوة خطوة.
مساران من المصدر نفسه
ETL
-
الاستخراج
من أنظمة المصدر
-
التحويل
في طبقة معالجة مستقلة، قبل التحميل
-
التحميل
جداول منظّفة ومهيّأة إلى الوجهة
ELT
-
الاستخراج
من أنظمة المصدر
-
التحميل
البيانات الخام إلى الوجهة كما هي
-
التحويل
داخل الوجهة، بقدرتها على المعالجة
بديلان لا يتبع أحدهما الآخر: الخطوات الثلاث نفسها بترتيب مختلف، والترتيب يحدد أين يجري التحويل.
متى يكون ETL هو الصحيح
يكون ETL هو الصحيح حين يجب أن تتغيّر البيانات قبل وصولها. وأوضح الأمثلة البيانات الحساسة: أرقام الهوية الوطنية والرواتب وبيانات المرضى تُحجب أو تُستبدل برموز أو تُحذف وهي ما زالت داخل بيئة المصدر، فلا تحفظها الوجهة أبدًا. والمثال الثاني وجهة محدودة القدرة، مثل قاعدة تقارير على خادم ثابت، فالأولى أن تستقبل جداول جاهزة لا أن تتولى عملًا ثقيلًا. والثالث إقامة البيانات: حين تكون الوجهة لدى مزوّد سحابي، يحدد ETL بدقة أي الأعمدة تخرج من المملكة وأيها يبقى فيها. ويناسب ETL أيضًا التقارير التي نادرًا ما تتغيّر قواعدها، فخط مُختبَر يسلّم الجداول نفسها كل ليلة أنفع فيها من المرونة.
متى يكون ELT هو الصحيح
يكون ELT هو الصحيح حين تقدر الوجهة على العمل الثقيل. فمستودع البيانات السحابي، أو أي قاعدة تحليلية تضيف قدرة معالجة عند الطلب، يحوّل الأحجام الكبيرة أسرع من خادم مستقل أمامه، وتستغنون عن تشغيل ذلك الخادم أصلًا. ويحفظ ELT البيانات الخام أيضًا: فإن تغيّرت قاعدة عمل، أُعيد بناء الجداول من التاريخ الموجود في الوجهة دون استخراج كل شيء من جديد. ويناسب المحللين الذين يكتبون SQL، لأن كل تحويل يصير استعلامًا يقرؤونه ويختبرونه ويعدّلونه بأنفسهم، وتُحفظ نسخه كأي شيفرة أخرى. ويقصّر الوقت حتى وصول أول البيانات: تُحمَّل المصادر كما هي، ويبدأ بناء النماذج بينما تُضاف مصادر أخرى.
البيانات الحساسة في السعودية
حدّدوا ما يجوز وصوله إلى الوجهة قبل أن تختاروا
قبل الاختيار بين ETL و ELT، اكتبوا قائمة الأعمدة التي تحمل بيانات شخصية أو سرية، واتفقوا على المكان الذي يجوز أن يُحفظ فيه كل منها ويُعالج. فإن كان عمود لا يجوز أن يصل إلى الوجهة، فلا يكفيه ELT وحده: احجبوه أو احذفوه في الطريق، بالأساليب التي يشرحها دليلنا عن تقنيع الأعمدة الحساسة. وحين تكون الوجهة لدى مزوّد سحابي، طابقوا منطقتها مع متطلبات إقامة البيانات داخل المملكة.
روابط ذات صلةتقنيع الأعمدة الحساسةمتطلبات إقامة البيانات داخل المملكة
نقل الأنظمة لا إعادة تشكيل البيانات
حين يجب أن تنتقل البيانات كما هي بين أنظمة تعمل
ETL و ELT كلاهما يعيد تشكيل البيانات لأغراض التحليل. أما إن كان العمل نقل نظام إلى قاعدة بيانات جديدة، مرة واحدة أو على مراحل، أو إبقاء نظامين تشغيليين متطابقين، فهذا عمل iblync، منصة إنتركي للترحيل والمزامنة المستمرة، ويُسلَّم مع الفريق الذي يشغّله.
روابط ذات صلةiblync
ETL و ELT في خط واحد
فرق كثيرة تستخدم الأسلوبين معًا. ومن الأنماط الشائعة أن تُحجب الأعمدة الحساسة أو تُصفّى عند خروجها من المصدر، وهذا جزء ETL، ثم تُحمَّل النتيجة كما هي إلى الوجهة، وتجري بقية التحويلات فيها، وهذا جزء ELT. فلا تحفظ الوجهة ما لا يجوز لها حفظه، ويبقى للمحللين بيانات قريبة من المصدر يعملون عليها.
وحين تكون الوجهة نظامًا يعمل لا مستودعًا للتحليل، يصير السؤال: تحميل على دفعات أم التقاط للتغييرات، وهو ما تتناوله صفحة نقل نظام قائم بالدفعات أو بالتقاط التغييرات.
روابط ذات صلةنقل نظام قائم بالدفعات أو بالتقاط التغييرات
خمسة أسئلة تحسم الاختيار
أجيبوا عنها لكل مجموعة بيانات، لا مرة واحدة للمشروع كله.
- هل يجوز أن تصل البيانات الخام إلى الوجهة؟ إن كان فيها عمود لا يجوز وصوله، فهذا العمود يحتاج تحويلًا قبل التحميل.
- هل تتوسع قدرة الوجهة على المعالجة؟ المستودع الذي يضيف قدرة عند الطلب يرجّح ELT، وخادم التقارير الثابت يرجّح ETL.
- من سيكتب التحويلات ويصونها؟ المحللون الذين يكتبون SQL يستطيعون تولّي نماذج ELT، أما المنطق المعقد داخل أداة خطوط البيانات فيبقى عند المهندسين.
- هل ستتغيّر قواعد العمل؟ التاريخ الخام المحفوظ في الوجهة يسمح بإعادة بناء الجداول حين تتغيّر.
- أي أداة ستشغّله؟ أدوات كثيرة تدعم الترتيبين، وأنواع الأدوات المتاحة ومعايير الحكم عليها في صفحة مستقلة.
أسئلة عن ETL و ELT
ما الفرق بين ETL و ELT؟
الفرق في مكان التحويل. ETL يحوّل البيانات في طبقة معالجة مستقلة قبل تحميلها إلى الوجهة، و ELT يحمّل البيانات الخام أولًا ثم يحوّلها داخل الوجهة. وكل ما سوى ذلك يتبع هذا الفرق: ما تحفظه الوجهة، وأين تقع تكلفة المعالجة، ومن يكتب التحويلات، وكيف تُعامَل البيانات الحساسة.
ما معنى اختصار ELT؟
ELT اختصار لثلاث كلمات إنجليزية: Extract و Load و Transform، أي الاستخراج والتحميل والتحويل. وهي خطوات ETL نفسها بترتيب آخر: تُستخرج البيانات من المصادر، وتُحمَّل إلى الوجهة كما هي، ثم تُحوَّل فيها، وغالبًا باستعلامات SQL تعمل بقدرة الوجهة نفسها. والمصطلح اسم لأسلوب عمل لا لمنتج.
هل ELT أفضل من ETL؟
ليس دائمًا. ELT أنسب مع وجهة قابلة للتوسع، مثل مستودع بيانات سحابي، ومع محللين يريدون التاريخ الخام. و ETL أنسب حين يجب حجب البيانات أو تصفيتها قبل خروجها من بيئة المصدر، ومع وجهة محدودة القدرة. وكثير من الفرق تختار لكل مجموعة بيانات على حدة، وبعض الخطوط تجمع الأسلوبين.
هل ELT أسرع من ETL؟
التحميل في ELT أسرع غالبًا، لأن البيانات تصل إلى الوجهة دون انتظار التحويل. أما سرعة التحويل بعد ذلك فتعتمد على قدرة الوجهة على المعالجة وطريقة إعدادها. والزمن الكلي يتوقف على الأحجام والوجهة والتحويلات، فاختبروه على بياناتكم أنتم بدل الاعتماد على حكم عام.
هل يُستخدم الأسلوبان معًا؟
نعم، وهذا شائع. تُحجب الأعمدة الحساسة أو تُصفّى قبل التحميل، وهذا من ETL، ثم تجري بقية التحويلات داخل الوجهة، وهذا من ELT. فلا تحفظ الوجهة ما لا يجوز لها حفظه، ويبقى للمحللين بيانات قريبة من المصدر. ويُحسم التقسيم عمودًا عمودًا، لا مرة واحدة للمشروع كله.
التالي
اقرؤوا أيضًا
الخطوة التالية
اسألوا مهندسًا سؤالًا واحدًا
أخبرونا من أين تأتي بياناتكم وأين يجب أن تصل، وأي أعمدتها حساسة. اسألوا سؤالًا واحدًا عن ETL أو ELT في مشروعكم.
ما الذي يحدث بعد الإرسال
- نقرأ طلبكم
- يتواصل معكم مهندس
- تحصلون على تقدير أو عرض
أو مباشرةً
+966-11-2180999 [email protected]أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية
أو ما هو ETL؟