منصة البيانات

التقاط التغييرات (CDC) بقراءة السجل أم بالاستعلام: مقارنة بين ثلاث طرق

ثلاث طرق لالتقاط تغييرات قاعدة البيانات، وما تطلبه كل طريقة من نظام المصدر، وكيف تختارون بينها قبل اختيار الأداة.

  • من تطوير إنتركي ودعمها منتج إنتركي، تسلّمه إنتركي وتدعمه
  • منصة واحدة للترحيل والمزامنة المستمرة النقل والنسخ المتزامن الذي يليه
  • عرض سعر مكتوب بعد اجتماع واحد السعر يُناقش في اجتماع عن أنظمتكم

التقاط التغييرات بقراءة السجل يقرأ سجل معاملات قاعدة البيانات نفسه، فيرى كل تغيير بحمل قليل على المصدر. الالتقاط بالاستعلام يفحص الجداول دوريًا وقد يفوته الحذف والتحديثات المتوسطة. الالتقاط بالمشغّلات يسجل التغييرات عبر مشغّلات قاعدة البيانات ويضيف عملًا على كل كتابة. الطريقة المناسبة تتبع قاعدة المصدر ومن يديرها.

الطرق الثلاث جنبًا إلى جنب

البنود السبعة نفسها، لكل طريقة.

مقارنة بين التقاط التغييرات بقراءة السجل وبالاستعلام الدوري وبالمشغّلات في سبعة بنود
البندقراءة السجلالاستعلام الدوريالمشغّلات
كيف تعملتقرأ سجل المعاملات الذي تكتب فيه قاعدة البيانات أصلًا كل تغيير مؤكَّدتستعلم عن كل جدول على جدول زمني بحثًا عن الصفوف التي تغيّرت منذ آخر تشغيلمشغّل على كل جدول يكتب كل إضافة وتعديل وحذف في جدول تغييرات يُقرأ بعد ذلك
ترى الحذفنعم: الحذف مكتوب في السجل كأي تغيير آخرفي الغالب لا: الصف المحذوف لم يعد موجودًا ليُعثر عليهنعم: مشغّل الحذف يسجّل الصف
ترى كل تحديثنعم، كل تحديث بترتيب تأكيدهلا: الصف الذي تغيّر مرات بين تشغيلين يظهر مرة واحدة بحالته الأخيرةنعم: كل كتابة تشغّل المشغّل
الحمل على المصدرقليل: لا استعلامات إضافية على الجداول ولا عمل إضافي على كل كتابةيزيد مع حجم الجداول ومع تكرار الاستعلاميُضاف إلى كل كتابة، داخل المعاملة نفسها
الصلاحيات المطلوبةالوصول إلى السجل، وإعدادات للسجل يُتفق عليها مع مدير قاعدة البياناتصلاحية القراءة من الجداول، وعمود «آخر تعديل» في كل جدولصلاحية إنشاء المشغّلات وجداول التغييرات في المخطط
التأخر المعتادقريب من المصدر، لأن السجل يُقرأ أثناء كتابتهلا يقل عن الفاصل بين تشغيلينقريب من المصدر، مع وقت قراءة جدول التغييرات
متى تصلححين تسمح قاعدة المصدر بقراءة السجل ويوافق مديرها على الإعداداتجداول تُضاف إليها الصفوف فقط، أو جداول قليلة الحذف وعمود «آخر تعديل» فيها موثوقحين لا تتاح قراءة السجل، ويتحمل المصدر عملًا إضافيًا على كل كتابة

كل خانة تصف الطريقة عمومًا. وطريقة تطبيقها في أي أداة تختلف حسب محرك المصدر وإصداره، فاسألوا أي مورّد، ونحن منهم، عن الطريقة التي سيستخدمها لكل مصدر لديكم.

الالتقاط بقراءة السجل

تحتفظ كل قاعدة بيانات علائقية بسجل للمعاملات: يُكتب فيه التغيير قبل تأكيده، لتستطيع القاعدة أن تتعافى بعد أي عطل. والالتقاط بقراءة السجل يقرأ هذا السجل وهو يكبر، ويحوّل كل قيد فيه إلى تغيير: إضافة، أو تعديل بقيمه قبل التعديل وبعده، أو حذف. ولا يُضاف شيء إلى الجداول ولا إلى التطبيق، ولذلك يبقى الحمل على المصدر قليلًا ولا يفوت أي تغيير.

اقرأ المزيد

أما العمل فيقع على مدير قاعدة البيانات. فحساب الالتقاط يحتاج صلاحية قراءة السجل. والسجل يحتاج غالبًا أن يحمل تفاصيل أكثر مما تحتاجه القاعدة لنفسها، بإعداد يفعّله المدير. ويجب أن يُحفظ السجل مدة تكفي ليصل إليه القارئ، بما يتوافق مع أرشفة السجلات ونسخها الاحتياطي.

وهنا أيضًا تتعثر الطريقة. فإن توقف القارئ ومُسح السجل قبل أن يلحق به، فلا سبيل إلى قراءة التغييرات الناقصة، ويلزم نسخ الوجهة من جديد من نقطة معروفة. وتختلف صيغ السجل بين المحركات وبين إصدارات المحرك الواحد، فترقية المصدر وقت مناسب لاختبار الالتقاط من جديد.

الالتقاط بالاستعلام الدوري

الالتقاط بالاستعلام، ويسمى أيضًا الفحص الدوري، يسأل كل جدول سؤالًا بسيطًا على جدول زمني: ما الصفوف التي قيمة «آخر تعديل» فيها أحدث من آخر تشغيل؟ ويُنسخ الجواب إلى الوجهة، ويُحفظ وقت التشغيل للمرة التالية. ولا يحتاج من مدير قاعدة البيانات إلا صلاحية القراءة.

وما يفوته يتبع من السؤال نفسه. فالصف المحذوف نهائيًا لم يعد موجودًا ليُعثر عليه، فيضيع الحذف ما لم يعلّم التطبيق الصفوف محذوفة بدل إزالتها. والصف الذي تغيّر ثلاث مرات بين تشغيلين يظهر مرة واحدة بحالته الأخيرة. والطريقة تثق بعمود «آخر تعديل»: فإن عدّل سكربت صفوفًا دون أن يحدّث هذا العمود، فلن تنتقل تلك التغييرات.

وهي تكفي لجداول تُضاف إليها الصفوف فقط، مثل سجلات الأحداث أو المعاملات، ولنسخة ليلية لا يهم فيها إلا الحالة الأخيرة.

الالتقاط بالمشغّلات

الالتقاط بالمشغّلات يضيف مشغّلًا إلى كل جدول مشمول. ومع كل إضافة وتعديل وحذف، يكتب المشغّل التغيير، ومعه غالبًا القيم القديمة والجديدة، في جدول تغييرات، ثم تقرأ عملية الالتقاط هذا الجدول وتفرّغه. فهي ترى الحذف وكل تحديث، وتعمل على محركات لا يُقرأ سجلها.

والكلفة تُدفع مع كل كتابة. فكل معاملة صارت تكتب مرتين، فتبطؤ الجداول المزدحمة، وقد يوقف خطأ في مشغّل عملية الكتابة في التطبيق نفسه. والمشغّلات وجداول التغييرات جزء من المخطط: يجب نشرها وإدارة إصداراتها واختبارها معه، ومن السهل نسيانها حين يتغير جدول. وتصلح حين لا تتاح قراءة السجل ويكون حمل الكتابة معتدلًا.

ما يحتاجه الالتقاط بقراءة السجل في كل محرك

نقاط عامة من وثائق كل محرك. والإعدادات تتغير بين الإصدارات، فارجعوا إلى وثائق إصداركم.

أين تسجّل أربعة محركات لقواعد البيانات تغييراتها، وما يحتاجه الالتقاط بقراءة السجل عادةً في كل منها
المحركأين التغييراتما يُعَدّ عادةًما يُنتبه إليه
PostgreSQLسجل الكتابة المسبقة (WAL)الفك المنطقي للسجل: ضبط مستوى السجل على logical، وفتحة نسخ، وحساب له صلاحية النسخالفتحة تُبقي السجل على القرص حتى يؤكد القارئ استلامه، فالقارئ المتوقف قد يملأ القرص
MySQLالسجل الثنائي (binary log)تسجيل على مستوى الصف، ومدة حفظ كافية للسجل، وحساب له صلاحية النسختنتهي صلاحية السجلات بعد المدة المضبوطة، والقارئ الذي يتأخر عنها تفوته تغييرات
SQL Serverسجل المعاملاتميزة التقاط التغييرات في المحرك نفسه، مفعّلة للقاعدة ولكل جدول، مع تشغيل مهمة الالتقاطلا يُمسح السجل قبل التقاط ما فيه، فالمهمة المتوقفة تجعل السجل يكبر
IBM Db2سجل الاستردادتعديل الجداول لتسجّل تغيير الصف كاملًا في السجل، وأرشفة السجلات بدل الكتابة فوقهايجب أن تبقى السجلات متاحة، على القرص أو في الأرشيف، حتى تُقرأ

وللمزيد عن كل محرك، انظروا النسخ المتزامن في PostgreSQL، والنسخ المتزامن في MySQL، والنسخ المتزامن في SQL Server، وترحيل IBM Db2. وتشرح صفحتنا عن قراءة التغييرات من سجل قاعدة بيانات تجارية الالتقاط من محرك مصدر تجاري.

خمسة أسئلة تحسم الطريقة

أجيبوا عنها لكل مصدر قبل أن تنظروا في الأدوات. وأجوبتها تختار لكم الطريقة في الغالب.

  • هل تحتاجون الحذف في الوجهة؟ إن كان الجواب نعم، فالاستعلام الدوري وحده لا يصلح ما لم تُعلَّم الصفوف محذوفة.
  • هل تحتاجون كل حالة متوسطة للصف، أم الحالة الأخيرة فقط؟ التدقيق ومعالجة الأحداث يحتاجان كل حالة، ونسخة التقارير لا تحتاجها غالبًا.
  • من يملك قاعدة المصدر؟ إعدادات السجل والمشغّلات كلاهما يحتاج موافقة الفريق الذي يديرها.
  • ما التأخر المقبول في الوجهة؟ دقائق بين تشغيلين قد تكفي لتقرير، ولا تكفي لتطبيق يقرأ من الوجهة.
  • هل يسمح مورّد قاعدة البيانات، أو مورّد التطبيق الذي يعمل عليها، بقراءة سجلها؟ راجعوا شروط الدعم قبل أن تبنوا التصميم عليها.

أين يأتي iblync

iblync منصة إنتركي لترحيل البيانات ومزامنتها الفورية المستمرة بين أنظمة غير متجانسة. وطريقة الالتقاط لكل مصدر تُحدَّد في التقييم، بعد معرفة المصدر وإصداره وقواعد الفريق الذي يديره. ويمكن تحديد سرعة النقل واستهلاك الموارد على المصدر، وإن توقفت الوجهة تنتظر التغييرات في طابور وتُطبَّق حين تعود.

النطاق

ما تغطيه هذه الصفحة

تقارن هذه الصفحة طرق الالتقاط عمومًا، ولا تصف كيف تلتقط أداة بعينها، ومنها iblync، التغييرات من محرك معيّن. وإن كنتم ما زلتم تختارون منصة، فابدؤوا من معايير المقارنة بين أدوات نسخ البيانات.

أسئلة عن طرق التقاط التغييرات

ما هو التقاط التغييرات بقراءة السجل؟

هو قراءة سجل المعاملات الذي تكتبه قاعدة البيانات أصلًا، لمعرفة كل تغيير مؤكَّد بترتيب حدوثه. فالإضافة والتعديل والحذف كلها مكتوبة فيه، دون استعلامات إضافية على الجداول ودون مشغّلات. ويحتاج صلاحية قراءة السجل، وإعدادات للسجل يُتفق عليها مع مدير قاعدة البيانات.

ما هو التقاط التغييرات بالاستعلام؟

هو فحص كل جدول على جدول زمني بحثًا عن الصفوف التي تغيّرت منذ آخر فحص، اعتمادًا على وقت أو رقم متزايد في عمود «آخر تعديل». ولا يحتاج إلا صلاحية القراءة، لكنه يرى كل صف بحالته الأخيرة فقط، ويفوته الصف المحذوف نهائيًا ما لم يعلّمه التطبيق محذوفًا.

ما أفضل طريقة لالتقاط التغييرات؟

قراءة السجل أشمل الطرق حين تسمح بها قاعدة المصدر والفريق الذي يديرها: ترى الحذف وكل تحديث بحمل قليل. والاستعلام يكفي لجداول تُضاف إليها الصفوف فقط. والمشغّلات تسد الفراغ حين لا يُقرأ السجل ويتحمل المصدر عملًا إضافيًا على كل كتابة. والجواب يختلف من مصدر إلى آخر في المشروع الواحد.

هل يلتقط الاستعلام الدوري عمليات الحذف؟

لا في الغالب. فالصف المحذوف نهائيًا لم يعد في الجدول، فلا يعيده استعلام يبحث عن الصفوف المتغيرة. ولنقل الحذف، يلزم أن يعلّم التطبيق الصفوف محذوفة بدل إزالتها، أو أن يُلتقط الحذف بطريقة أخرى، من السجل أو بمشغّل. فاسألوا عن ذلك قبل اختيار الطريقة.

لماذا تهم مدة حفظ السجل في الالتقاط بقراءة السجل؟

لأن القارئ لا يقرأ إلا ما تحتفظ به قاعدة البيانات. فإن توقف الالتقاط ومُسح السجل قبل أن يلحق به، ضاعت التغييرات الناقصة، ولزم نسخ الوجهة من جديد من نقطة معروفة. فاتفقوا مع مدير قاعدة البيانات على مدة حفظ السجل، وعلى ما يجري له أثناء الأرشفة.

متى يصلح الالتقاط بالمشغّلات؟

حين لا تتاح قراءة السجل، بسبب المحرك أو الإصدار أو شروط مورّد قاعدة البيانات، وتكون الكتابة على الجداول المشمولة غير كثيفة. فالمشغّلات ترى الحذف وكل تحديث، لكن كل كتابة تؤدي عملًا إضافيًا، ويجب نشر المشغّلات واختبارها مع المخطط، ومراجعتها مع كل تعديل على الجداول.

الخطوة التالية

اسألوا مهندسًا سؤالًا واحدًا

أخبرونا بقاعدة المصدر وإصدارها ومن يديرها. واسألوا سؤالًا واحدًا عن طريقة الالتقاط التي أمامكم.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

ما الذي يحدث بعد الإرسال

  1. نقرأ طلبكم
  2. يتواصل معكم مهندس
  3. تحصلون على تقدير أو عرض

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو كيف يعمل التقاط التغييرات

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.