منصة البيانات

Apache Kafka أم منصة نسخ بيانات: أيهما يحتاجه مشروعكم؟

Apache Kafka عمود فقري للأحداث، ومنصة النسخ تبقي قواعد البيانات متطابقة. ومشاريع كثيرة تحتاج الثانية فقط.

  • من تطوير إنتركي ودعمها منتج إنتركي، تسلّمه إنتركي وتدعمه
  • منصة واحدة للترحيل والمزامنة المستمرة النقل والنسخ المتزامن الذي يليه
  • دون حاجة إلى فريق تطوير لديكم يُعَدّ بالإعداد، ويشغّله فريق إنتركي معكم

Apache Kafka برنامج مفتوح المصدر لبث الأحداث بين أنظمة كثيرة، ويحتاج فريقًا يبني الموصلات ويشغّل العنقود. أما منصة النسخ مثل iblync فتقرأ التغييرات من قاعدة بيانات وتطبّقها على أخرى بالإعداد. إن كان الهدف ترحيلًا أو مزامنة بين قواعد بيانات فمنصة النسخ تكفي في الغالب. وإن كانت تطبيقات كثيرة ستتفاعل مع الأحداث نفسها فالأنسب Kafka، وبعض المؤسسات تستخدم الاثنتين.

مهمتان مختلفتان

يُذكر Apache Kafka ومنصة نسخ البيانات كثيرًا في الحديث نفسه، لكنهما يؤديان مهمتين مختلفتين. فـ Kafka منصة لبث الأحداث: تكتب التطبيقات الأحداث فيه، فيحفظها بترتيبها مدة محددة، وتقرأ تطبيقات أخرى كثيرة الأحداث نفسها، كلٌّ بإيقاعه. وتزيد قيمته كلما زاد عدد الأنظمة التي تحتاج أن تتفاعل مع ما يجري في غيرها.

أما منصة النسخ فمهمتها أضيق: تقرأ البيانات وتغييراتها في قاعدة بيانات، وتطبّقها على قاعدة أخرى، فتبقى القاعدتان متطابقتين. وهي تخدم الترحيل، حين يُوقَف النظام القديم بعد أن يطابقه الجديد، أو المزامنة المستمرة بين نظامين يبقيان في الخدمة. فإن كان سؤالكم كيف تنقلون بيانات قاعدتين أو ثلاث، أو كيف تبقونها متطابقة، فسؤالكم هو الثاني لا الأول.

المساران في نظرة واحدة

مساران للبيانات: منصة نسخ بين قواعد البيانات، و Apache Kafka بين الأنظمة التي تنتج الأحداث ومستهلكين كثيرين
المسارمن أين تبدأ البياناتما الذي ينقلهاأين تصل
النسخقاعدة بياناتمنصة نسخ بياناتقاعدة بيانات أخرى تبقى مطابقة للأولى
بث الأحداثقاعدة بيانات أو تطبيق ينتج أحداثًاApache Kafkaمستهلكون كثيرون، يقرأ كلٌّ منهم الأحداث نفسها

المسار الأول ينتهي عند قاعدة بيانات يجب أن تطابق مصدرها. والثاني ينتهي عند تطبيقات كثيرة، يتصرف كل منها في الأحداث نفسها بطريقته.

ما تبنونه وما تشغّلونه

الأسئلة الستة نفسها، لكل خيار.

ثلاث طرق لنقل البيانات: البناء على Apache Kafka، وخدمة بث مُدارة، ومنصة نسخ
السؤالبناء ذاتي على Apache Kafkaخدمة بث مُدارةمنصة نسخ مثل iblync
الغرضعمود فقري للأحداث تكتب فيه تطبيقات كثيرة وتقرأ منهالعمود الفقري نفسه، ومزوّد الخدمة يشغّل العنقودترحيل البيانات ومزامنتها المستمرة بين قواعد البيانات
من يبني الموصلاتفريقكم، بإطار Kafka Connect أو بكود يكتبهفريقكم، وبعض الخدمات تقدّم موصلات جاهزة لأنظمة معينةالمنصة: يُعَدّ iblync بالإعداد، والموصلات المخصصة تُبنى عند الحاجة
من يشغّلهافريقكم: الخوادم وتخزينها والترقيات والمراقبةالمزوّد يشغّل العنقود، وفريقكم يتولى المواضيع والموصلات والتطبيقاتفي iblync، فريق إنتركي الذي يشغّله، مع فريقكم
المهارات المطلوبةالأنظمة الموزعة وتشغيل Kafka، والبرمجة للتطبيقات التي تنتج الأحداث وتستهلكهاتصميم Kafka: المواضيع والتقسيمات والمخططات وكود المستهلكينمعرفة قواعد بياناتكم وبياناتكم، دون حاجة إلى فريق تطوير لديكم مع iblync
التقاريريعرض Kafka حالته هو، أما إثبات أن الوجهة تطابق المصدر فيحتاج إلى بناءكما في البناء الذاتيفي iblync، تقارير نسخ أسبوعية وشهرية
متى يناسبمستهلكون كثيرون، وإعادة قراءة الأحداث، وفريق منصة قائمعمود فقري للأحداث دون أن تشغّلوا العنقود بأنفسكمنقل البيانات أو مزامنتها بين عدد قليل من قواعد البيانات

ما يقوله هذا الجدول عن Apache Kafka كلام عام يتبع وثائق المشروع المنشورة. ولمعرفة كيف تُقرأ التغييرات من قاعدة البيانات أصلًا، انظروا دليل التقاط تغييرات البيانات.

علامات أنكم تحتاجون عمودًا للأحداث

إن انطبق أغلب هذه البنود على مشروعكم، فالأرجح أن Apache Kafka، ببناء ذاتي أو خدمة مُدارة، هو الأساس المناسب.

  • مستهلكون كثيرون يحتاجون الحدث نفسه: الفوترة والإشعارات والتحليلات كلها تتفاعل مع طلب واحد.
  • يحتاج المستهلكون إلى إعادة قراءة الأحداث: تطبيق جديد يقرأ السجل من أوله، أو تطبيق تعطّل يعيد قراءته بعد إصلاحه.
  • فرق عدة ستبني على البث نفسه، ولكل فريق تطبيقاته.
  • أحداث كثيرة لا تأتي من قاعدة بيانات أصلًا: نقرات المستخدمين، وقراءات الحساسات، والرسائل بين الخدمات.
  • فريق منصة يشغّل العنقود وترقياته ومراقبته، أو مستعد لذلك. وتعرض صفحتنا عن مراقبة Kafka مع Datadog جانب المراقبة.

علامات أن منصة النسخ تكفي

وإن كانت هذه البنود أقرب إلى مشروعكم، فالبناء على Kafka يضيف عملًا لا تحتاجونه.

  • تنتقل البيانات بين قاعدتين، أو بين عدد قليل من القواعد.
  • المشروع ترحيل: نسخ، ثم مزامنة، ثم تحويل، ثم إيقاف النظام القديم.
  • ليس لديكم فريق تطوير متفرغ لبناء خطوط النقل وصيانتها. انظروا نسخ البيانات دون فريق تطوير.
  • يحتاج أحد أن يثبت، بانتظام، أن الوجهة تطابق المصدر.
  • الموعد قريب، ولا وقت لإنشاء منصة جديدة وتوفير فريق لها أولًا.

استخدام الاثنتين

في مؤسسات كثيرة تلزم المهمتان معًا. يعمل Apache Kafka جسرًا بين الأنظمة: ينقل الأحداث من التطبيقات التي تنتجها إلى التطبيقات الكثيرة التي تتفاعل معها، وهو العنقود الذي يشغّله فريقكم. وليس مصدرًا ولا وجهة بمعنى النسخ.

أما نقل قاعدة بيانات إلى محرك جديد، أو إبقاء قاعدتين متطابقتين، فمهمة أخرى لها مالك آخر. والفصل بين المهمتين يُبقي كلًّا منهما بسيطة: العمود الفقري للأحداث يخدم التطبيقات، ومنصة النسخ تخدم قواعد البيانات. وإن كان Kafka قائمًا لديكم فاذكروه في النموذج، فتصميم مشروع النسخ يبدأ من الأنظمة الموجودة لديكم.

ما يضيفه iblync

iblync منصة إنتركي لترحيل البيانات ومزامنتها المستمرة بين أنظمة غير متجانسة.

01

دون حاجة إلى فريق تطوير لديكم

يُعَدّ iblync بمسارات عمل قليلة الكود بدل سكربتات لكل مشروع، ويُسلَّم مع فريق إنتركي الذي يشغّله.

02

تحكم في الحمل وطابور انتظار

يمكن تحديد سرعة النقل واستهلاك الموارد على المصدر. وإن توقفت الوجهة، تنتظر التغييرات في طابور وتُطبَّق حين تعود.

03

تقارير أسبوعية وشهرية

تقرير مفصّل لكل عملية نقل، مع إثبات اكتمالها وتطابق النظامين القديم والجديد. والتفاصيل في صفحة تقارير الترحيل والنسخ.

النطاق

ما تغطيه هذه الصفحة

لا تبيع إنتركي Apache Kafka، وتشغيل عنقود Kafka ليس جزءًا من عرض iblync إلا باتفاق منفصل. و Apache Kafka برنامج مفتوح المصدر من مؤسسة Apache للبرمجيات، وما تقوله هذه الصفحة عنه كلام عام يتبع وثائقه المنشورة.

أسئلة عن Apache Kafka ومنصات النسخ

هل iblync بديل عن Apache Kafka؟

ليس بديلًا عامًا، لأن لكل منهما مهمة مختلفة. ففي ترحيل البيانات أو مزامنتها بين قواعد البيانات، تغنيكم منصة نسخ مثل iblync عن بناء هذا المسار على Kafka. أما بث الأحداث إلى مستهلكين كثيرين فأداته Kafka، ويبقى الجسر بين الأنظمة الذي يشغّله فريقكم.

هل نحتاج Kafka لإبقاء قاعدتي بيانات متطابقتين؟

لا بالضرورة. منصة النسخ تقرأ التغييرات في قاعدة المصدر وتطبّقها على الوجهة مباشرة، دون عمود فقري للأحداث بينهما. ويصبح Kafka في مكانه حين تحتاج تطبيقات أخرى كثيرة إلى هذه التغييرات أيضًا. ويشرح دليل التقاط تغييرات البيانات كيف تُقرأ التغييرات من قاعدة البيانات.

متى يكون Apache Kafka هو الخيار الصحيح؟

حين تتفاعل تطبيقات كثيرة مع الأحداث نفسها، ويحتاج المستهلكون إلى إعادة قراءة السجل، وتأتي الأحداث من التطبيقات لا من قواعد البيانات وحدها، ويوجد فريق يشغّل العنقود. في بيئة كهذه يكون Kafka العمود الفقري، ولا تحل منصة النسخ محله.

ماذا يتطلب تشغيل Kafka بأنفسنا؟

يتطلب فريقًا يبني الموصلات ويصونها، ويصمم المواضيع والتقسيمات، ويشغّل الخوادم وتخزينها، ويخطط للترقيات، ويراقب العنقود ليلًا ونهارًا. وتشرح وثائق Apache Kafka كل مهمة من هذه المهام. ويستحق هذا الجهد حين يخدم العمود الفقري تطبيقات كثيرة، لا قاعدتين فقط.

وماذا عن خدمات البث المُدارة؟

خدمة البث المُدارة تشغّل العنقود عنكم، فترفع عنكم عمل الخوادم والتخزين والترقيات. ويبقى على فريقكم تصميم المواضيع، وبناء الموصلات أو ضبطها، وكتابة التطبيقات التي تستخدم الأحداث. وهي تناسب فريقًا يحتاج عمودًا فقريًا للأحداث دون عبء تشغيله.

أي الخيارين أقل كلفة؟

لا تقارن هذه الصفحة الأرقام، وسعر iblync يُناقش في اجتماع ويليه عرض سعر مكتوب: انظروا طريقة تسعير iblync.

الخطوة التالية

اسألوا مهندسًا سؤالًا واحدًا

أخبرونا بالأنظمة التي تنتقل بياناتكم بينها، ومن يستخدمها في الطرف الآخر. اسألوا سؤالًا واحدًا عن الخيار الذي أمامكم.

خانة إلزامية

بإرسالك هذا النموذج، فأنت توافق على سياسة الخصوصية.

ما الذي يحدث بعد الإرسال

  1. نقرأ طلبكم
  2. يتواصل معكم مهندس
  3. تحصلون على تقدير أو عرض

أو مباشرةً

+966-11-2180999 [email protected]

أبراج التعاونية، البرج الشمالي، الطابق السابع، طريق الملك فهد، العليا، ص.ب. ٥٦٨٣٥، الرياض ١١٥٦٤، المملكة العربية السعودية

أو الأنظمة التي يتصل بها iblync

نشرته إنتركي. آخر تحديث . إنتركي مسجلة في الرياض بالسجل التجاري رقم 1010156897.