إزالة الغموض عن بحيرات البيانات ومستودعات بحيرات البيانات - أفضل الممارسات لهيكلة وإدارة البيانات غير المنظمة

دراسة أجرتها شركة Statista إلى أن نمو البيانات (غير المنظمة) سيتجاوز 180 زيتابايت بحلول عام 2025، مما يشير إلى حاجة الشركات إلى الاستفادة من إمكانات البيانات غير المنظمة بالتفصيل لاستخلاص رؤى من شأنها تحقيق ميزة تنافسية في بيئة الأعمال المتسارعة. كما تُبرز هذه الإحصائيات بشكل غير مباشر الحاجة إلى حل لإدارة البيانات، حيث تتعثر المؤسسات في التعامل مع العوامل الثلاثة: البيانات، والحجم، والسرعة، والتنوع للوصول إلى البيانات ودمجها. ويُعد تجاهل البيانات غير المنظمة أمرًا شائعًا نظرًا لعدم وجود مستودع تخزين يمكنه استيعاب البيانات يوميًا. وإذا استمر هذا السبب، فإن المؤسسات تفتقر إلى القدرة على تطبيق التحليلات المتقدمة ونمذجة البيانات، لأن البيانات التي تُترك دون معالجة لفترة طويلة تفقد قيمتها، مما يؤدي إلى بيئة راكدة وعرضة للمخاطر.

تخيّل لو حرص زملاؤك على الاستفادة من كل معلومة تلقّوها من مصادر متنوعة. هل ترغب بمعرفة ما سيحققونه؟

•  فهم العملاء السابق
•  اتخاذ القرارات الاستراتيجية
•  تحسين الشراكات
•  الابتكارات الجديدة
•  التخفيف من المخاطر والاحتيال

وبالتالي، تؤكد هذه المدونة بوضوح على الحاجة إلى بنية بحيرة بيانات ومستودع بحيرة بيانات، وهو مستودع تخزين نموذجي هجين للمؤسسات لتلبية متطلبات الأعمال الحديثة. تتناول هذه المدونة بحيرات البيانات ومستودعات بحيرة البيانات، وبنيتها، وأهمية إدارة البيانات غير المنظمة. كما تُبرز المدونة الفرق بين حلول تخزين البيانات الثلاثة - مستودع البيانات، وبحيرة البيانات، ومستودع بحيرة البيانات - لفهم شامل لاعتماد الشركات على مستودع بحيرة البيانات.

بحيرة البيانات: نظرة عامة

كما ذكرنا سابقًا، تُعدّ بحيرة البيانات مستودعًا افتراضيًا لتخزين البيانات من تطبيقات أعمال متنوعة ومصادر بيانات غير علائقية. وعلى عكس مستودعات البيانات، تتميز بحيرة البيانات ببنية مسطحة وتخزين كائني لا يتطلب تحديد هيكل البيانات مسبقًا، مما يُساعد على تخزين البيانات بصيغتها الخام والأصلية. يُساعد هذا التخزين الكائني على توفير بيانات وصفية ومعرفات فريدة للبيانات، مما يُسهّل استرجاعها ويحسّن الأداء. وإذا كانت مؤسستك تسعى إلى اكتساب رؤى عميقة من خلال تقنيات التعلم الآلي والتحليلات المتقدمة، فقد تكون بحيرة البيانات الخيار الأمثل، حيث تُخزّن البيانات ثم تُتاح لفريق البحث.

هندسة بحيرة البيانات

تُعدّ بنية بحيرة البيانات أحد أسباب شعبيتها. سيساعدنا فحصها السريع على فهم كيفية مساهمة بحيرات البيانات في إدارة البيانات غير المنظمة لتحسين عملية اتخاذ القرارات.

مصادر البيانات، واستيعابها، وتخزينها، واستهلاكها هي الطبقات الأساسية لبنية بحيرة البيانات. وبينما لكل طبقة مسؤولياتها الخاصة، فإن البنية العامة لبحيرة البيانات تتمثل في دعم تخزين البيانات الخام وتمكين التحليلات المتقدمة والتعلم الآلي للبيانات غير المنظمة، وهو أمر بالغ الأهمية للشركات الحديثة.

مصدر البيانات: تُقسّم بداية البيانات في بحيرة البيانات إلى ثلاث مجموعات: مجموعة للبيانات المنظمة، ومجموعة للبيانات شبه المنظمة، ومجموعة للبيانات غير المنظمة. يُبرز هذا قدرة بحيرة البيانات على الحصول على البيانات من مصادر متنوعة، مثل المستشعرات، حيث تكون البيانات خامًا وحقيقية تمامًا على شكل صورة أو فيديو، أو من قاعدة بيانات علائقية، مثل Microsoft SQL Server، حيث تكون البيانات مُحسّنة ومُعرّفة بالكامل.

استيعاب البيانات: بمجرد الحصول على البيانات، يحين وقت إدخالها إلى بحيرة البيانات، إما بنظام الاستيعاب الدفعي أو الفوري. على سبيل المثال، يمكن الوصول إلى بيانات ملفات السجل والنسخ الاحتياطية للبيانات مرة واحدة أسبوعيًا أو يوميًا. في المقابل، يجب استيعاب البيانات الحساسة زمنيًا، الناتجة عن كشف الاحتيال أو تحديد الأخطاء، في الوقت الفعلي.

تخزين البيانات: تُخزَّن البيانات المُستقبَلة أو المُرسَلة من المصدر على دفعات وفي الوقت الفعلي. هنا، تمر البيانات بثلاث طبقات قبل معالجتها لأغراض التحليل.

• المساحة الخام: يتم الاحتفاظ بالبيانات دون المساس بها، أي أنها في شكلها الخام، بمساعدة حلول تخزين البيانات مثل تخزين Microsoft Azure Blob.
• مساحة التحويل: تخضع البيانات المخزنة لعمليات تنقية، وإثرائها، وتنسيقها، وهيكلتها. في هذه المرحلة، تُصاغ البيانات في شكل يُصنّف كبيانات موثوقة.
• مساحة المعالجة: باعتبارها طبقة أساسية للبيانات، يضمن قسم المعالجة دمج البيانات بشكل جيد، وتشكيلها بشكل فعال للحصول على رؤى قابلة للتنفيذ واتخاذ القرارات.

استهلاك البيانات: يتم الوصول إلى المرحلة النهائية في بحيرة البيانات، حيث يتم توفير البيانات للمستخدمين النهائيين عبر أدوات الاستخبارات التجارية مثل Microsoft Power BI لتمكين محللي البيانات والمديرين التنفيذيين وعلماء البيانات الآخرين من قيادة الرؤى التي تساعد أعمالهم على النمو والتوسع.

لذا، فإن نظرة عامة على بنية بحيرة البيانات تشرح بوضوح كيف يتحول دمج البيانات من مصادر متنوعة إلى بيانات موثوقة لا تؤثر على سلامتها أو قيمتها التجارية. ومع ذلك، تواجه بحيرة البيانات بعض القيود فيما يتعلق بإدارة البيانات الوصفية، والالتزام بلوائح الامتثال، وصعوبة معالجة كميات كبيرة من البيانات بسبب محركات الاستعلام التقليدية.

مركز بيانات البحيرة: قسم توضيحي

لمواجهة تحديات الأعمال الحديثة وابتكار حلول مبتكرة قائمة على تحليل البيانات، من الضروري وجود بنية تُساعد على تحسين حلول إدارة البيانات. يبدو أن Data Lakehouse، كونه مزيجًا من أفضل ما في مستودع البيانات وبحيرة البيانات، يُناسب نموذج الأعمال الحديث تمامًا، حيث يُساعد علماء البيانات ومحلليها على توفير حلول تخزين بيانات مرنة وفعّالة من حيث التكلفة.

دعونا نلقي نظرة على ميزات Data Lakehouse التي تجعلها حلاً بارزًا بين حلول تخزين البيانات الثلاثة.

دعم معاملات ACID: للحفاظ على سلامة البيانات، يلعب دعم بحيرة البيانات من خلال معاملات ACID دورًا رئيسيًا في تأكيد صحة البيانات، بغض النظر عن عمليات القراءة والكتابة العديدة.

• يشير الحرف A إلى الذرية، مما يعني أن المعاملة تتم كوحدة عمل واحدة غير قابلة للتجزئة.
• يرمز الحرف C إلى الاتساق، مما يضمن بقاء البيانات موثوقة وتلتزم بالقواعد واللوائح قبل المعاملات وبعدها.
• يرمز الحرف I إلى العزل، مما يشير إلى أن العملية تتم بطريقة متسلسلة، مما يقلل من المشكلات مثل القراءات المتسخة، والقراءات غير القابلة للتكرار، والقراءات الوهمية.
• يرمز الحرف D إلى المتانة، مما يضمن عدم فقدان التغييرات التي تم إجراؤها أثناء هجوم الفشل.

تطبيق المخطط: يُعرف بأنه مزيج من مستودع البيانات وبحيرة البيانات، حيث يستوعب مستودع البيانات عمليات القراءة المُعتمدة على المخطط، والتي تُصرّ على تحديد تنسيق البيانات، بما في ذلك القواعد والقيود وأنواع البيانات. وبالتالي، فإن تمكين المؤسسات من استيعاب البيانات في المخطط المُحدد مسبقًا يضمن تحميل بيانات متسقة وموثوقة فقط.

صيغة مفتوحة: صُممت صيغ ملفات Data Lakehouse لتكون متوافقة مع بعضها البعض، وهي صيغة مفتوحة، مما يُشير إلى سهولة الوصول إلى أدوات متنوعة ووضوح قراءتها، مما يجعلها مثالية للمشاركة عبر الأنظمة والتطبيقات. لدعم صيغتي مستودع البيانات وData Lake، تستخدم Data Lakehouse صيغ ملفات مثل Apache Parquet وORC لتخزين البيانات بكفاءة ولضمان استمرارية مبادراتها في إدارة البيانات والتحليلات.

نبذة عن بنية Data Lakehouse

دعونا نتعرف على بنية بحيرة البيانات، والتي تتألف من خمس طبقات

طبقة الابتلاع:

تتولى هذه الطبقة مسؤولية جمع البيانات وتحويلها إلى صيغة ملف يمكن لبنية مستودع البيانات تخزينها وتحليلها. باستخدام بروتوكولات مثل JDBC/ODBC، وواجهات برمجة تطبيقات REST، وMQTT، يحصل مستودع البيانات على البيانات من مصادر خارجية وداخلية، تشمل أنظمة إدارة قواعد البيانات مثل MySQL وOracle، ومنصات التواصل الاجتماعي مثل Twitter وLinkedIn، ومنصات البث مثل Striim.

طبقة التخزين:

هذه الطبقة مسؤولة عن تخزين البيانات بمختلف أنواعها، سواءً كانت خامًا أو مُهيكلة أو شبه مُهيكلة. ولدعم ذلك، تضمن طبقة التخزين تخزين البيانات بتنسيق ملفات مفتوح مثل Parquet أو ORC. هذه الخاصية التي تُميز قدرة مستودع البيانات على استيعاب بيانات متنوعة بتكلفة منخفضة تجعله أكثر سهولة في الوصول إليه وتوافقًا مع مختلف أنواع البيانات.

طبقة البيانات الوصفية:

تعمل هذه الطبقة كمؤشر لمجموعة البيانات المخزنة في قاعدة البيانات، حيث توفر بيانات وصفية لكل جزء من البيانات في وحدة تخزين الكائنات. يتضمن ذلك تفاصيل البيانات، مثل هيكلها وتنسيقها وملكيتها ونسبها. كما يمكن للمستخدمين، داخل طبقة البيانات الوصفية، استخدام مخططات محددة مسبقًا تضمن هيكلة البيانات وتوثيقها وإدارتها. وبالتالي، تساعد طبقة البيانات الوصفية المؤسسات على تحسين استخدام البيانات وإدارتها.

طبقة API:

صُممت هذه الطبقة لتسهيل معالجة المهام وإجراء تحليلات متقدمة للبيانات المخزنة. كما تُساعد هذه الطبقة المطورين والمستخدمين على التفاعل مع خط أنابيب البيانات بلغة البرمجة المُفضّلة، مما يُشير إلى إمكانات مستودعات البيانات (Data Lakehouse) في دعم بايثون أو سكالا أو جافا، إلى جانب مكتبات مثل TensorFlow وPyTorch وScikit-Learn وSpark MLlib، لبناء ونشر نماذج التعلم الآلي والتطبيقات التحليلية، مما يُمكّن المؤسسات من الاستفادة الكاملة من إمكانات مستودعات البيانات.

طبقة استهلاك البيانات:

تُمثّل الطبقة الأخيرة من بنية مستودع البيانات منصةً تُمكّن المستخدمين من استخلاص رؤىً من مجموعة البيانات عبر إجراء تحليلات متقدمة، وتصور البيانات، وذكاء الأعمال، والتعلم الآلي. وبالتالي، تُمثّل هذه الطبقة واجهةً موحدةً للمستخدمين للوصول إلى البيانات، مما يُمكّنهم من استكشافها واكتشافها وتفسيرها بفعالية.

أفضل الممارسات لإدارة البيانات غير المنظمة

بفضل الفهم الشامل لبحيرة البيانات (Data Lake) وبيت البيانات (Data Lakehouse)، من المهم تطبيق بعض أفضل الممارسات التي تُساعد في هيكلة وإدارة البيانات غير المنظمة. سيساعد تحليل بحيرة البيانات وبيت البيانات على صياغة الممارسات التي تُساعد المؤسسات على تنظيم البيانات غير المنظمة بطريقة لا تُشكل أي مشكلة تتعلق بالحوكمة أو تُمس بسلامة البيانات وأمنها.

تحديد سياسات حوكمة البيانات:

• الخطوة الأولى في إدارة البيانات غير المنظمة هي وضع القواعد والمعايير والإجراءات من خلال تحديد ملكية البيانات. سيساعد هذا في تحديد الفريق المسؤول عن البيانات طوال دورة حياتها.
• يساعد تحديد حدود لمجموعة البيانات من خلال تنفيذ عناصر التحكم في الوصول وسياسات الترخيص وآليات المصادقة في تأمين البيانات غير المنظمة من الوصول غير المرغوب فيه وفقدان البيانات.
• من المهم أيضًا تحديد مدة الاحتفاظ بالبيانات، إذ يُساعد ذلك على فهم دورة حياتها. كما تُمكّن هذه المدة المؤسسات من تحديد تخصيص الموارد، والتحقق من المتطلبات القانونية، واتباع إجراءات أخرى تتعلق بالبيانات خلال فترة الاحتفاظ.

تنفيذ إدارة البيانات الوصفية:

• يساعد إنشاء السمات مثل مصدر البيانات والتنسيق والمالك والمعلومات الأخرى في تحديد كائنات البيانات غير المنظمة.
• يتم تخزين هذه البيانات الوصفية، بمجرد التقاطها، في مستودع مركزي يعمل كمخزون للوصول إلى البيانات المخزنة في بحيرة البيانات ومستودعات بحيرة البيانات واستكشافها.

منطقة الهبوط للبيانات الخام:

• من المهم أن يكون هناك مساحة تخزين أولية للبيانات غير المنظمة قبل أن تخضع لتنظيف البيانات والتحقق منها.
• تخدم منطقة هبوط بحيرة البيانات هذا الغرض، حيث يتم الاحتفاظ بالبيانات الممتصة من مصادر مختلفة بتنسيقات وهياكل مختلفة هنا بتنسيقها الأصلي، مما يضمن عدم فقدان البيانات لقيمتها الجوهرية والرؤى الأخرى.

تطبيق مبادئ Data Lakehouse:

• كما ذكرنا سابقًا، أحد أهم جوانب Data Lakehouse هو قدرته على توفير تنسيقات ملفات مفتوحة للبيانات مثل Parquet أو ORC.
• تم تحسين تنسيقات الملفات هذه لتوفير تخزين فعال وضغط وأداء استعلام، مما يجعلها مناسبة لتخزين كميات كبيرة من البيانات غير المنظمة بطريقة فعالة من حيث التكلفة وقابلة للتطوير.

تمكين سلسلة البيانات والتدقيق:

• القدرة على تتبع استخدام البيانات ضرورية لتتبع سلسلة البيانات غير المنظمة. بدءًا من معرفة الموظفين المخولين وصولًا إلى نوع تفاصيل تنظيف البيانات وإثرائها المُضافة إلى ما تُنتجه، فإن كل تفصيل مهم لتقييم صحتها وسلامتها.
• كما أنه يسهل إدارة جودة البيانات من خلال تحديد المصادر المحتملة لأخطاء البيانات أو التناقضات وتمكين المؤسسات من تتبع مشكلات جودة البيانات ومعالجتها بشكل فعال.

بشكل عام، تضمن بنية بحيرة البيانات ومستودعها عدم إغفال أي بيانات أو المساس بجودتها. وهذا يساعد المؤسسات أيضًا على عدم التخلي عن البيانات غير المنظمة، بل على الاستفادة من إمكاناتها وتوسيع نطاق عملياتها التجارية إلى آفاق جديدة.

لإلقاء نظرة سريعة على سبب كون مستودع البيانات (Data Lakehouse) حل التخزين الافتراضي الأكثر اعتمادًا، نقدم أدناه ملخصًا لكل جانب من جوانب مستودع البيانات، ومستودع البيانات، ومستودع البيانات. تأكد من أن مؤسستك تتخذ الخيار الأمثل.