سنتحدث اليوم عن أفضل السبل لتخزين البيانات في عالم تنتج فيه شبكات الجيل الخامس وماسحات الجينوم والسيارات ذاتية القيادة في يوم واحد بيانات أكثر مما أنتجته البشرية قبل الثورة الصناعية.
يولد عالمنا المزيد والمزيد من المعلومات. بعضها سريع الزوال ويتم فقده بالسرعة التي يتم جمعها بها. يجب تخزين الآخر لفترة أطول ، والآخر مصمم بالكامل "لقرون" - على الأقل هكذا نراه من الوقت الحاضر. تستقر تدفقات المعلومات في مراكز البيانات بهذه السرعة بحيث يصبح أي نهج جديد أو أي تقنية مصممة لتلبية هذا "الطلب" اللامتناهي عفا عليها الزمن بسرعة.
40 عامًا من تطوير التخزين الموزع
ظهرت مخازن الشبكة الأولى بالشكل المألوف لنا في الثمانينيات. لقد صادف الكثير منكم NFS (نظام ملفات الشبكة) أو AFS (نظام ملفات أندرو) أو Coda. بعد عقد من الزمان ، تغيرت الموضة والتكنولوجيا ، وأفسحت أنظمة الملفات الموزعة المجال لأنظمة التخزين العنقودية القائمة على GPFS (نظام الملفات العامة المتوازي) ، CFS (أنظمة الملفات العنقودية) و StorNext. كأساس ، تم استخدام مخازن الكتلة للهندسة المعمارية الكلاسيكية ، وعلى رأسها تم إنشاء نظام ملفات واحد باستخدام طبقة البرنامج. لا تزال هذه الحلول وما شابهها مستخدمة ، وتحتل مكانتها وهي مطلوبة للغاية.
في مطلع الألفية ، تغير نموذج التخزين الموزع إلى حد ما ، وتولت الأنظمة ذات بنية SN (Shared-Nothing) الصدارة. كان هناك انتقال من التخزين العنقودي إلى التخزين على عقد منفصلة ، والتي ، كقاعدة عامة ، كانت خوادم كلاسيكية ببرنامج يوفر تخزينًا موثوقًا به ؛ يتم إنشاء هذه المبادئ ، على سبيل المثال ، HDFS (نظام الملفات الموزعة Hadoop) و GFS (نظام الملفات العالمي).
بالقرب من عام 2010 ، بدأت المفاهيم الأساسية لأنظمة التخزين الموزعة تنعكس بشكل متزايد في المنتجات التجارية الكاملة ، مثل VMware vSAN و Dell EMC Isilon و . لم يعد وراء المنصات المذكورة مجتمعًا من المتحمسين ، ولكن البائعين المحددين المسؤولين عن وظائف ودعم وخدمة المنتج وضمان مزيد من تطويره. هذه الحلول هي الأكثر طلبًا في العديد من المجالات.
مشغلي في العالم
ربما يكون مشغلو الاتصالات من أقدم مستهلكي أنظمة التخزين الموزعة. يوضح الرسم التخطيطي مجموعات التطبيقات التي تنتج الجزء الأكبر من البيانات. OSS (أنظمة دعم العمليات) و MSS (خدمات دعم الإدارة) و BSS (أنظمة دعم الأعمال) هي ثلاث طبقات برمجية تكميلية مطلوبة لتقديم الخدمة للمشتركين ، وإعداد التقارير المالية للمزود ، والدعم التشغيلي لمهندسي المشغل.
في كثير من الأحيان ، يتم خلط بيانات هذه الطبقات بقوة مع بعضها البعض ، ومن أجل تجنب تراكم النسخ غير الضرورية ، يتم استخدام المستودعات الموزعة التي تجمع كامل كمية المعلومات القادمة من شبكة العمل. يتم دمج المخازن في تجمع مشترك ، تصل إليه جميع الخدمات.
تُظهر حساباتنا أن الانتقال من أنظمة التخزين التقليدية إلى أنظمة التخزين الكتل يسمح لك بتوفير ما يصل إلى 70٪ من الميزانية فقط من خلال التخلي عن أنظمة التخزين عالية النهاية المخصصة واستخدام خوادم العمارة الكلاسيكية التقليدية (عادةً x86) ، والعمل جنبًا إلى جنب مع البرامج المتخصصة. لقد حصل المشغلون الخلويون على مثل هذه الحلول بكميات كبيرة لفترة طويلة. على وجه الخصوص ، يستخدم المشغلون الروس مثل هذه المنتجات من Huawei منذ أكثر من ست سنوات.
نعم ، لا يمكن تنفيذ عدد من المهام باستخدام الأنظمة الموزعة. على سبيل المثال ، مع زيادة متطلبات الأداء أو التوافق مع البروتوكولات الأقدم. ولكن يمكن وضع 70٪ على الأقل من البيانات التي يعالجها المشغل في تجمع موزع.
القطاع المصرفي
يوجد في أي بنك العديد من أنظمة تكنولوجيا المعلومات المتنوعة ، بدءًا من المعالجة وحتى النظام المصرفي الآلي. تعمل هذه البنية التحتية أيضًا مع كمية هائلة من المعلومات ، في حين أن معظم المهام لا تتطلب أداءً متزايدًا وموثوقية لأنظمة التخزين ، مثل التطوير والاختبار وأتمتة العمليات المكتبية ، وما إلى ذلك ، هنا ، يمكن استخدام أنظمة التخزين الكلاسيكية ، لكنها تقل ربحًا كل عام. بالإضافة إلى ذلك ، في هذه الحالة ، لا توجد مرونة في إنفاق موارد التخزين ، والتي يتم حساب أدائها من ذروة الحمل.
عند استخدام أنظمة التخزين الموزعة ، يمكن تحويل عقدها ، والتي هي في الواقع خوادم عادية ، في أي وقت ، على سبيل المثال ، إلى مزرعة خوادم واستخدامها كمنصة حاسوبية.
بحيرات البيانات
يوضح الرسم البياني أعلاه قائمة مستهلكي الخدمة النموذجيين. . يمكن أن تكون هذه خدمات الحكومة الإلكترونية (على سبيل المثال ، "Gosuslugi") ، والمؤسسات التي خضعت للرقمنة ، والهياكل المالية ، وما إلى ذلك. كل منهم بحاجة إلى العمل مع كميات كبيرة من المعلومات غير المتجانسة.
إن تشغيل أنظمة التخزين الكلاسيكية لحل مثل هذه المشكلات غير فعال ، نظرًا لأن كلا من الوصول عالي الأداء إلى قواعد البيانات المحظورة والوصول المنتظم إلى مكتبات المستندات الممسوحة ضوئيًا المخزنة ككائنات مطلوبة. هنا ، على سبيل المثال ، يمكن ربط نظام الطلبات عبر بوابة الويب. لتنفيذ كل هذا على منصة تخزين كلاسيكية ، ستحتاج إلى مجموعة كبيرة من المعدات للقيام بمهام مختلفة. يمكن لنظام تخزين عالمي أفقي أن يغطي بسهولة جميع المهام المذكورة سابقًا: ما عليك سوى إنشاء عدة مجموعات بخصائص تخزين مختلفة.
مولدات المعلومات الجديدة
تتزايد كمية المعلومات المخزنة في العالم بنحو 30٪ سنويًا. هذه أخبار جيدة لبائعي وحدات التخزين ، ولكن ما هو المصدر الرئيسي لهذه البيانات ، وما الذي سيكون عليه؟
قبل عشر سنوات ، أصبحت الشبكات الاجتماعية مثل هذه المولدات ، الأمر الذي تطلب إنشاء عدد كبير من الخوارزميات الجديدة ، وحلول الأجهزة ، وما إلى ذلك. الآن هناك ثلاثة محركات رئيسية لنمو التخزين. الأول هو الحوسبة السحابية. حاليًا ، ما يقرب من 70٪ من الشركات تستخدم الخدمات السحابية بطريقة أو بأخرى. يمكن أن تكون هذه أنظمة البريد الإلكتروني والنسخ الاحتياطية والكيانات الافتراضية الأخرى.
أصبحت شبكات الجيل الخامس المحرك الثاني. هذه سرعات جديدة وأحجام جديدة لنقل البيانات. وفقًا لتوقعاتنا ، سيؤدي اعتماد شبكة الجيل الخامس على نطاق واسع إلى انخفاض الطلب على بطاقات الذاكرة المحمولة. بغض النظر عن حجم الذاكرة الموجودة في الهاتف ، فإنها لا تزال منتهية ، وإذا كان الجهاز يحتوي على قناة 5 ميغا بت ، فلا داعي لتخزين الصور محليًا.
تشمل المجموعة الثالثة من الأسباب وراء تزايد الطلب على أنظمة التخزين التطور السريع للذكاء الاصطناعي ، والانتقال إلى تحليلات البيانات الكبيرة والاتجاه نحو أتمتة عالمية لكل ما هو ممكن.
ميزة "حركة المرور الجديدة" هي . نحتاج إلى تخزين هذه البيانات دون تحديد تنسيقها بأي شكل من الأشكال. مطلوب فقط للقراءة اللاحقة. على سبيل المثال ، سيبحث نظام تسجيل النقاط البنكي لتحديد حجم القرض المتاح في الصور التي نشرتها على الشبكات الاجتماعية ، وتحديد عدد مرات ذهابك إلى البحر والمطاعم ، وفي نفس الوقت دراسة مقتطفات من مستنداتك الطبية المتاحة له. هذه البيانات ، من ناحية ، شاملة ، ومن ناحية أخرى ، تفتقر إلى التجانس.
محيط من البيانات غير المهيكلة
ما هي المشاكل التي ينطوي عليها ظهور "البيانات الجديدة"؟ أولها ، بالطبع ، هو كمية المعلومات نفسها والفترة المقدرة لتخزينها. تنتج السيارة الحديثة ذاتية القيادة وحدها ما يصل إلى 60 تيرابايت من البيانات كل يوم من جميع أجهزة الاستشعار والآليات. لتطوير خوارزميات حركة جديدة ، يجب معالجة هذه المعلومات في نفس اليوم ، وإلا فإنها ستبدأ في التراكم. في الوقت نفسه ، يجب تخزينه لفترة طويلة جدًا - عقود. عندها فقط سيكون من الممكن استخلاص استنتاجات على أساس عينات تحليلية كبيرة في المستقبل.
ينتج جهاز واحد لفك تشفير التسلسلات الجينية حوالي 6 تيرابايت في اليوم. والبيانات التي تم جمعها بمساعدتها لا تعني الحذف على الإطلاق ، أي افتراضيًا ، يجب تخزينها إلى الأبد.
أخيرًا ، كل نفس شبكات الجيل الخامس. بالإضافة إلى المعلومات التي يتم إرسالها بحد ذاتها ، فإن هذه الشبكة في حد ذاتها هي منشئ ضخم للبيانات: سجلات الأنشطة ، وسجلات المكالمات ، والنتائج الوسيطة للتفاعلات بين آلة وآلة ، إلخ.
كل هذا يتطلب تطوير مناهج وخوارزميات جديدة لتخزين المعلومات ومعالجتها. وهذه الأساليب آخذة في الظهور.
تقنيات العصر الجديد
يمكن تمييز ثلاث مجموعات من الحلول المصممة لمواكبة المتطلبات الجديدة لأنظمة تخزين المعلومات: إدخال الذكاء الاصطناعي ، والتطور التقني لوسائط التخزين ، والابتكارات في مجال هندسة النظم. لنبدأ بالذكاء الاصطناعي.
في حلول Huawei الجديدة ، يتم استخدام الذكاء الاصطناعي بالفعل على مستوى التخزين نفسه ، وهو مزود بمعالج AI يسمح للنظام بتحليل حالته بشكل مستقل والتنبؤ بالفشل. إذا كان نظام التخزين متصلاً بسحابة خدمة تتمتع بقدرات حاسوبية كبيرة ، يمكن للذكاء الاصطناعي معالجة المزيد من المعلومات وتحسين دقة فرضياته.
بالإضافة إلى حالات الفشل ، فإن مثل هذا الذكاء الاصطناعي قادر على التنبؤ بحمل الذروة في المستقبل والوقت المتبقي حتى نفاد السعة. يتيح لك ذلك تحسين الأداء وقياس النظام قبل وقوع أي أحداث غير مرغوب فيها.
الآن حول تطور ناقلات البيانات. تم تصنيع محركات الأقراص المحمولة الأولى باستخدام تقنية SLC (خلية أحادية المستوى). كانت الأجهزة التي تعتمد عليها سريعة وموثوقة ومستقرة ، ولكنها كانت ذات سعة صغيرة وكانت باهظة الثمن. تم تحقيق الزيادة في الحجم وانخفاض السعر من خلال بعض التنازلات الفنية ، مما أدى إلى تقليل سرعة محركات الأقراص وموثوقيتها وعمرها. ومع ذلك ، فإن الاتجاه لم يؤثر على أنظمة التخزين نفسها ، والتي ، بسبب الحيل المعمارية المختلفة ، بشكل عام ، أصبحت أكثر إنتاجية وأكثر موثوقية.
ولكن لماذا احتجت إلى أنظمة تخزين من فئة All-Flash؟ ألم يكن كافيًا مجرد استبدال محركات الأقراص الثابتة القديمة في نظام يعمل بالفعل بمحركات أقراص صلبة جديدة من نفس الشكل؟ كان هذا مطلوبًا من أجل الاستخدام الفعال لجميع موارد محركات أقراص الحالة الصلبة الجديدة ، والتي كانت ببساطة مستحيلة في الأنظمة القديمة.
هواوي ، على سبيل المثال ، طورت عددًا من التقنيات لحل هذه المشكلة ، إحداها ، مما جعل من الممكن تحسين تفاعلات وحدة التحكم في القرص قدر الإمكان.
مكّن التحديد الذكي من تحليل البيانات إلى عدة تدفقات والتعامل مع عدد من الظواهر غير المرغوب فيها ، مثل (تضخيم الكتابة). في الوقت نفسه ، خوارزميات الاسترداد الجديدة ، على وجه الخصوص ، زاد من سرعة إعادة البناء ، مما قلل من وقته إلى قيم تافهة تمامًا.
الفشل والاكتظاظ وجمع القمامة - لم تعد هذه العوامل تؤثر أيضًا على أداء نظام التخزين بفضل التحسين الخاص لوحدات التحكم.
وكتلة مخازن البيانات تستعد للقاء . تذكر أن المخطط الكلاسيكي لتنظيم الوصول إلى البيانات كان يعمل على النحو التالي: وصل المعالج إلى وحدة تحكم RAID عبر ناقل PCI Express. وهذا بدوره يتفاعل مع الأقراص الميكانيكية عبر SCSI أو SAS. أدى استخدام NVMe على الواجهة الخلفية إلى تسريع العملية برمتها بشكل كبير ، لكنه كان له عيب واحد: يجب أن تكون محركات الأقراص متصلة مباشرة بالمعالج لتزويدها بوصول مباشر للذاكرة.
المرحلة التالية من تطوير التكنولوجيا التي نشهدها الآن هي استخدام NVMe-oF (NVMe على الأقمشة). بالنسبة لتقنيات كتلة Huawei ، فهي تدعم بالفعل FC-NVMe (NVMe عبر القناة الليفية) ، و NVMe عبر RoCE (RDMA عبر الإيثرنت المتقاربة) في الطريق. نماذج الاختبار تعمل بشكل جيد ، ولم يتبق سوى بضعة أشهر قبل عرضها الرسمي. لاحظ أن كل هذا سيظهر أيضًا في الأنظمة الموزعة ، حيث سيكون هناك طلب كبير على "إيثرنت بدون خسارة".
كانت هناك طريقة إضافية لتحسين عمل المخازن الموزعة وهي الرفض الكامل لعكس البيانات. لم تعد حلول Huawei تستخدم نسخ n ، كما هو الحال في RAID 1 المعتاد ، وتتحول تمامًا إلى الآلية (محو الترميز). تقوم الحزمة الرياضية الخاصة بحساب كتل التحكم بتردد معين ، مما يسمح لك باستعادة البيانات الوسيطة في حالة الفقد.
تصبح آليات إلغاء البيانات المكررة والضغط إلزامية. إذا كنا في أنظمة التخزين الكلاسيكية مقيدون بعدد المعالجات المثبتة في وحدات التحكم ، فعندئذٍ في أنظمة التخزين الموزعة القابلة للتوسع أفقيًا ، تحتوي كل عقدة على كل ما تحتاجه: الأقراص والذاكرة والمعالجات والتوصيل البيني. هذه الموارد كافية لإلغاء البيانات المكررة والضغط ليكون لها تأثير ضئيل على الأداء.
وحول طرق تحسين الأجهزة. هنا ، كان من الممكن تقليل الحمل على المعالجات المركزية بمساعدة دوائر دقيقة إضافية مخصصة (أو كتل مخصصة في المعالج نفسه) ، والتي تلعب الدور (TCP / IP Offload Engine) أو القيام بمهام الرياضيات الخاصة بـ EC وإلغاء البيانات المكررة والضغط.
تتجسد الأساليب الجديدة لتخزين البيانات في بنية مفصلة (موزعة). في أنظمة التخزين المركزية ، يوجد مصنع خادم متصل عبر القناة الليفية بـ مع الكثير من المصفوفات. تتمثل عيوب هذا النهج في صعوبات التحجيم وتوفير مستوى مضمون من الخدمة (من حيث الأداء أو الكمون). تستخدم الأنظمة شديدة التقارب نفس المضيفين لتخزين المعلومات ومعالجتها. يوفر هذا نطاقًا غير محدود تقريبًا للتوسع ، ولكنه يستلزم تكاليف عالية للحفاظ على تكامل البيانات.
على عكس ما ورد أعلاه ، فإن العمارة المصنفة تعني ضمناً تقسيم النظام إلى مصنع حوسبة ونظام تخزين أفقي. يوفر هذا مزايا كل من البنيتين ويسمح بقياس غير محدود تقريبًا للعنصر الذي لا يكفي أداؤه.
من التكامل إلى التقارب
تتمثل المهمة الكلاسيكية ، التي ازدادت أهميتها على مدار الخمسة عشر عامًا الماضية فقط ، في الحاجة إلى توفير تخزين جماعي ، والوصول إلى الملفات ، والوصول إلى الكائنات ، وتشغيل مزرعة للبيانات الضخمة ، وما إلى ذلك. يكون أيضًا ، على سبيل المثال ، نظامًا احتياطيًا لشريط مغناطيسي.
في المرحلة الأولى ، يمكن توحيد إدارة هذه الخدمات فقط. تم إغلاق أنظمة تخزين البيانات غير المتجانسة أمام بعض البرامج المتخصصة ، والتي من خلالها قام المسؤول بتوزيع الموارد من التجمعات المتاحة. ولكن نظرًا لأن هذه المجموعات كانت مختلفة في الأجهزة ، كان ترحيل الحمل بينها أمرًا مستحيلًا. على مستوى أعلى من التكامل ، تم الدمج على مستوى البوابة. إذا كان هناك وصول ملف مشترك ، فيمكن منحه من خلال بروتوكولات مختلفة.
تتضمن طريقة التقارب الأكثر تقدمًا المتاحة لنا الآن إنشاء نظام هجين عالمي. فقط الطريقة التي يجب أن تكون لدينا . يستخدم الوصول الشامل نفس موارد الأجهزة ، مقسمة منطقيًا إلى مجموعات مختلفة ، ولكن مع السماح بترحيل الحمل. كل هذا يمكن القيام به من خلال وحدة تحكم إدارة واحدة. بهذه الطريقة ، تمكنا من تنفيذ مفهوم "مركز بيانات واحد - نظام تخزين واحد".
تحدد تكلفة تخزين المعلومات الآن العديد من القرارات المعمارية. وعلى الرغم من أنه يمكن وضعه بأمان في المقدمة ، فإننا نناقش التخزين "المباشر" مع الوصول النشط اليوم ، لذلك يجب أيضًا مراعاة الأداء. التوحيد خاصية أخرى مهمة للأنظمة الموزعة من الجيل التالي. بعد كل شيء ، لا أحد يريد أن يكون لديه عدة أنظمة متباينة تدار من وحدات تحكم مختلفة. تتجسد كل هذه الصفات في السلسلة الجديدة من منتجات Huawei. .
الجيل القادم من التخزين كبير السعة
يفي OceanStor Pacific بستة تسع (99,9999٪) من متطلبات الموثوقية ويمكن استخدامه لإنشاء مركز بيانات فئة HyperMetro. مع وجود مسافة بين مركزي بيانات تصل إلى 100 كيلومتر ، تُظهر الأنظمة تأخيرًا إضافيًا قدره 2 مللي ثانية ، مما يجعل من الممكن بناء أي حلول مقاومة للكوارث بناءً عليها ، بما في ذلك تلك التي تحتوي على خوادم النصاب.
تُظهر منتجات السلسلة الجديدة براعة من حيث البروتوكولات. بالفعل ، يدعم OceanStor 100D الوصول إلى الحظر والوصول إلى الكائنات والوصول إلى Hadoop. سيتم تنفيذ الوصول إلى الملفات في المستقبل القريب. ليست هناك حاجة للاحتفاظ بنسخ متعددة من البيانات إذا كان من الممكن إصدارها من خلال بروتوكولات مختلفة.
يبدو ، ما علاقة مفهوم "الشبكة غير المفقودة" بالتخزين؟ الحقيقة هي أن أنظمة التخزين الموزعة مبنية على أساس شبكة سريعة تدعم الخوارزميات المناسبة وآلية RoCE. يساعد نظام الذكاء الاصطناعي الذي تدعمه مفاتيحنا على زيادة سرعة الشبكة وتقليل زمن الوصول. . يمكن أن يصل مكاسب أداء أنظمة التخزين عند تنشيط AI Fabric إلى 20٪.
ما هي عقدة التخزين الموزعة الجديدة OceanStor Pacific؟ يشتمل حل عامل الشكل 5U على 120 محركًا ويمكن أن يحل محل ثلاث عقد كلاسيكية ، أي أكثر من ضعف مساحة الحامل. بسبب رفض تخزين النسخ ، تزداد كفاءة محركات الأقراص بشكل كبير (تصل إلى + 92٪).
لقد اعتدنا على حقيقة أن التخزين المعرّف بالبرمجيات هو برنامج خاص مثبت على خادم كلاسيكي. ولكن الآن ، من أجل تحقيق المعلمات المثلى ، يتطلب هذا الحل المعماري أيضًا عقدًا خاصة. يتكون من خادمين يعتمدان على معالجات ARM التي تدير مجموعة من محركات الأقراص مقاس ثلاث بوصات.
هذه الخوادم ليست مناسبة تمامًا للحلول شديدة التقارب. أولاً ، هناك عدد قليل من التطبيقات لـ ARM ، وثانيًا ، من الصعب الحفاظ على توازن الحمل. نقترح التبديل إلى وحدة تخزين منفصلة: تعمل مجموعة الحوسبة ، التي يتم تمثيلها بواسطة خوادم كلاسيكية أو على حامل ، بشكل منفصل ، ولكنها متصلة بعُقد تخزين OceanStor Pacific ، والتي تؤدي أيضًا مهامها المباشرة. وهي تبرر نفسها.
على سبيل المثال ، لنأخذ حل تخزين البيانات الكبيرة المتقارب للغاية والذي يشغل 15 رفًا للخادم. إذا قمت بتوزيع الحمل بين خوادم حساب OceanStor Pacific الفردية وعقد التخزين ، وفصلها عن بعضها البعض ، فسيتم خفض عدد الرفوف المطلوبة إلى النصف! هذا يقلل من تكلفة تشغيل مركز البيانات ويقلل من التكلفة الإجمالية للملكية. في عالم يتزايد فيه حجم المعلومات المخزنة بنسبة 30٪ سنويًا ، فإن هذه الفوائد ليست مبعثرة.
***
لمزيد من المعلومات حول حلول Huawei وسيناريوهات التطبيقات الخاصة بها ، يرجى زيارة موقعنا أو عن طريق الاتصال بممثلي الشركة مباشرة.
المصدر: www.habr.com