អ្វីដែលពិសេសអំពី Cloudera និងរបៀបចំអិនវា។

ទីផ្សារសម្រាប់កុំព្យូទ័រចែកចាយ និងទិន្នន័យធំ នេះបើយោងតាម ស្ថិតិកំណើន 18-19% ក្នុងមួយឆ្នាំ។ នេះមានន័យថាបញ្ហានៃការជ្រើសរើសកម្មវិធីសម្រាប់គោលបំណងទាំងនេះនៅតែពាក់ព័ន្ធ។ នៅក្នុងការប្រកាសនេះ យើងនឹងចាប់ផ្តើមជាមួយនឹងមូលហេតុដែលយើងត្រូវការចែកចាយកុំព្យូទ័រ យើងនឹងនិយាយលម្អិតបន្ថែមទៀតលើជម្រើសនៃកម្មវិធី យើងនឹងនិយាយអំពីការប្រើប្រាស់ Hadoop ជាមួយ Cloudera ហើយចុងក្រោយយើងនឹងនិយាយអំពីជម្រើសនៃ Hardware និងរបៀបដែលវាប៉ះពាល់ដល់ដំណើរការ។ នៅក្នុងវិធីផ្សេងគ្នា។

ហេតុអ្វីបានជាយើងត្រូវការកុំព្យូទ័រចែកចាយក្នុងអាជីវកម្មធម្មតា? អ្វីគ្រប់យ៉ាងគឺសាមញ្ញនិងស្មុគស្មាញក្នុងពេលតែមួយ។ សាមញ្ញ - ដោយសារតែក្នុងករណីភាគច្រើនយើងធ្វើការគណនាសាមញ្ញទាក់ទងគ្នាក្នុងមួយឯកតានៃព័ត៌មាន។ ពិបាក - ដោយសារតែមានព័ត៌មានបែបនេះច្រើន។ ច្រើនណាស់។ ជាលទ្ធផលវាត្រូវតែ ដំណើរការ terabytes នៃទិន្នន័យក្នុង 1000 threads. ដូច្នេះ ករណីប្រើប្រាស់មានលក្ខណៈជាសកល៖ ការគណនាអាចត្រូវបានអនុវត្តនៅគ្រប់ទីកន្លែងដែលវាត្រូវបានទាមទារ ដើម្បីយកទៅក្នុងគណនីម៉ែត្រមួយចំនួនធំនៅលើអារេទិន្នន័យធំជាងនេះ។

ឧទាហរណ៍ថ្មីៗមួយ៖ ដូដូ ភីហ្សា កំណត់ ផ្អែកលើការវិភាគលើមូលដ្ឋានបញ្ជាទិញរបស់អតិថិជន ថានៅពេលជ្រើសរើសភីហ្សាជាមួយការបំពេញតាមអំពើចិត្ត អ្នកប្រើប្រាស់ជាធម្មតាដំណើរការជាមួយនឹងតែប្រាំមួយឈុតជាមូលដ្ឋាននៃគ្រឿងផ្សំបូកនឹងចំនួនចៃដន្យមួយចំនួន។ ដូច្នោះហើយ ភីហ្សាបានកែសម្រួលការទិញ។ លើសពីនេះ វាអាចណែនាំផលិតផលបន្ថែមដែលផ្តល់ជូននៅដំណាក់កាលបញ្ជាទិញបានប្រសើរជាងមុនដល់អ្នកប្រើប្រាស់ ដែលបង្កើនប្រាក់ចំណេញ។

ឧទាហរណ៍មួយទៀត៖ ការវិភាគ ទំនិញបានអនុញ្ញាតឱ្យ H&M កាត់បន្ថយការចាត់ថ្នាក់នៅក្នុងហាងនីមួយៗដោយ 40% ខណៈពេលដែលរក្សាកម្រិតនៃការលក់។ នេះត្រូវបានសម្រេចដោយការមិនរាប់បញ្ចូលមុខតំណែងដែលលក់មិនបានល្អ ហើយរដូវកាលត្រូវបានយកមកពិចារណាក្នុងការគណនា។

ការជ្រើសរើសឧបករណ៍

ស្តង់ដារឧស្សាហកម្មសម្រាប់កុំព្យូទ័រប្រភេទនេះគឺ Hadoop ។ ហេតុអ្វី? ដោយសារតែ Hadoop គឺជាក្របខ័ណ្ឌឯកសារដ៏ល្អមួយដ៏ល្អ ( Habr ដូចគ្នាផ្តល់ឱ្យនូវអត្ថបទលម្អិតជាច្រើនលើប្រធានបទនេះ) ដែលត្រូវបានអមដោយសំណុំឧបករណ៍ប្រើប្រាស់ និងបណ្ណាល័យទាំងមូល។ អ្នកអាចបញ្ជូនសំណុំដ៏ធំនៃទិន្នន័យទាំងរចនាសម្ព័ន្ធ និងមិនមានរចនាសម្ព័ន្ធជាការបញ្ចូល ហើយប្រព័ន្ធខ្លួនឯងនឹងចែកចាយពួកវារវាងថាមពលកុំព្យូទ័រ។ ជាងនេះទៅទៀត សមត្ថភាពដូចគ្នាទាំងនេះអាចត្រូវបានបង្កើន ឬបិទនៅពេលណាមួយ - ការធ្វើមាត្រដ្ឋានផ្ដេកដូចគ្នានៅក្នុងសកម្មភាព។

នៅឆ្នាំ 2017 ក្រុមហ៊ុនប្រឹក្សាដ៏មានឥទ្ធិពល Gartner បានបញ្ចប់ថា Hadoop នឹងក្លាយទៅជាលែងប្រើក្នុងពេលឆាប់ៗនេះ។ ហេតុផលគឺខុសធម្មតា៖ អ្នកវិភាគជឿថាក្រុមហ៊ុននឹងធ្វើចំណាកស្រុកយ៉ាងច្រើនទៅកាន់ពពក ព្រោះនៅទីនោះពួកគេនឹងអាចបង់ប្រាក់ដោយផ្អែកលើការប្រើប្រាស់ថាមពលកុំព្យូទ័រ។ កត្តាសំខាន់ទីពីរដែលគេសន្មត់ថាអាច "កប់" Hadoop គឺល្បឿននៃការងារ។ ដោយសារតែជម្រើសដូចជា Apache Spark ឬ Google Cloud DataFlow គឺលឿនជាង MapReduce មូលដ្ឋាន Hadoop ។

Hadoop ស្ថិតនៅលើសសរស្តម្ភជាច្រើន ដែលគួរឱ្យកត់សម្គាល់បំផុតនោះគឺ បច្ចេកវិទ្យា MapReduce (ប្រព័ន្ធសម្រាប់ចែកចាយទិន្នន័យសម្រាប់ការគណនារវាងម៉ាស៊ីនមេ) និងប្រព័ន្ធឯកសារ HDFS ។ ក្រោយមកទៀតត្រូវបានរចនាឡើងជាពិសេសដើម្បីរក្សាទុកព័ត៌មានដែលចែកចាយរវាងថ្នាំងចង្កោម៖ ប្លុកនីមួយៗនៃទំហំថេរអាចត្រូវបានដាក់នៅលើថ្នាំងជាច្រើន ហើយអរគុណចំពោះការចម្លង ប្រព័ន្ធមានភាពធន់នឹងការបរាជ័យនៃថ្នាំងនីមួយៗ។ ជំនួសឱ្យតារាងឯកសារ ម៉ាស៊ីនមេពិសេសហៅថា NameNode ត្រូវបានប្រើ។

រូបភាពខាងក្រោមបង្ហាញពីរបៀបដែល MapReduce ដំណើរការ។ នៅដំណាក់កាលទីមួយ ទិន្នន័យត្រូវបានបែងចែកទៅតាមលក្ខណៈជាក់លាក់មួយ នៅដំណាក់កាលទីពីរ វាត្រូវបានចែកចាយដោយថាមពលកុំព្យូទ័រ ហើយនៅដំណាក់កាលទីបី ការគណនាកើតឡើង។

MapReduce ត្រូវបានបង្កើតដំបូងដោយ Google សម្រាប់តម្រូវការនៃការស្វែងរករបស់វា។ បន្ទាប់មក MapReduce បានចូលទៅក្នុងកូដឥតគិតថ្លៃ ហើយ Apache បានកាន់កាប់គម្រោង។ ជាការប្រសើរណាស់, Google បានផ្លាស់ប្តូរបន្តិចម្តង ៗ ទៅដំណោះស្រាយផ្សេងទៀត។ ភាពគួរឱ្យចាប់អារម្មណ៍មួយ៖ នៅពេលនេះ Google មានគម្រោងមួយដែលមានឈ្មោះថា Google Cloud Dataflow ដែលមានទីតាំងជាជំហានបន្ទាប់បន្ទាប់ពី Hadoop ជាការជំនួសរហ័សរបស់វា។

ការក្រឡេកមើលកាន់តែជិតបង្ហាញថា Google Cloud Dataflow គឺផ្អែកលើការប្រែប្រួលនៃ Apache Beam ខណៈពេលដែល Apache Beam រួមបញ្ចូលនូវក្របខ័ណ្ឌ Apache Spark ដែលបានចងក្រងយ៉ាងល្អ ដែលអនុញ្ញាតឱ្យយើងនិយាយអំពីល្បឿននៃការប្រតិបត្តិដំណោះស្រាយស្ទើរតែដូចគ្នា។ ជាការប្រសើរណាស់ Apache Spark ដំណើរការបានល្អនៅលើប្រព័ន្ធឯកសារ HDFS ដែលអនុញ្ញាតឱ្យអ្នកដាក់ពង្រាយវានៅលើម៉ាស៊ីនមេ Hadoop ។

បន្ថែមនៅទីនេះនូវបរិមាណនៃឯកសារ និងដំណោះស្រាយដែលត្រៀមរួចជាស្រេចសម្រាប់ Hadoop និង Spark ប្រឆាំងនឹង Google Cloud Dataflow ហើយជម្រើសនៃឧបករណ៍កាន់តែច្បាស់។ លើសពីនេះទៅទៀត វិស្វករអាចសម្រេចចិត្តដោយខ្លួនឯងថាតើលេខកូដមួយណា - នៅក្រោម Hadoop ឬ Spark - ពួកគេនឹងប្រតិបត្តិដោយផ្តោតលើភារកិច្ច បទពិសោធន៍ និងគុណវុឌ្ឍិ។

Cloud ឬម៉ាស៊ីនមេក្នុងស្រុក

និន្នាការឆ្ពោះទៅរកការផ្លាស់ប្តូរទូទៅទៅកាន់ពពកបានផ្តល់នូវការកើនឡើងនូវពាក្យគួរឱ្យចាប់អារម្មណ៍ដូចជា Hadoop-as-a-service ។ ក្នុង​ស្ថានភាព​បែប​នេះ ការ​គ្រប់គ្រង​ម៉ាស៊ីន​មេ​ដែល​បាន​តភ្ជាប់​បាន​ក្លាយ​ជា​រឿង​សំខាន់​ខ្លាំង​ណាស់។ ដោយសារតែ, alas, ទោះបីជាវាមានប្រជាប្រិយភាព, Hadoop សុទ្ធគឺជាឧបករណ៍ពិបាកកំណត់រចនាសម្ព័ន្ធ, ចាប់តាំងពីអ្នកត្រូវតែធ្វើច្រើនដោយដៃ។ ឧទាហរណ៍ អ្នក​អាច​កំណត់​រចនាសម្ព័ន្ធ​ម៉ាស៊ីន​មេ​ជា​លក្ខណៈ​បុគ្គល តាមដាន​ដំណើរការ​របស់​វា និង​កំណត់​ប៉ារ៉ាម៉ែត្រ​ជា​ច្រើន។ ជាទូទៅ ធ្វើការឱ្យអ្នកស្ម័គ្រចិត្ត ហើយមានឱកាសធំក្នុងការស្វែងរកកន្លែងណាមួយ ឬខកខានអ្វីមួយ។

ដូច្នេះការចែកចាយផ្សេងៗបានក្លាយជាការពេញនិយមយ៉ាងខ្លាំង ដែលដំបូងឡើយត្រូវបានបំពាក់ដោយឧបករណ៍ដាក់ពង្រាយ និងការគ្រប់គ្រងដ៏ងាយស្រួល។ ការចែកចាយដ៏ពេញនិយមមួយដែលគាំទ្រ Spark និងធ្វើឱ្យអ្វីៗមានភាពងាយស្រួលគឺ Cloudera ។ វា​មាន​ទាំង​កំណែ​បង់​ប្រាក់ និង​ឥត​គិត​ថ្លៃ - ហើយ​នៅ​ពេល​ក្រោយ​ទៀត មុខងារ​សំខាន់​ទាំង​អស់​មាន ហើយ​ដោយ​មិន​កំណត់​ចំនួន​ថ្នាំង។

កំឡុងពេលដំឡើង Cloudera Manager នឹងភ្ជាប់តាមរយៈ SSH ទៅកាន់ម៉ាស៊ីនមេរបស់អ្នក។ ចំណុចគួរឱ្យចាប់អារម្មណ៍មួយ: នៅពេលដំឡើងវាល្អប្រសើរជាងមុនដើម្បីបញ្ជាក់ថាវាត្រូវបានអនុវត្តដោយអ្វីដែលគេហៅថា ក្បាលដី៖ កញ្ចប់ពិសេស ដែលនីមួយៗមានសមាសធាតុចាំបាច់ទាំងអស់ដែលបានកំណត់រចនាសម្ព័ន្ធដើម្បីធ្វើការជាមួយគ្នា។ តាមការពិត នេះគឺជាកំណែប្រសើរឡើងនៃកម្មវិធីគ្រប់គ្រងកញ្ចប់។

បន្ទាប់ពីការដំឡើង យើងទទួលបានកុងសូលគ្រប់គ្រងចង្កោម ដែលអ្នកអាចមើលឃើញតេឡេម៉ែត្រសម្រាប់ចង្កោម សេវាកម្មដែលបានដំឡើង បូកអ្នកអាចបន្ថែម/លុបធនធាន និងកែសម្រួលការកំណត់រចនាសម្ព័ន្ធចង្កោម។

ជាលទ្ធផល ការកាត់គ្រាប់រ៉ុក្កែតនោះលេចឡើងនៅចំពោះមុខអ្នក ដែលនឹងនាំអ្នកទៅកាន់អនាគតដ៏ភ្លឺស្វាងនៃ BigData ។ ប៉ុន្តែមុននឹងយើងនិយាយថា "តោះទៅ" ចូរប្រញាប់ទៅមុខក្រោមក្រណាត់។

តម្រូវការផ្នែករឹង

នៅលើគេហទំព័ររបស់ពួកគេ Cloudera និយាយអំពីការកំណត់ផ្សេងៗដែលអាចកើតមាន។ គោលការណ៍ទូទៅដែលពួកគេត្រូវបានសាងសង់ត្រូវបានបង្ហាញនៅក្នុងរូបភាព៖

MapReduce អាចធ្វើឲ្យរូបភាពសុទិដ្ឋិនិយមនេះព្រិល។ ក្រឡេកមើលដ្យាក្រាមនៅក្នុងផ្នែកមុនម្តងទៀត វាច្បាស់ណាស់ថាស្ទើរតែគ្រប់ករណីទាំងអស់ ការងារ MapReduce អាចជួបបញ្ហានៅពេលអានទិន្នន័យពីថាស ឬបណ្តាញ។ នេះត្រូវបានកត់សម្គាល់ផងដែរនៅលើប្លក់ Cloudera ។ ជាលទ្ធផល សម្រាប់ការគណនារហ័សណាមួយ រួមទាំងតាមរយៈ Spark ដែលជារឿយៗត្រូវបានប្រើសម្រាប់ការគណនាតាមពេលវេលាជាក់ស្តែង ល្បឿន I/O គឺមានសារៈសំខាន់ខ្លាំងណាស់។ ដូច្នេះហើយ នៅពេលប្រើ Hadoop វាមានសារៈសំខាន់ខ្លាំងណាស់ដែលម៉ាស៊ីនដែលមានតុល្យភាព និងលឿនចូលទៅក្នុងចង្កោម ដែលដើម្បីដាក់វាឱ្យស្រាល វាមិនតែងតែត្រូវបានផ្តល់ឱ្យនៅក្នុងហេដ្ឋារចនាសម្ព័ន្ធពពកនោះទេ។

សមតុល្យក្នុងការចែកចាយបន្ទុកត្រូវបានសម្រេចតាមរយៈការប្រើប្រាស់និម្មិត Openstack នៅលើម៉ាស៊ីនមេដែលមានស៊ីភីយូពហុស្នូលដ៏មានឥទ្ធិពល។ ថ្នាំងទិន្នន័យត្រូវបានបែងចែកធនធានខួរក្បាលរបស់ពួកគេផ្ទាល់ និងថាសជាក់លាក់។ នៅក្នុងដំណោះស្រាយរបស់យើង។ ម៉ាស៊ីន Atos Codex Data Lake ការធ្វើនិម្មិតទូលំទូលាយត្រូវបានសម្រេច ដែលនេះជាមូលហេតុដែលយើងឈ្នះទាំងផ្នែកនៃការអនុវត្ត (ផលប៉ះពាល់នៃហេដ្ឋារចនាសម្ព័ន្ធបណ្តាញត្រូវបានបង្រួមអប្បបរមា) និង TCO (ម៉ាស៊ីនមេបន្ថែមត្រូវបានលុបចោល)។

នៅក្នុងករណីនៃការប្រើប្រាស់ម៉ាស៊ីនមេ BullSequana S200 យើងទទួលបានការផ្ទុកឯកសណ្ឋានយ៉ាងខ្លាំង ដោយគ្មានបញ្ហាមួយចំនួន។ ការកំណត់រចនាសម្ព័ន្ធអប្បបរមារួមមានម៉ាស៊ីនមេ BullSequana S3 ចំនួន 200 ដែលនីមួយៗមាន JBOD ពីរ បូក S200s បន្ថែមដែលមានថ្នាំងទិន្នន័យចំនួន XNUMX ត្រូវបានភ្ជាប់ជាជម្រើស។ នេះគឺជាការផ្ទុកឧទាហរណ៍នៅក្នុងការធ្វើតេស្ត TeraGen៖

ការធ្វើតេស្តជាមួយនឹងបរិមាណទិន្នន័យផ្សេងគ្នា និងតម្លៃចម្លងបង្ហាញលទ្ធផលដូចគ្នានៅក្នុងលក្ខខណ្ឌនៃការចែកចាយបន្ទុកឆ្លងកាត់ថ្នាំងចង្កោម។ ខាងក្រោមនេះគឺជាក្រាហ្វនៃការចែកចាយនៃការចូលប្រើថាសដោយការធ្វើតេស្តដំណើរការ។

ការគណនាគឺផ្អែកលើការកំណត់អប្បបរមានៃម៉ាស៊ីនមេ 3 BullSequana S200។ វារួមបញ្ចូលទាំងថ្នាំងទិន្នន័យចំនួន 9 និងថ្នាំងមេចំនួន 3 ក៏ដូចជាម៉ាស៊ីននិម្មិតដែលបានបម្រុងទុកនៅក្នុងករណីនៃការដាក់ពង្រាយការការពារដោយផ្អែកលើ OpenStack Virtualization ។ លទ្ធផលតេស្ត TeraSort៖ ទំហំប្លុក 512 MB នៃកត្តាចម្លងចំនួនបីជាមួយនឹងការអ៊ិនគ្រីបគឺ 23,1 នាទី។

តើប្រព័ន្ធអាចពង្រីកបានដោយរបៀបណា? ប្រភេទផ្សេងៗនៃផ្នែកបន្ថែមមានសម្រាប់ Data Lake Engine៖

• ថ្នាំងទិន្នន័យ៖ សម្រាប់រាល់ 40 TB នៃទំហំដែលអាចប្រើបាន
• ថ្នាំងវិភាគដែលមានសមត្ថភាពដំឡើង GPU
• ជម្រើសផ្សេងទៀតអាស្រ័យលើតម្រូវការអាជីវកម្ម (ឧទាហរណ៍ប្រសិនបើអ្នកត្រូវការ Kafka និងផ្សេងទៀត)

ស្មុគ្រស្មាញ Atos Codex Data Lake Engine រួមមានទាំងម៉ាស៊ីនមេខ្លួនឯង និងកម្មវិធីដែលបានដំឡើងជាមុន រួមទាំងឧបករណ៍ Cloudera ដែលមានអាជ្ញាប័ណ្ណ។ Hadoop ខ្លួនវាផ្ទាល់ OpenStack ជាមួយនឹងម៉ាស៊ីននិម្មិតដោយផ្អែកលើខឺណែល RedHat Enterprise Linux ការចម្លងទិន្នន័យ និងប្រព័ន្ធបម្រុងទុក (រួមទាំងការប្រើប្រាស់ថ្នាំងបម្រុងទុក និង Cloudera BDR - ការបម្រុងទុកនិងការសង្គ្រោះគ្រោះមហន្តរាយ) ។ Atos Codex Data Lake Engine គឺជាដំណោះស្រាយនិម្មិតដំបូងគេដែលត្រូវបានបញ្ជាក់ ក្លូដ្រា។.

ប្រសិនបើអ្នកចាប់អារម្មណ៍លើព័ត៌មានលម្អិត យើងនឹងរីករាយក្នុងការឆ្លើយសំណួររបស់យើងនៅក្នុងមតិយោបល់។

ប្រភព: www.habr.com