ពីគ្រោះថ្នាក់ប្រចាំថ្ងៃ ដល់ស្ថិរភាព៖ Informatica 10 តាមរយៈភ្នែករបស់អ្នកគ្រប់គ្រង

ធាតុផ្សំ ETL នៃឃ្លាំងទិន្នន័យជារឿយៗត្រូវបានគ្របដណ្ដប់ដោយឃ្លាំងខ្លួនវា ហើយទទួលបានការយកចិត្តទុកដាក់តិចជាងមូលដ្ឋានទិន្នន័យចម្បង ឬសមាសភាគផ្នែកខាងមុខ BI និងការរាយការណ៍។ ក្នុងពេលជាមួយគ្នានេះពីទស្សនៈនៃយន្តការនៃការបំពេញឃ្លាំងជាមួយនឹងទិន្នន័យ ETL ដើរតួនាទីយ៉ាងសំខាន់ហើយមិនត្រូវការការយកចិត្តទុកដាក់ពីអ្នកគ្រប់គ្រងតិចជាងសមាសធាតុផ្សេងទៀត។ ឈ្មោះរបស់ខ្ញុំគឺ Alexander ឥឡូវនេះខ្ញុំគ្រប់គ្រង ETL នៅ Rostelecom ហើយនៅក្នុងអត្ថបទនេះខ្ញុំនឹងព្យាយាមចែករំលែកបន្តិចបន្តួចអំពីអ្វីដែលអ្នកគ្រប់គ្រងនៃប្រព័ន្ធ ETL ដ៏ល្បីល្បាញបំផុតមួយនៅក្នុងឃ្លាំងទិន្នន័យដ៏ធំមួយនៅ Rostelecom ត្រូវដោះស្រាយ។

ប្រសិនបើអ្នកអានជាទីគោរព ធ្លាប់ស្គាល់ជាទូទៅជាមួយគម្រោងឃ្លាំងទិន្នន័យរបស់យើង និងជាមួយផលិតផល Informatica PowerCenter នោះអ្នកអាចបន្តទៅផ្នែកបន្ទាប់ភ្លាមៗ។

កាលពីប៉ុន្មានឆ្នាំមុន គំនិតនៃឃ្លាំងទិន្នន័យសាជីវកម្មតែមួយបានចាស់ទុំ ហើយបានចាប់ផ្តើមអនុវត្តនៅក្នុង Rostelecom ។ ឃ្លាំងមួយចំនួនដែលដោះស្រាយបញ្ហាបុគ្គលត្រូវបានបង្កើតឡើងរួចហើយ ប៉ុន្តែចំនួននៃសេណារីយ៉ូកើនឡើង ការចំណាយលើការគាំទ្រក៏កើនឡើងដែរ ហើយវាច្បាស់ណាស់ថាអនាគតស្ថិតនៅកណ្តាល។ តាមស្ថាបត្យកម្ម នេះគឺជាការផ្ទុកដោយខ្លួនវា ដែលមានស្រទាប់ជាច្រើន អនុវត្តនៅលើ Hadoop និង GreenPlum មូលដ្ឋានទិន្នន័យជំនួយ យន្តការ ETL និង BI ។

ក្នុងពេលជាមួយគ្នានេះ ដោយសារតែចំនួនដ៏ធំនៃការចែកចាយតាមភូមិសាស្រ្ត ប្រភពទិន្នន័យមិនដូចគ្នា យន្តការផ្ទុកទិន្នន័យពិសេសត្រូវបានបង្កើតឡើង ប្រតិបត្តិការដែលត្រូវបានគ្រប់គ្រងដោយ Informatica ។ ជាលទ្ធផល កញ្ចប់ទិន្នន័យបញ្ចប់នៅក្នុងតំបន់ចំណុចប្រទាក់ Hadoop បន្ទាប់ពីនោះដំណើរការនៃការផ្ទុកទិន្នន័យតាមរយៈស្រទាប់ផ្ទុក Hadoop និង GreenPlum ចាប់ផ្តើម ហើយពួកគេត្រូវបានគ្រប់គ្រងដោយអ្វីដែលគេហៅថាយន្តការគ្រប់គ្រង ETL ដែលបានអនុវត្តនៅក្នុង Informatica ។ ដូច្នេះប្រព័ន្ធ Informatica គឺជាធាតុសំខាន់មួយដែលធានានូវប្រតិបត្តិការរបស់ឃ្លាំង។

ការផ្ទុករបស់យើងនឹងត្រូវបានពិពណ៌នាលម្អិតបន្ថែមទៀតនៅក្នុងការប្រកាសមួយខាងក្រោម។

Informatica PowerCenter/Big Data Management បច្ចុប្បន្នត្រូវបានគេចាត់ទុកថាជាកម្មវិធីឈានមុខគេក្នុងវិស័យឧបករណ៍រួមបញ្ចូលទិន្នន័យ។ នេះគឺជាផលិតផលរបស់ក្រុមហ៊ុនអាមេរិក Informatica ដែលជាអ្នកលេងខ្លាំងបំផុតមួយនៅក្នុង ETL (Extract Transform Load) ការគ្រប់គ្រងគុណភាពទិន្នន័យ MDM (Master Data Management) ILM (Information Lifecycle Management) និងច្រើនទៀត។

PowerCenter ដែលយើងប្រើគឺជាម៉ាស៊ីនមេកម្មវិធី Tomcat រួមបញ្ចូលគ្នាដែលកម្មវិធី Informatica ដំណើរការដោយអនុវត្តសេវាកម្មរបស់វា៖

ដែនតាមពិត នេះគឺជាមូលដ្ឋានសម្រាប់អ្វីៗផ្សេងទៀត សេវាកម្ម អ្នកប្រើប្រាស់ និងសមាសធាតុ GRID ដំណើរការនៅក្នុងដែន។

កុងសូលអ្នកគ្រប់គ្រងដែលជាឧបករណ៍គ្រប់គ្រង និងត្រួតពិនិត្យតាមគេហទំព័រ បន្ថែមពីលើអតិថិជនអ្នកអភិវឌ្ឍន៍ Informatica ដែលជាឧបករណ៍សំខាន់សម្រាប់ធ្វើអន្តរកម្មជាមួយផលិតផល

MRS, សេវាឃ្លាំងគំរូដែលជាឃ្លាំងទិន្នន័យមេតា គឺជាស្រទាប់មួយរវាងមូលដ្ឋានទិន្នន័យដែលទិន្នន័យមេតាត្រូវបានរក្សាទុកជារូបវ័ន្ត និងអតិថិជនអ្នកអភិវឌ្ឍន៍ Informatica ដែលការអភិវឌ្ឍន៍កំពុងកើតឡើង។ ឃ្លាំងផ្ទុកការពិពណ៌នាទិន្នន័យ និងព័ត៌មានផ្សេងទៀត រួមទាំងសម្រាប់សេវាកម្ម Infromatica មួយចំនួនផ្សេងទៀត ឧទាហរណ៍ កាលវិភាគសម្រាប់ដំណើរការកិច្ចការ (កាលវិភាគ) ឬទិន្នន័យត្រួតពិនិត្យ ក៏ដូចជាប៉ារ៉ាម៉ែត្រកម្មវិធី ជាពិសេសអនុញ្ញាតឱ្យប្រើកម្មវិធីដូចគ្នាសម្រាប់ធ្វើការជាមួយ។ ប្រភពទិន្នន័យ និងអ្នកទទួលផ្សេងៗ។

DIS, សេវារួមបញ្ចូលទិន្នន័យនេះគឺជាសេវាកម្មដែលដំណើរការមុខងារសំខាន់ៗកើតឡើង កម្មវិធីដំណើរការនៅក្នុងវា និងការបើកដំណើរការជាក់ស្តែងនៃ Workflows (ការពិពណ៌នាអំពីលំដាប់នៃការគូសវាស និងអន្តរកម្មរបស់ពួកគេ) និងការ Mappings (ការបំប្លែង ប្លុកដែលការបំប្លែងខ្លួនឯងកើតឡើង ដំណើរការទិន្នន័យ។ ) កើត​នៅ។

ការកំណត់រចនាសម្ព័ន្ធ GRID - ជាសំខាន់ ជម្រើសមួយសម្រាប់បង្កើតស្មុគស្មាញដោយប្រើម៉ាស៊ីនមេជាច្រើន នៅពេលដែលបន្ទុកចាប់ផ្តើមដោយ DIS ត្រូវបានចែកចាយក្នុងចំណោមថ្នាំង (នោះគឺជាម៉ាស៊ីនមេដែលជាផ្នែកមួយនៃដែន) ។ ក្នុងករណីនៃជម្រើសនេះ បន្ថែមពីលើការចែកចាយបន្ទុកនៅក្នុង DIS តាមរយៈស្រទាប់អរូបី GRID បន្ថែមដែលបង្រួបបង្រួមថ្នាំងជាច្រើន ដែល DIS ដំណើរការជំនួសឱ្យការធ្វើការលើថ្នាំងតែមួយជាក់លាក់ ករណី MRS បម្រុងទុកបន្ថែមក៏អាចត្រូវបានបង្កើតផងដែរ។ អ្នកថែមទាំងអាចអនុវត្តភាពអាចរកបានខ្ពស់ ដែលការហៅខាងក្រៅអាចត្រូវបានធ្វើឡើងតាមរយៈថ្នាំងបម្រុងទុក ប្រសិនបើមេបរាជ័យ។ យើង​បាន​បោះបង់​ជម្រើស​សាងសង់​នេះ​សម្រាប់​ពេល​នេះ។

Informatica PowerCenter, គ្រោងការណ៍

នៅដំណាក់កាលដំបូងនៃការងារដែលជាផ្នែកមួយនៃខ្សែសង្វាក់ផ្គត់ផ្គង់ទិន្នន័យ បញ្ហាកើតឡើងជាទៀងទាត់ ដែលមួយចំនួននៃពួកគេដោយសារតែប្រតិបត្តិការមិនស្ថិតស្ថេររបស់ Informatica នៅពេលនោះ។ ខ្ញុំ​នឹង​ចែក​រំលែក​គ្រា​ដែល​មិន​អាច​បំភ្លេច​បាន​មួយ​ចំនួន​នៃ​រឿង​និទាន​នេះ - ស្ទាត់​ជំនាញ Informatica 10 ។

ស្លាកសញ្ញាអតីត Informatica

តំបន់នៃការទទួលខុសត្រូវរបស់យើងក៏រួមបញ្ចូលផងដែរនូវបរិស្ថាន Informatica ផ្សេងទៀត ពួកគេមានលក្ខណៈពិសេសផ្ទាល់ខ្លួនរបស់ពួកគេដោយសារតែការផ្ទុកខុសគ្នា ប៉ុន្តែសម្រាប់ពេលនេះខ្ញុំនឹងចងចាំយ៉ាងច្បាស់អំពីរបៀបដែល Informatica បានបង្កើតជាធាតុផ្សំ ETL នៃឃ្លាំងទិន្នន័យខ្លួនឯង។

តើរឿងនេះកើតឡើងដោយរបៀបណា

នៅឆ្នាំ 2016 នៅពេលដែលយើងក្លាយជាអ្នកទទួលខុសត្រូវចំពោះការងាររបស់ Informatica វាបានឈានដល់កំណែ 10.0 រួចហើយ ហើយសម្រាប់សហសេវិកដែលមានសុទិដ្ឋិនិយមដែលកំពុងសម្រេចចិត្តប្រើប្រាស់ផលិតផលជាមួយនឹងកំណែអនីតិជន .0 នៅក្នុងដំណោះស្រាយដ៏ធ្ងន់ធ្ងរ អ្វីគ្រប់យ៉ាងហាក់ដូចជាជាក់ស្តែង - យើងត្រូវប្រើ កំណែ​ថ្មី​! តាមទស្សនៈនៃធនធានផ្នែករឹង អ្វីគ្រប់យ៉ាងគឺល្អនៅពេលនោះ។

ចាប់តាំងពីនិទាឃរដូវឆ្នាំ 2016 អ្នកម៉ៅការម្នាក់បានទទួលខុសត្រូវលើការងាររបស់ Informatica ហើយយោងទៅតាមអ្នកប្រើប្រាស់មួយចំនួននៃប្រព័ន្ធ "វាដំណើរការពីរបីដងក្នុងមួយសប្តាហ៍" ។ នៅទីនេះវាចាំបាច់ដើម្បីបញ្ជាក់ឱ្យច្បាស់ថាឃ្លាំងនេះគឺជាការពិតនៅដំណាក់កាល PoC មិនមានអ្នកគ្រប់គ្រងនៅក្នុងក្រុមទេ ហើយប្រព័ន្ធបានគាំងឥតឈប់ឈរសម្រាប់ហេតុផលផ្សេងៗ បន្ទាប់ពីនោះវិស្វកររបស់អ្នកម៉ៅការបានយកវាម្តងទៀត។

នៅរដូវស្លឹកឈើជ្រុះ អ្នកគ្រប់គ្រងបីនាក់បានចូលរួមក្រុមដោយបែងចែកផ្នែកនៃការទទួលខុសត្រូវក្នុងចំណោមពួកគេ ហើយការងារធម្មតាបានចាប់ផ្តើមរៀបចំប្រតិបត្តិការនៃប្រព័ន្ធនៅក្នុងគម្រោង រួមទាំង Informatica ផងដែរ។ ដោយឡែកពីគ្នាវាត្រូវតែនិយាយថាផលិតផលនេះមិនរីករាលដាលទេហើយមានសហគមន៍ដ៏ធំមួយដែលអ្នកអាចស្វែងរកចម្លើយចំពោះសំណួរណាមួយនិងដោះស្រាយបញ្ហាណាមួយ។ ដូច្នេះ ការគាំទ្រផ្នែកបច្ចេកទេសពេញលេញពីដៃគូរុស្ស៊ី Informatica គឺមានសារៈសំខាន់ខ្លាំងណាស់ ដោយមានជំនួយដែលកំហុស និងកំហុសទាំងអស់របស់យើងនៃ Informatica 10 ជំនាន់នោះត្រូវបានកែតម្រូវ។

រឿងដំបូងដែលយើងត្រូវធ្វើសម្រាប់អ្នកអភិវឌ្ឍន៍នៃក្រុមរបស់យើង និងអ្នកម៉ៅការគឺធ្វើឱ្យការងាររបស់ Informatica មានស្ថេរភាព ដើម្បីធានានូវមុខងារនៃកុងសូលគ្រប់គ្រងគេហទំព័រ (អ្នកគ្រប់គ្រង Informatica) ។

នេះជារបៀបដែលយើងបានជួបអ្នកអភិវឌ្ឍន៍ Informatica ជាញឹកញាប់

ដោយទុកចោលដំណើរការនៃការស្វែងរកមូលហេតុ មូលហេតុចម្បងនៃការគាំងគឺលំនាំអន្តរកម្មនៃកម្មវិធី Informatica ជាមួយឃ្លាំងផ្ទុកទិន្នន័យ ដែលមានទីតាំងនៅលើម៉ាស៊ីនមេពីចម្ងាយ ពីចំណុចនៃទិដ្ឋភាពនៃទិដ្ឋភាពបណ្តាញ។ វាបណ្តាលឱ្យមានការពន្យារពេល និងរំខានដល់យន្តការដែលត្រួតពិនិត្យស្ថានភាពនៃដែន Informatica ។ បន្ទាប់ពីការលៃតម្រូវមួយចំនួននៃមូលដ្ឋានទិន្នន័យ ការផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រនៃ Informatica ដែលធ្វើឱ្យវាកាន់តែអត់ធ្មត់ចំពោះការពន្យារពេលនៃមូលដ្ឋានទិន្នន័យ ហើយទីបំផុតធ្វើបច្ចុប្បន្នភាពកំណែ Informatica ទៅ 10.1 និងការផ្ទេរមូលដ្ឋានទិន្នន័យពីម៉ាស៊ីនមេមុនទៅម៉ាស៊ីនមេដែលមានទីតាំងនៅជិត Informatica បញ្ហាបានបាត់បង់។ ភាពពាក់ព័ន្ធ ហើយចាប់តាំងពីពេលនោះមកមានការគាំងនៃប្រភេទនេះយើងមិនសង្កេតឃើញទេ។

ការប៉ុនប៉ងមួយដើម្បីអោយ Informatica Monitor ដំណើរការ

ស្ថានភាពជាមួយកុងសូលរដ្ឋបាលក៏សំខាន់ផងដែរ។ ចាប់តាំងពីការអភិវឌ្ឍន៍សកម្មកំពុងដំណើរការដោយផ្ទាល់លើបរិយាកាសដែលមានផលិតភាព សហសេវិកត្រូវការជានិច្ចដើម្បីវិភាគការងារនៃផែនទី និងលំហូរការងារ "កំពុងដំណើរការ"។ នៅក្នុង Informatica ថ្មី សេវារួមបញ្ចូលទិន្នន័យមិនមានឧបករណ៍ដាច់ដោយឡែកសម្រាប់ការត្រួតពិនិត្យបែបនេះទេ ប៉ុន្តែផ្នែកត្រួតពិនិត្យមួយបានបង្ហាញខ្លួននៅក្នុងកុងសូលបណ្តាញគ្រប់គ្រង (Informatica Administrator Monitor) ដែលក្នុងនោះអ្នកអាចត្រួតពិនិត្យប្រតិបត្តិការនៃកម្មវិធី ដំណើរការការងារ និងការគូសផែនទី។ ការបើកដំណើរការ, កំណត់ហេតុ។ យូរៗម្ដង កុងសូលមិនអាចប្រើបានទាំងស្រុង ឬព័ត៌មានអំពីដំណើរការបច្ចុប្បន្ននៅក្នុង DIS បានបញ្ឈប់ការធ្វើបច្ចុប្បន្នភាព ឬកំហុសបានកើតឡើងនៅពេលផ្ទុកទំព័រ។

ការជ្រើសរើសប៉ារ៉ាម៉ែត្រ java ដើម្បីធ្វើឱ្យប្រតិបត្តិការមានស្ថេរភាព

បញ្ហាត្រូវបានកែដំរូវតាមវិធីជាច្រើន ការពិសោធន៍ត្រូវបានអនុវត្តដើម្បីផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រ កំណត់ហេតុ និង jstack ត្រូវបានប្រមូល ផ្ញើទៅការគាំទ្រ ក្នុងពេលជាមួយគ្នានោះមានការរុករកសកម្ម និងការសង្កេតយ៉ាងសាមញ្ញ។

ជាដំបូង MRS ដាច់ដោយឡែកមួយត្រូវបានបង្កើតឡើងសម្រាប់ការត្រួតពិនិត្យ ដូចដែលវាបានប្រែក្លាយនៅពេលក្រោយ នេះគឺជាអ្នកប្រើប្រាស់សំខាន់មួយនៃធនធាននៅក្នុងបរិស្ថានរបស់យើង ចាប់តាំងពីការធ្វើផែនទីត្រូវបានចាប់ផ្តើមយ៉ាងខ្លាំង។ ប៉ារ៉ាម៉ែត្រទាក់ទងនឹង java heap និងមួយចំនួនផ្សេងទៀតត្រូវបានផ្លាស់ប្តូរ។
ជាលទ្ធផល ដោយការអាប់ដេតបន្ទាប់ Informatica 10.1.1 ប្រតិបត្តិការនៃកុងសូល និងម៉ូនីទ័រមានស្ថេរភាព អ្នកអភិវឌ្ឍន៍បានចាប់ផ្តើមដំណើរការកាន់តែមានប្រសិទ្ធភាព ហើយដំណើរការធម្មតាកាន់តែទៀងទាត់។

បទពិសោធន៍នៃអន្តរកម្មរវាងការអភិវឌ្ឍន៍ និងការគ្រប់គ្រងអាចគួរឱ្យចាប់អារម្មណ៍។ បញ្ហានៃការយល់ដឹងទូទៅអំពីរបៀបដែលអ្វីៗដំណើរការ អ្វីដែលអាចធ្វើបាន និងអ្វីដែលមិនអាចធ្វើបាន គឺតែងតែមានសារៈសំខាន់នៅពេលប្រើប្រាស់ប្រព័ន្ធស្មុគស្មាញ។ ដូច្នេះហើយ យើងអាចណែនាំដោយសុវត្ថិភាពថា អ្នកដំបូងត្រូវបណ្តុះបណ្តាលក្រុមរដ្ឋបាលអំពីរបៀបគ្រប់គ្រងកម្មវិធី និងក្រុមអភិវឌ្ឍន៍អំពីរបៀបសរសេរកូដ និងគូរដំណើរការនៅក្នុងប្រព័ន្ធ ហើយគ្រាន់តែផ្ញើទីមួយ និងទីពីរដើម្បីធ្វើការលើលទ្ធផល។ នេះពិតជាមានសារៈសំខាន់នៅពេលដែលពេលវេលាមិនមែនជាធនធានដែលគ្មានកំណត់។ បញ្ហាជាច្រើនអាចត្រូវបានដោះស្រាយសូម្បីតែដោយការស្វែងរកចៃដន្យនៃជម្រើស ប៉ុន្តែពេលខ្លះខ្លះទាមទារចំណេះដឹងជាមុន - ករណីរបស់យើងបញ្ជាក់ពីសារៈសំខាន់នៃការយល់ដឹងអំពី axiom នេះ។

ជាឧទាហរណ៍ នៅពេលដែលយើងព្យាយាមបើកដំណើរការកំណែនៅក្នុង MRS (ដូចដែលវាបានប្រែក្លាយនៅទីបញ្ចប់ កំណែផ្សេងនៃ SVN ត្រូវបានគេត្រូវការជាចាំបាច់) បន្ទាប់ពីពេលខ្លះ យើងមានការភ្ញាក់ផ្អើលក្នុងការដឹងថាពេលវេលាចាប់ផ្តើមប្រព័ន្ធឡើងវិញបានកើនឡើងដល់រាប់សិបនាទី។ ដោយបានរកឃើញហេតុផលសម្រាប់ការពន្យារពេលក្នុងការចាប់ផ្តើម និងបិទដំណើរការកំណែ យើងធ្វើបានល្អម្តងទៀត។

ឧបសគ្គ​គួរ​ឱ្យ​កត់​សម្គាល់​ដែល​ទាក់ទង​នឹង Informatica រួម​មាន​ការ​ប្រយុទ្ធ​គ្នា​យ៉ាង​ខ្លាំង​ជាមួយ​នឹង​ការ​រីក​ចម្រើន​ខ្សែ​ស្រឡាយ java ។ នៅចំណុចខ្លះ ពេលវេលាបានមកដល់សម្រាប់ការចម្លង ពោលគឺពង្រីកដំណើរការដែលបានបង្កើតឡើងទៅកាន់ប្រព័ន្ធប្រភពមួយចំនួនធំ។ វាបានប្រែក្លាយថាមិនមែនគ្រប់ដំណើរការទាំងអស់នៅក្នុង 10.1.1 ដំណើរការល្អនោះទេ ហើយបន្ទាប់ពីពេលខ្លះ DIS បានក្លាយជាមិនដំណើរការ។ ខ្សែស្រឡាយរាប់ម៉ឺនត្រូវបានរកឃើញ ដែលចំនួនរបស់ពួកគេកើនឡើងជាពិសេសគួរឱ្យកត់សម្គាល់ក្នុងអំឡុងពេលនីតិវិធីដាក់ឱ្យប្រើប្រាស់កម្មវិធី។ ពេលខ្លះខ្ញុំត្រូវចាប់ផ្តើមឡើងវិញច្រើនដងក្នុងមួយថ្ងៃ ដើម្បីស្តារមុខងារឡើងវិញ។

នៅទីនេះ យើងត្រូវអរគុណចំពោះការគាំទ្រ បញ្ហាត្រូវបានធ្វើមូលដ្ឋានីយកម្ម និងជួសជុលយ៉ាងឆាប់រហ័សដោយប្រើ EBF (Emergency Bug Fix) - បន្ទាប់ពីនោះ អ្នកគ្រប់គ្នាទទួលបានអារម្មណ៍ថាឧបករណ៍ពិតជាដំណើរការ។

វានៅតែដំណើរការ!

នៅពេលដែលយើងចាប់ផ្តើមធ្វើការនៅក្នុងរបៀបគោលដៅ Informatica មើលទៅដូចនេះ។ កំណែនៃ Informatica 10.1.1HF1 (HF1 គឺ HotFix1 ដែលជាការជួបប្រជុំគ្នារបស់អ្នកលក់ពីស្មុគស្មាញនៃ EBFs) ជាមួយនឹង EBF ដែលបានដំឡើងបន្ថែម ដែលជួសជុលបញ្ហារបស់យើងជាមួយនឹងការធ្វើមាត្រដ្ឋាន និងមួយចំនួនផ្សេងទៀតនៅលើម៉ាស៊ីនមេមួយក្នុងចំណោមបីដែលជាផ្នែកមួយនៃ GRID, 20 x86_64 cores និងការផ្ទុកនៅលើអារេយឺតដ៏ធំនៃថាសមូលដ្ឋាន - នេះគឺជាការកំណត់រចនាសម្ព័ន្ធម៉ាស៊ីនមេសម្រាប់ចង្កោម Hadoop ។ នៅលើម៉ាស៊ីនមេស្រដៀងគ្នាផ្សេងទៀត - Oracle DBMS ដែលទាំងដែន Informatica និងយន្តការគ្រប់គ្រង ETL ដំណើរការ។ ទាំងអស់នេះត្រូវបានត្រួតពិនិត្យដោយឧបករណ៍ត្រួតពិនិត្យស្តង់ដារដែលប្រើក្នុងក្រុម (Zabbix + Grafana) ទាំងសងខាង - Informatica ខ្លួនវាជាមួយនឹងសេវាកម្មរបស់វា ហើយដំណើរការផ្ទុកនឹងចូលទៅក្នុងវា។ ឥឡូវនេះទាំងការអនុវត្ត និងស្ថេរភាព ដោយមិនគិតពីកត្តាខាងក្រៅ ឥឡូវនេះអាស្រ័យលើការកំណត់ដែលកំណត់ការផ្ទុក។

ដោយឡែកពីគ្នា យើងអាចនិយាយអំពី GRID ។ បរិស្ថានត្រូវបានបង្កើតឡើងនៅលើថ្នាំងបីជាមួយនឹងលទ្ធភាពនៃតុល្យភាពបន្ទុក។ ទោះបីជាយ៉ាងណាក៏ដោយ ក្នុងអំឡុងពេលធ្វើតេស្ត វាត្រូវបានគេរកឃើញថា ដោយសារបញ្ហាអន្តរកម្មរវាងករណីដែលកំពុងដំណើរការនៃកម្មវិធីរបស់យើង ការកំណត់រចនាសម្ព័ន្ធនេះមិនដំណើរការដូចការរំពឹងទុកទេ ហើយពួកគេបានសម្រេចចិត្តបោះបង់ចោលគម្រោងសាងសង់នេះជាបណ្ដោះអាសន្ន ដោយដកថ្នាំងពីរក្នុងចំណោមបីចេញពីដែន។ ក្នុងពេលជាមួយគ្នានេះ គ្រោងការណ៍ខ្លួនវានៅតែដដែល ហើយឥឡូវនេះវាជាសេវាកម្ម GRID យ៉ាងជាក់លាក់ ប៉ុន្តែខូចដល់ថ្នាំងមួយ។

ឥឡូវនេះ ការលំបាកនៅតែមានជាប់ទាក់ទងនឹងការធ្លាក់ចុះនៃការអនុវត្តនៅពេលសម្អាតសៀគ្វីម៉ូនីទ័រជាទៀងទាត់ - ជាមួយនឹងដំណើរការដំណាលគ្នានៅក្នុង CNN និងការរត់ការសម្អាត ការដំណើរការខុសប្រក្រតីក្នុងប្រតិបត្តិការនៃយន្តការត្រួតពិនិត្យ ETL អាចកើតឡើង។ នេះកំពុងត្រូវបានដោះស្រាយ "ជាឈើច្រត់" - ដោយការសម្អាតសៀគ្វីម៉ូនីទ័រដោយដៃ ជាមួយនឹងការបាត់បង់ទិន្នន័យពីមុនទាំងអស់របស់វា។ នេះមិនសំខាន់ពេកសម្រាប់ផលិតភាពទេ ក្នុងអំឡុងពេលប្រតិបត្តិការធម្មតា ប៉ុន្តែសម្រាប់ពេលនេះ ការស្វែងរកដំណោះស្រាយធម្មតាកំពុងដំណើរការ។

បញ្ហាមួយទៀតកើតឡើងពីស្ថានភាពដូចគ្នានេះ - ជួនកាលការបើកដំណើរការជាច្រើននៃយន្តការគ្រប់គ្រងរបស់យើងកើតឡើង។

ការបើកដំណើរការកម្មវិធីជាច្រើននាំឱ្យបរាជ័យយន្តការ

នៅពេលដំណើរការតាមកាលវិភាគនៅពេលមានបន្ទុកធ្ងន់លើប្រព័ន្ធជួនកាលស្ថានភាពកើតឡើងដែលនាំទៅដល់ការបំបែកយន្តការ។ បញ្ហានៅតែត្រូវបានជួសជុលដោយដៃ ហើយដំណោះស្រាយអចិន្ត្រៃយ៍កំពុងត្រូវបានស្វែងរក។

ជាទូទៅ យើងអាចសង្ខេបបានថា នៅពេលដែលមានបន្ទុកធ្ងន់ វាមានសារៈសំខាន់ខ្លាំងណាស់ក្នុងការផ្តល់នូវធនធានគ្រប់គ្រាន់សម្រាប់វា ហើយនេះក៏អនុវត្តចំពោះធនធានផ្នែករឹងសម្រាប់ Informatica ខ្លួនវា និងដូចគ្នាសម្រាប់ឃ្លាំងទិន្នន័យរបស់វា ក៏ដូចជាផ្តល់នូវការកំណត់ដ៏ល្អប្រសើរផងដែរ។ សម្រាប់ពួកគេ។ លើសពីនេះ សំណួរនៅតែបើកចំហថាតើគ្រោងការណ៍ដាក់មូលដ្ឋានទិន្នន័យណាដែលល្អជាង - នៅលើម៉ាស៊ីនដាច់ដោយឡែក ឬនៅលើតែមួយដែលកម្មវិធី Informatica ដំណើរការ។ ម៉្យាងវិញទៀត វានឹងមានតម្លៃថោកជាងនៅលើម៉ាស៊ីនមេមួយ ហើយនៅពេលរួមបញ្ចូលគ្នា បញ្ហាដែលអាចកើតមានជាមួយអន្តរកម្មបណ្តាញត្រូវបានលុបចោលជាក់ស្តែង ម្យ៉ាងវិញទៀតការផ្ទុកនៅលើម៉ាស៊ីនពីមូលដ្ឋានទិន្នន័យត្រូវបានបំពេញបន្ថែមដោយបន្ទុកពី Informatica ។

ដូចទៅនឹងផលិតផលដ៏ធ្ងន់ធ្ងរណាមួយដែរ Informatica ក៏មានគ្រាគួរឱ្យអស់សំណើចផងដែរ។
មានពេលមួយ ខណៈពេលដែលការដោះស្រាយឧបទ្ទវហេតុមួយចំនួន ខ្ញុំបានកត់សម្គាល់ឃើញថា កំណត់ហេតុ MRS បង្ហាញពីពេលវេលានៃព្រឹត្តិការណ៍យ៉ាងចម្លែក។

Temporal dualism នៅក្នុង MRS កត់ត្រា "តាមការរចនា"

វាបានប្រែក្លាយថាត្រាពេលវេលាត្រូវបានសរសេរជាទម្រង់ 12 ម៉ោង ដោយមិនបានបញ្ជាក់ AM/PM ពោលគឺមុនថ្ងៃត្រង់ ឬក្រោយ។ កម្មវិធីមួយត្រូវបានបើកសូម្បីតែទាក់ទងនឹងបញ្ហានេះ ហើយការឆ្លើយតបជាផ្លូវការត្រូវបានទទួល - នេះជារបៀបដែលវាត្រូវបានបម្រុងទុក សញ្ញាត្រូវបានសរសេរនៅក្នុងកំណត់ហេតុ MRS នៅក្នុងទម្រង់នេះយ៉ាងពិតប្រាកដ។ នោះ​គឺ​ពេល​ខ្លះ​នៅ​មាន​ការ​ចាប់​អារម្មណ៍​មួយ​ចំនួន​ទាក់ទង​នឹង​ពេល​វេលា​នៃ​ការ​កើត​ឡើង​នៃ ERROR មួយ​ចំនួន ...

ព្យាយាមឱ្យល្អបំផុត

សព្វថ្ងៃនេះ Informatica គឺជាឧបករណ៍ដែលមានស្ថេរភាពសមរម្យ ងាយស្រួលសម្រាប់អ្នកគ្រប់គ្រង និងអ្នកប្រើប្រាស់ ដែលមានឥទ្ធិពលខ្លាំងចំពោះសមត្ថភាព និងសក្តានុពលបច្ចុប្បន្នរបស់វា។ វាលើសពីតម្រូវការមុខងាររបស់យើងជាច្រើនដង ហើយឥឡូវនេះ de facto ត្រូវបានប្រើប្រាស់នៅក្នុងគម្រោងតាមរបៀបដែលមិនមែនជាលក្ខណៈធម្មតា និងធម្មតាបំផុត។ ភាពលំបាកមួយផ្នែកទាក់ទងនឹងរបៀបដែលយន្តការដំណើរការ - រឿងជាក់លាក់គឺថាក្នុងរយៈពេលដ៏ខ្លី ខ្សែស្រឡាយមួយចំនួនធំត្រូវបានបើកដំណើរការ ដែលធ្វើបច្ចុប្បន្នភាពប៉ារ៉ាម៉ែត្រ និងធ្វើការជាមួយមូលដ្ឋានទិន្នន័យឃ្លាំង ខណៈដែលធនធានផ្នែករឹងរបស់ម៉ាស៊ីនមេត្រូវបានប្រើប្រាស់ស្ទើរតែទាំងស្រុង។ ដោយ CPU ។

ឥឡូវនេះយើងជិតឈានទៅដល់ការផ្លាស់ទៅ Informatica 10.2.1 ឬ 10.2.2 ដែលបានដំណើរការឡើងវិញនូវយន្តការផ្ទៃក្នុងមួយចំនួន និងការសន្យាគាំទ្រដើម្បីលុបបំបាត់បញ្ហានៃការអនុវត្ត និងមុខងារមួយចំនួនដែលយើងមាននាពេលបច្ចុប្បន្ននេះ។ ហើយតាមទស្សនៈផ្នែករឹង យើងរំពឹងថាម៉ាស៊ីនមេដែលមានការកំណត់រចនាសម្ព័ន្ធដ៏ល្អប្រសើរសម្រាប់យើង ដោយគិតគូរពីទុនបំរុងសម្រាប់អនាគតដ៏ខ្លីខាងមុខ ដោយសារកំណើន និងការអភិវឌ្ឍន៍នៃទំហំផ្ទុក។

ជាការពិតណាស់ វានឹងមានការធ្វើតេស្ត ការត្រួតពិនិត្យភាពឆបគ្នា និងអាចមានការផ្លាស់ប្ដូរស្ថាបត្យកម្មនៅក្នុងផ្នែក HA GRID។ ការអភិវឌ្ឍន៍នៅក្នុង Informatica នឹងបន្ត ចាប់តាំងពីក្នុងរយៈពេលខ្លី យើងមិនអាចផ្គត់ផ្គង់អ្វីដើម្បីជំនួសប្រព័ន្ធបានទេ។
ហើយអ្នកដែលនឹងទទួលខុសត្រូវចំពោះប្រព័ន្ធនេះនាពេលអនាគតនឹងពិតជាអាចនាំវាទៅរកភាពជឿជាក់ដែលត្រូវការ និងសូចនាករការអនុវត្តដែលដាក់ចេញដោយអតិថិជន។

អត្ថបទនេះត្រូវបានរៀបចំដោយក្រុមគ្រប់គ្រងទិន្នន័យ Rostelecom

ឡូហ្គោ Informatica បច្ចុប្បន្ន

ប្រភព: www.habr.com