🥇ផ្នែកទិន្នន័យ។ ឆ្នាំ 2013 ។ ថយក្រោយ

ក្នុងឆ្នាំ 2013 IBSដែលបន្ទាប់មកហាក់ដូចជាកំពុងបង្កើត ផ្នែកទិន្នន័យ, បានស្នើឱ្យខ្ញុំបង្កើតខួរក្បាលបែបនេះ (ផ្អែកលើបទពិសោធន៍នៃអន្តរកម្មជាមួយអតិថិជនប្រេង និងឧស្ម័នសាជីវកម្ម) ទាក់ទងនឹងបញ្ហានៃទិន្នន័យធំ និងទិន្នន័យជាទូទៅ។ ដូច្នេះខ្ញុំបានឆ្លងកាត់វា 7 ឆ្នាំក្រោយមក ហើយគិតថាវាគួរឱ្យអស់សំណើច។ រឿងខ្លះច្បាស់ណាស់។ ខ្លះបានក្លាយទៅជាមិនពិតទាំងស្រុង ប៉ុន្តែ... 7 ឆ្នាំបានកន្លងផុតទៅ។

ខ្ញុំបានសរសេរជាភាសាអង់គ្លេស ហើយឥឡូវខ្ញុំគិតចង់បកប្រែវាជាភាសារុស្សី។ ចុះបើអ្វីមួយនៅតែពាក់ព័ន្ធឥឡូវនេះ? (ខ្ញុំនឹងបកប្រែព្រឹត្តិបត្រនេះ ប៉ុន្តែទុកសញ្ញាជាភាសាអង់គ្លេសដោយខ្ជិល។ បៃតងគឺល្អ ក្រហមគឺជាគ្រោះថ្នាក់ ពណ៌ខៀវជាសុបិន)។

ខ្ញុំនឹងធ្វើជាផ្លូវការនូវការបញ្ចេញមតិតិចតួចពី "ថ្ងៃនេះ" អ៊ីតាលីដើម្បីឱ្យវាច្បាស់ និងអាចបែងចែកបាន។

ដូច្នេះ DATA! ទិន្នន័យសម្រាប់ពួកយើង...

ផ្នែកទិន្នន័យគឺជាផ្នែកឈាម ពីព្រោះទិន្នន័យអាចប្រៀបធៀបបាន ឧទាហរណ៍ទៅនឹងឈាមដែលរត់តាមសរសៃឈាមវ៉ែន និងសរសៃឈាមនៃរាងកាយអាជីវកម្ម។ ទោះយ៉ាងណាក៏ដោយទោះបីជាឈាមដូចគ្នាក៏ដោយក៏សារពាង្គកាយមានភាពខុសគ្នាហើយដូច្នេះ ផលិតភាព ពិបាកណាស់ ប៉ុន្តែវាក៏តំណាងឱ្យឱកាសសម្រាប់ការអភិវឌ្ឍន៍ផងដែរ។

មានមនុស្សដែលទិន្នន័យលោតចូលភ្នែករបស់ពួកគេ - ទាំងនេះគឺជា Мы.
ហើយមានមនុស្សដែលជាអកុសលមិនឃើញចំណុចទិន្នន័យទទេ។ នេះជាថ្មីម្តងទៀត, alas, គឺជារបស់យើង អតិថិជន!

ហើយដូច្នេះ, គោលការណ៍អាជីវកម្ម...

យើងលក់ អាជីវកម្មនិងមិន ИТ (សូមឱ្យអ្នកជំនាញផ្នែកព័ត៌មានវិទ្យាទាំងអស់អភ័យទោសឱ្យខ្ញុំក្នុងពេលមួយ) ដោយសារតែយើងកំពុងដោះស្រាយបញ្ហារបស់ពិភពលោក ហើយប្រាក់កាន់តែច្រើន។
បញ្ហាអាជីវកម្មទាំងអស់ត្រូវបានប្រមូលផ្តុំជុំវិញផ្នែកបញ្ឈរនៃឧស្សាហកម្មតាមប្រធានបទ ហើយនឹងត្រូវការគ្រប់គ្រាន់ ឯកទេស.
ការប៉ុនប៉ងដើម្បីបញ្ជាក់ តម្លៃនៃ "ទិន្នន័យ" ឬពិបាកជាងនេះទៅទៀត តម្លៃនៃ "ការគ្រប់គ្រងទិន្នន័យ" ចំពោះអាជីវកម្មគឺជាការរងទុក្ខ និងការឈឺចាប់អស់កល្បជានិច្ច។ ជាទូទៅ វាដូចជាការមករកមនុស្សដែលមានអារម្មណ៍ល្អហើយនិយាយថា៖ «លោកអើយ យើងនឹងព្យាបាលឈាមរបស់អ្នកឥឡូវនេះ ហើយលោកអើយ វាថ្លៃណាស់!
"សុបិន្តសើម" របស់ខ្ញុំគឺលក់ "ការទាញយកទិន្នន័យ" និង "ការវិភាគ" នៅក្នុងគំរូ SaaS អាជីវកម្មខ្នាតតូច និងមធ្យមដែលបានឡើងចូលទៅក្នុងសេវាកម្មពពកចំនួន 123 ជាមួយនឹងចំណុចប្រទាក់ដ៏ត្រជាក់៖ ការគ្រប់គ្រងគម្រោង តុជំនួយ គណនេយ្យ CRM បញ្ជីប្រាក់បៀវត្សរ៍ របាយការណ៍ពេលវេលា ទីផ្សារ ... អ្នកដាក់ឈ្មោះវា ហើយកប់ខ្លួនឯងនៅក្នុងទិន្នន័យ។ Youcalc និងអ្នកជោគជ័យ (ប្រហែលជាមិនមានទៀតទេ) នេះល្អណាស់!
រកមើលមនុស្សដែលចូលចិត្តលេងសើច “បុក” ជាមួយទិន្នន័យ។ ពួកវាកម្រនិងចម្លែក (ដូចជាស្លឹកតែ) ប៉ុន្តែគន្លឹះនៃអាជីវកម្ម។ ជាឧទាហរណ៍ កវីម្នាក់អាចពូកែទាក់ទងគ្នា។
វិស្វករ ត្រូវការ! ត្រូវការដើម្បីបង្វែរបញ្ហាដែល Crunchers ទាញចេញពីទិន្នន័យទៅជាដំណោះស្រាយ។ ហើយភាពជោគជ័យ ឬបរាជ័យនៃការសម្រេចចិត្តគឺអាស្រ័យទាំងស្រុងលើពួកគេ។
ការអភិវឌ្ឍន៍ ប្រភពបើកចំហ គម្រោងមានតម្លៃដ៏អស្ចារ្យ និងធ្វើឱ្យវាអាច "ប្រមូលផ្តុំ" ដំណោះស្រាយស្មុគស្មាញអនុវត្តពីដំបូង។
ប៉ុន្តែ... យើងមិនត្រូវភ្លេចថា Hadoop គឺជាបណ្ណាល័យមួយ ហើយ Lucene ក៏ជាបណ្ណាល័យមួយ និងចម្ងាយរវាងគ្នា។ បណ្ណាល័យ និងផលិតផលឧស្សាហកម្ម ច្រើន!
ដំណោះស្រាយដែលបានសាងសង់នឹងត្រូវកែសម្រួលយ៉ាងសំខាន់ ពីព្រោះ ម៉ូឌុល и ភាពមិនស៊ីសង្វាក់គ្នា - ចំណុចសំខាន់។
រហ័សរហួន (ព្រះអត់ទោសឱ្យខ្ញុំ) គឺជាបច្ចេកទេសសំខាន់ក្នុងអន្តរកម្មជាមួយអតិថិជន និងការផ្ទៀងផ្ទាត់ សម្មតិកម្មដែលនឹងមានចំនួនច្រើន។
ជាពិសេសវាអាចធ្វើទៅបាន និងចាំបាច់ក្នុងការចេញប្រភពកូដ និង UI ទាំងអស់។ រាល់ការវិភាគអាជីវកម្ម និងលក្ខណៈបច្ចេកទេស ផ្នែកខាងក្រោយ ត្រូវការចាកចេញ នៅខាងក្នុង និងចាត់ទុកថាជាសមត្ថភាពស្នូល។
អ្នកធ្វើការសម្រេចចិត្តអាជីវកម្មត្រូវតែត្រូវបាន "ជូនដំណឹង" ជានិច្ចអំពី តម្រូវការដើម្បីធ្វើការឱ្យបានត្រឹមត្រូវជាមួយទិន្នន័យ និងស្វែងរកវិធីថ្មីៗជានិច្ច ដើម្បីវិភាគពួកគេ។ ការរួមបញ្ចូលគ្នានៃសមត្ថភាពបច្ចេកទេស និងធុរកិច្ចរបស់និយោជិតរបស់យើង នឹងជួយលើកកំពស់ឋានៈរបស់អង្គភាពទាំងមូល។
អ៊ីនធើណេ - មានប្រភពនៃការបំផុសគំនិតមិនចេះចប់ (ពេលនោះមិនមានឆ្មាច្រើនទេ។) ទាក់ទងនឹងវិធីសាស្រ្តនៃការគ្រប់គ្រងទិន្នន័យសហគ្រាស ទោះបីជាគោលបំណង និងវិសាលភាពខុសគ្នាខ្លាំងក៏ដោយ។

បច្ចេកវិទ្យាប្រកាស...

មានសក្ដានុពលនៃការអភិវឌ្ឍន៍ដ៏ធំ ភាពសាមញ្ញ របៀបដែលទិន្នន័យត្រូវបានបង្ហាញដល់មនុស្ស។ អ្នកអាចហៅវាថា "iPhoneization" ។
ទោះបីជាការពិតដែលអ្នកលក់ BI អះអាងថាពួកគេផ្ទាល់ នាំយកការវិភាគទៅកាន់អ្នកប្រើប្រាស់ចុងក្រោយ, (ហើយពួកគេពិតជាកំពុងផ្លាស់ទីក្នុងទិសដៅនេះ) - របកគំហើញមិនទាន់បានកើតឡើងនៅឡើយទេ។ មនុស្សគ្រាន់តែមិនយល់ល្អ។ ពហុវិមាត្រ ទិន្នន័យ។
ចំណុចប្រទាក់អ្នកប្រើតំណាងឱ្យទិន្នន័យដែលមានរចនាសម្ព័ន្ធរលុងច្រើន ឬស្មុគស្មាញ ប្រឈមមុខ ទម្រង់ - ក៏បង្ហាញពីបញ្ហាមិនចេះចប់។ សេចក្តីសន្និដ្ឋាន: ការលើកឡើងកាន់តែល្អ។
វេទិកាមួយដែលត្រូវបានបង្កើតឡើងនៅលើមូលដ្ឋាននៃការទាញយកទិន្នន័យដោយស្វ័យប្រវត្តិពីប្រភព (ដែលមិនតែងតែត្រូវបានរចនាឡើងសម្រាប់ការទាញយកបែបនេះ) គឺពឹងផ្អែកយ៉ាងខ្លាំងទៅលើប្រភព ស្ថេរភាពនៃឧបករណ៍ភ្ជាប់ និងហេដ្ឋារចនាសម្ព័ន្ធ។ វេទិកា (អ្នកនាំសារ) នឹងតែងតែត្រូវបានស្តីបន្ទោសចំពោះការបរាជ័យក្នុងការផ្តល់លទ្ធផល។ ទុកចិត្ត - ដើមទុននៃវេទិកាប្រភេទនេះ។ ដើមទុនដែលពិបាករក និងងាយបាត់បង់។
តាមទស្សនៈអាជីវកម្ម វាមិនមានភាពខុសគ្នារវាងការវិភាគទិន្នន័យធំ និង គ្រាន់តែទិន្នន័យ. ជារឿយៗនៅពីក្រោយលេខសាមញ្ញដូចជា 2x2 កុហកឱកាសរាប់លានដុល្លារ។ ឧទាហរណ៍ដ៏ល្អមួយគឺទិន្នន័យស្តីពីការបញ្ចប់ជីវិតនៃធាតុហេដ្ឋារចនាសម្ព័ន្ធនៅលើធ្នើន័រវេស។ តើពេលណាជាកាលបរិច្ឆេទទាំងអស់នៃមួកនាពេលអនាគត។ ការជួសជុលគ្រឿងបរិក្ខារទាំងអស់ត្រូវបានដាក់នៅលើអ័ក្សតែមួយ ហើយពួកគេបានរកឃើញថានៅក្នុងរយៈពេល N ឆ្នាំ ធ្នើ Armageddon នឹងមកដល់ - បុរសអ្នកមានម្នាក់បានក្រោកពីកៅអីរបស់គាត់ ហើយបានលុតជង្គង់ចេញពីបន្ទប់យ៉ាងលឿនដោយពាក្យថា “សុំទោស ខ្ញុំមិនធ្វើ មានពេលច្រើន ខ្ញុំត្រូវរៀបចំកងនាវា...”
Excel និងជាការបង្ហាញតារាងយ៉ាងច្បាស់លាស់ និងសង្ខេបនៃទិន្នន័យ មានថាមពលដ៏ធំសម្បើម និងអនាគតដ៏អស្ចារ្យ។ ខ្ញុំជឿជាក់លើតុដ៏ស្រស់ស្អាត (ហើយនៅតែធ្វើ) ហើយនោះហើយជាវា!
ធ្នូសំខាន់នៃ "ការវិភាគ" ទាំងអស់នេះគឺ ស្វ័យប្រវត្តិកម្មនៃការសម្រេចចិត្ត. មានឱកាសដ៏អស្ចារ្យបំផុត ប៉ុន្តែក៏មានហានិភ័យខ្ពស់បំផុតដែរ នោះហើយជាមូលហេតុដែលឱកាសសម្បូរបែប នោះហើយជាមូលហេតុដែលមានហានិភ័យ នោះហើយជាមូលហេតុដែលមានឱកាស នោះហើយជាមូលហេតុដែលពួកគេជា toffee ... 🙂 ការគ្រប់គ្រងអណ្តូងខួង ឧទាហរណ៍ ...
ប្រសិនបើ "ការរួមបញ្ចូល" គឺជាលក្ខណៈសំខាន់ នោះទិន្នន័យគួរតែត្រូវបានបង្ហាញដោយការពិតជាសេវាកម្ម។ សម្រាក ច្បាប់ ប៉ុន្តែយើងមិនត្រូវភ្លេចអំពីការធ្វើឱ្យប្រសើរនោះទេ។ ផលិតភាពដែលឥឡូវនេះជារឿយៗត្រូវបានលះបង់សម្រាប់ភាពមិនស៊ីសង្វាក់គ្នា ខណៈដែលថាមពលកុំព្យូទ័រនៅតែបន្តកើនឡើង។
ទិន្នន័យមេ - នេះគឺជាអ្វីដែលចាំបាច់ត្រូវធ្វើមូលដ្ឋានីយកម្ម ស្រង់ចេញ ស្តង់ដារ មុនពេលដោះស្រាយបញ្ហាអាជីវកម្មណាមួយ។ ទិន្នន័យមេគឺតូច ប៉ុន្តែបញ្ហាជាមួយវាគឺធំ! ដូចដែលបងប្អូននៃ semantics បាននិយាយថា 50% នៃបញ្ហាទាំងអស់របស់ពិភពលោកគឺដោយសារតែមនុស្សហៅរបស់ដូចគ្នាដោយឈ្មោះផ្សេងគ្នានិង 50% ផ្សេងទៀតគឺដោយសារតែពួកគេហៅវត្ថុផ្សេងគ្នាដោយឈ្មោះដូចគ្នា។
ណាមួយ encapsulation នៅកម្រិតផ្ទុក វាកំណត់ការបើកចំហរនៃដំណោះស្រាយ ហើយនាំទៅដល់ SILO-fication។ ជាការល្អ ប្រសិនបើអ្នកជាអ្នកលក់ធំ បើមិនដូច្នេះទេ វាពិតជាដូច្នេះមែន។ (នៅទីនេះយើងកំពុងនិយាយជាការពិតណាស់ មិនមែនអំពីកម្រិតប្លុក និងមិនមែនអំពី AWS S3 ដែលកាលពី 6 ឆ្នាំមុននោះទេ ប៉ុន្តែអំពីឯកសារ).
គំរូទំនាក់ទំនង ទិន្នន័យមិនមែនជាមិត្តរបស់យើងទៀតទេ។ RDF និង key-value - ឡូយ! យើងបានឃើញការផ្លាស់ប្តូរវេទមន្តនៃមូលដ្ឋានទិន្នន័យទំនាក់ទំនងជាមួយនឹងគំរូនៃតារាង 2000 ទៅជា 15 តារាង ហើយគ្មាននរណាម្នាក់ក្នុងចំណោមអ្នកប្រើប្រាស់បាត់បង់អ្វីនោះទេ។
អ៊ិនធឺណិតដំណើរការព្រោះវាមាន URL ជាវិធីសាស្រ្តបង្រួបបង្រួមនៃការដោះស្រាយ។ សារៈសំខាន់នៃ URL ឬផ្ទុយទៅវិញ URI សម្រាប់ធនធានព័ត៌មានសហគ្រាសគឺពិបាកក្នុងការប៉ាន់ស្មានលើស។
ការជីកយករ៉ែអត្ថបទ និង NLP មានប្រជាប្រិយភាព. នៅក្នុងអ៊ីនធឺណិត។ ប៉ុន្តែសូម្បីតែនៅក្នុងវិស័យសាជីវកម្មក៏ដោយ ភាពជោគជ័យដ៏អស្ចារ្យអាចសម្រេចបានដោយការទាញយកទិន្នន័យដែលមានរចនាសម្ព័ន្ធចេញពីទិន្នន័យសាជីវកម្មដែលមិនមានរចនាសម្ព័ន្ធ។
ចំណុចរួម រវាងទិន្នន័យដែលមានរចនាសម្ព័ន្ធ និងព័ត៌មានដែលស្រង់ចេញពីទិន្នន័យដែលមិនមានរចនាសម្ព័ន្ធ i.e. ឯកសារ - Klondike វិភាគ។
នៅពេលទាញយកទិន្នន័យកុំភ្លេចអំពីសិទ្ធិនិង រក្សាសិទ្ធិ.
ក្រុមហ៊ុនទាញយកទិន្នន័យត្រូវតែបង្កើត កផ្នែកពួក Hacker, ក្នុងន័យល្អនៃពាក្យ។ ត្រូវបានបំផុសគំនិតដោយការប្រយុទ្ធឡើងភ្នំប្រឆាំងនឹង Yellow Pages crawler bot ប្រព័ន្ធការពារ។
មុនពេលធ្វើការជាមួយទិន្នន័យវាចាំបាច់ត្រូវ "ឃើញ" ទាំងស្រុង។ វាពិបាកពន្យល់ណាស់។ ទម្រង់តារាងមកក្នុងចិត្ត។ សម្រាប់អ្នកខ្លះ ការតំណាងក្រាហ្វិក ប៉ុន្តែក្រាហ្វណាមួយគឺជាការបកស្រាយរួចហើយ។ មធ្យោបាយមួយឬផ្សេងទៀត ... "មើល"!
ការធ្វើម្តងទៀតនូវបញ្ហានៃ "ការជឿទុកចិត្ត" របស់អ្នកប្រើនៅក្នុងផ្នែកខាងមុខ។ ជឿទុកចិត្តលើឧបករណ៍ភ្ជាប់/ដំណើរការបង្កើតទិន្នន័យ ជឿទុកចិត្តលើទិន្នន័យ ជឿទុកចិត្តលើការសម្រេចចិត្តដែលបានធ្វើ.

ប្រភព: www.habr.com

ផ្នែកទិន្នន័យ។ ឆ្នាំ 2013 ។ ថយក្រោយ

បន្ថែមមតិយោបល់ ответОтменить