Delta Lake Dive: ការអនុវត្តន៍ និងការវិវត្តន៍គ្រោងការណ៍

សួស្តី ហាប! ខ្ញុំសូមបង្ហាញជូនអ្នកនូវការបកប្រែអត្ថបទ "ការជ្រមុជទឹកចូលទៅក្នុងបឹងដីសណ្តៈការអនុវត្តគ្រោងការណ៍និងការវិវត្តន៍" អ្នកនិពន្ធ Burak Yavuz, Brenner Heintz និង Denny Lee ដែលត្រូវបានរៀបចំនៅក្នុងការរំពឹងទុកនៃការចាប់ផ្តើមវគ្គសិក្សា "វិស្វករទិន្នន័យ" ពី OTUS ។

ទិន្នន័យ ដូចជាបទពិសោធន៍របស់យើងកំពុងប្រមូលផ្តុំ និងវិវឌ្ឍឥតឈប់ឈរ។ ដើម្បីបន្ត គំរូផ្លូវចិត្តរបស់យើងនៃពិភពលោកត្រូវតែសម្របខ្លួនទៅនឹងទិន្នន័យថ្មី ដែលមួយចំនួនមានវិមាត្រថ្មី—វិធីថ្មីនៃការសង្កេតអ្វីដែលយើងមិនដឹងពីមុន។ គំរូផ្លូវចិត្តទាំងនេះមិនខុសគ្នាច្រើនពីគ្រោងការណ៍តារាងដែលកំណត់ពីរបៀបដែលយើងចាត់ថ្នាក់ និងដំណើរការព័ត៌មានថ្មី។

នេះនាំយើងទៅបញ្ហានៃការគ្រប់គ្រងគ្រោងការណ៍។ ដោយសារបញ្ហាប្រឈម និងតម្រូវការអាជីវកម្មផ្លាស់ប្តូរតាមពេលវេលា រចនាសម្ព័ន្ធទិន្នន័យរបស់អ្នកក៏ដូចគ្នាដែរ។ Delta Lake ធ្វើឱ្យវាងាយស្រួលក្នុងការណែនាំការវាស់វែងថ្មីនៅពេលដែលទិន្នន័យផ្លាស់ប្តូរ។ អ្នក​ប្រើ​មាន​សិទ្ធិ​ចូល​ប្រើ​ពាក្យ​សាមញ្ញ​ដើម្បី​គ្រប់គ្រង​តារាង​គ្រោងការណ៍​របស់​ពួកគេ។ ឧបករណ៍ទាំងនេះរួមមាន Schema Enforcement ដែលការពារអ្នកប្រើប្រាស់ពីការបំពុលតារាងរបស់ពួកគេដោយអចេតនាជាមួយនឹងកំហុស ឬទិន្នន័យដែលមិនចាំបាច់ និង Schema Evolution ដែលអនុញ្ញាតឱ្យជួរឈរថ្មីនៃទិន្នន័យមានតម្លៃត្រូវបានបន្ថែមដោយស្វ័យប្រវត្តិទៅទីតាំងសមស្រប។ នៅក្នុងអត្ថបទនេះ យើងនឹងស្វែងយល់កាន់តែស៊ីជម្រៅក្នុងការប្រើឧបករណ៍ទាំងនេះ។

ការយល់ដឹងអំពីគ្រោងការណ៍តារាង

DataFrame នីមួយៗនៅក្នុង Apache Spark មានគ្រោងការណ៍ដែលកំណត់ទម្រង់នៃទិន្នន័យ ដូចជាប្រភេទទិន្នន័យ ជួរឈរ និងទិន្នន័យមេតា។ ជាមួយ Delta Lake គ្រោងការណ៍តារាងត្រូវបានរក្សាទុកជាទម្រង់ JSON នៅខាងក្នុងកំណត់ហេតុប្រតិបត្តិការ។

តើការអនុវត្តគ្រោងការណ៍គឺជាអ្វី?

Schema Enforcement ដែលត្រូវបានគេស្គាល់ផងដែរថាជា Schema Validation គឺជាយន្តការសុវត្ថិភាពមួយនៅក្នុង Delta Lake ដែលធានានូវគុណភាពទិន្នន័យដោយបដិសេធកំណត់ត្រាដែលមិនផ្គូផ្គងនឹងគ្រោងការណ៍របស់តារាង។ ដូចជាម្ចាស់ផ្ទះនៅតុខាងមុខនៃភោជនីយដ្ឋានដែលមានតែការកក់ដ៏ពេញនិយមមួយ នាងពិនិត្យមើលថាតើជួរឈរនីមួយៗនៃទិន្នន័យដែលបានបញ្ចូលទៅក្នុងតារាងគឺនៅក្នុងបញ្ជីដែលត្រូវគ្នានៃជួរឈរដែលរំពឹងទុក (និយាយម្យ៉ាងទៀតថាតើមាន "ការកក់" សម្រាប់ពួកគេម្នាក់ៗឬអត់។ ) និងបដិសេធរាល់កំណត់ត្រាដែលមានជួរឈរដែលមិនមាននៅក្នុងបញ្ជី។

តើការអនុវត្តគ្រោងការណ៍ដំណើរការយ៉ាងដូចម្តេច?

Delta Lake ប្រើ schema-on-write checking ដែលមានន័យថាការសរសេរថ្មីទាំងអស់ទៅកាន់តារាងត្រូវបានពិនិត្យសម្រាប់ភាពឆបគ្នាជាមួយនឹងគ្រោងការណ៍នៃតារាងគោលដៅនៅពេលសរសេរ។ ប្រសិនបើគ្រោងការណ៍មិនស្របគ្នានោះ Delta Lake បោះបង់ប្រតិបត្តិការទាំងស្រុង (មិនមានទិន្នន័យត្រូវបានសរសេរ) ហើយលើកករណីលើកលែងមួយដើម្បីជូនដំណឹងដល់អ្នកប្រើប្រាស់អំពីភាពមិនស៊ីសង្វាក់គ្នា។
Delta Lake ប្រើច្បាប់ខាងក្រោមដើម្បីកំណត់ថាតើកំណត់ត្រាត្រូវគ្នាជាមួយតារាងឬអត់។ ស៊ុមទិន្នន័យដែលអាចសរសេរបាន៖

• មិនអាចមានជួរឈរបន្ថែមដែលមិនមាននៅក្នុងគ្រោងការណ៍នៃតារាងគោលដៅ។ ផ្ទុយទៅវិញ អ្វីគ្រប់យ៉ាងគឺល្អប្រសិនបើទិន្នន័យចូលមិនមានជួរឈរទាំងអស់ពីតារាង - ជួរឈរទាំងនេះនឹងត្រូវបានផ្តល់តម្លៃទទេ។
• មិនអាចមានប្រភេទទិន្នន័យជួរឈរដែលខុសពីប្រភេទទិន្នន័យនៃជួរឈរក្នុងតារាងគោលដៅទេ។ ប្រសិនបើជួរឈរតារាងគោលដៅមានទិន្នន័យ StringType ប៉ុន្តែជួរឈរដែលត្រូវគ្នានៅក្នុង DataFrame មានទិន្នន័យ IntegerType នោះការអនុវត្តគ្រោងការណ៍នឹងបោះករណីលើកលែងមួយ និងការពារការសរសេរពីប្រតិបត្តិការ។
• មិន​អាច​មាន​ឈ្មោះ​ជួរ​ឈរ​ដែល​ខុស​គ្នា​តែ​ក្នុង​ករណី​ប៉ុណ្ណោះ។ នេះមានន័យថាអ្នកមិនអាចមានជួរឈរដែលមានឈ្មោះថា 'Foo' និង 'foo' ដែលបានកំណត់ក្នុងតារាងតែមួយ។ ខណៈពេលដែល Spark អាចត្រូវបានប្រើនៅក្នុងមុខងារ case-sensitive ឬ case-insensitive (default) mode, Delta Lake គឺ​ជា​ case-preserving ប៉ុន្តែ​គឺ insensitive នៅក្នុង​ schema storage។ Parquet គឺប្រកាន់អក្សរតូចធំនៅពេលរក្សាទុក និងត្រឡប់ព័ត៌មានជួរឈរ។ ដើម្បីជៀសវាងកំហុសដែលអាចកើតមាន ការខូចទិន្នន័យ ឬការបាត់បង់ទិន្នន័យ (អ្វីមួយដែលយើងជួបប្រទះផ្ទាល់នៅ Databricks) យើងបានសម្រេចចិត្តបន្ថែមដែនកំណត់នេះ។

ដើម្បីបង្ហាញវា សូមមើលអ្វីដែលកើតឡើងនៅក្នុងកូដខាងក្រោម នៅពេលដែលយើងព្យាយាមបន្ថែមជួរឈរដែលបានបង្កើតថ្មីមួយចំនួនទៅក្នុងតារាង Delta Lake ដែលមិនទាន់បានកំណត់រចនាសម្ព័ន្ធដើម្បីទទួលយកពួកវា។

# Сгенерируем DataFrame ссуд, который мы добавим в нашу таблицу Delta Lake
loans = sql("""
            SELECT addr_state, CAST(rand(10)*count as bigint) AS count,
            CAST(rand(10) * 10000 * count AS double) AS amount
            FROM loan_by_state_delta
            """)

# Вывести исходную схему DataFrame
original_loans.printSchema()

root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
 
# Вывести новую схему DataFrame
loans.printSchema()
 
root
  |-- addr_state: string (nullable = true)
  |-- count: integer (nullable = true)
  |-- amount: double (nullable = true) # new column
 
# Попытка добавить новый DataFrame (с новым столбцом) в существующую таблицу
loans.write.format("delta") 
           .mode("append") 
           .save(DELTALAKE_PATH)

Returns:

A schema mismatch detected when writing to the Delta table.
 
To enable schema migration, please set:
'.option("mergeSchema", "true")'
 
Table schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
 
Data schema:
root
-- addr_state: string (nullable = true)
-- count: long (nullable = true)
-- amount: double (nullable = true)
 
If Table ACLs are enabled, these options will be ignored. Please use the ALTER TABLE command for changing the schema.

ជំនួសឱ្យការបន្ថែមជួរឈរថ្មីដោយស្វ័យប្រវត្តិ Delta Lake ដាក់គ្រោងការណ៍ហើយឈប់សរសេរ។ ដើម្បីជួយកំណត់ថាតើជួរឈរមួយណា (ឬសំណុំនៃជួរឈរ) ដែលបណ្តាលឱ្យមានភាពខុសគ្នានោះ Spark បញ្ចេញគ្រោងការណ៍ទាំងពីរពីដានជង់សម្រាប់ការប្រៀបធៀប។

តើអ្វីជាអត្ថប្រយោជន៍នៃការអនុវត្តគ្រោងការណ៍?

ដោយសារតែការអនុវត្តគ្រោងការណ៍គឺជាការត្រួតពិនិត្យដ៏តឹងរ៉ឹងមួយ វាគឺជាឧបករណ៍ដ៏ល្អមួយក្នុងការប្រើប្រាស់ជាអ្នកយាមទ្វារទៅកាន់សំណុំទិន្នន័យដែលបានផ្លាស់ប្តូរពេញលេញ និងស្អាត ដែលត្រៀមរួចជាស្រេចសម្រាប់ការផលិត ឬប្រើប្រាស់។ ជាធម្មតាត្រូវបានអនុវត្តចំពោះតារាងដែលផ្តល់ទិន្នន័យដោយផ្ទាល់៖

• ក្បួនដោះស្រាយការរៀនម៉ាស៊ីន
• ផ្ទាំងគ្រប់គ្រង BI
• ឧបករណ៍វិភាគទិន្នន័យ និងរូបភាព
• ប្រព័ន្ធផលិតកម្មណាមួយដែលតម្រូវឱ្យមានរចនាសម្ព័ន្ធខ្ពស់ និងវាយបញ្ចូលយ៉ាងខ្លាំងនូវគ្រោងការណ៍ semantic ។

ដើម្បីរៀបចំទិន្នន័យរបស់ពួកគេសម្រាប់ឧបសគ្គចុងក្រោយនេះ អ្នកប្រើប្រាស់ជាច្រើនប្រើស្ថាបត្យកម្ម "ពហុហប" សាមញ្ញដែលណែនាំរចនាសម្ព័ន្ធបន្តិចម្តងៗទៅក្នុងតារាងរបស់ពួកគេ។ ដើម្បីស្វែងយល់បន្ថែមអំពីរឿងនេះ អ្នកអាចពិនិត្យមើលអត្ថបទ ការរៀនម៉ាស៊ីនកម្រិតផលិតកម្មជាមួយ Delta Lake ។

ជាការពិតណាស់ ការអនុវត្តគ្រោងការណ៍អាចត្រូវបានប្រើនៅកន្លែងណាមួយនៅក្នុងបំពង់បង្ហូរប្រេងរបស់អ្នក ប៉ុន្តែត្រូវចាំថាការផ្សាយទៅកាន់តារាងក្នុងករណីនេះអាចជាការខកចិត្ត ព្រោះជាឧទាហរណ៍ អ្នកភ្លេចថាអ្នកបានបន្ថែមជួរឈរមួយទៀតទៅទិន្នន័យចូល។

ការពារការរំលាយទិន្នន័យ

មក​ដល់​ពេល​នេះ អ្នក​ប្រហែល​ជា​ឆ្ងល់​ហើយ តើ​មាន​រឿង​អី​ខ្លះ? យ៉ាងណាមិញ ពេលខ្លះកំហុស "គ្រោងការណ៍មិនស៊ីគ្នា" ដែលមិននឹកស្មានដល់អាចធ្វើអោយអ្នកឡើងក្នុងដំណើរការការងាររបស់អ្នក ជាពិសេសប្រសិនបើអ្នកទើបនឹងកើត Delta Lake ។ ហេតុអ្វីបានជាមិនអនុញ្ញាតឱ្យ schema ផ្លាស់ប្តូរតាមតម្រូវការ ដូច្នេះខ្ញុំអាចសរសេរ DataFrame របស់ខ្ញុំមិនថាមានបញ្ហាអ្វី?

ដូច​ពាក្យ​ចាស់​ពោល​ថា “ការ​ការពារ​មួយ​អោន​គឺ​មាន​តម្លៃ​ក្នុង​ការ​ព្យាបាល​មួយ​ផោន”។ នៅចំណុចខ្លះ ប្រសិនបើអ្នកមិនយកចិត្តទុកដាក់ក្នុងការអនុវត្តគ្រោងការណ៍របស់អ្នកទេ បញ្ហាភាពត្រូវគ្នានៃប្រភេទទិន្នន័យនឹងនៅពីក្រោយក្បាលដ៏អាក្រក់របស់ពួកគេ - ប្រភពទិន្នន័យឆៅដែលហាក់ដូចជាដូចគ្នាអាចមានករណីគែម ជួរឈរដែលខូច ការធ្វើផែនទីខុស ឬរឿងគួរឱ្យខ្លាចផ្សេងទៀតដែលសុបិនអំពីនៅក្នុង សុបិន្តអាក្រក់។ វិធីសាស្រ្តដ៏ល្អបំផុតគឺបញ្ឈប់សត្រូវទាំងនេះនៅច្រកទ្វារ - ជាមួយនឹងការអនុវត្តគ្រោងការណ៍ - និងដោះស្រាយជាមួយពួកគេនៅក្នុងពន្លឺ ជាជាងនៅពេលក្រោយនៅពេលដែលពួកគេចាប់ផ្តើមលាក់ខ្លួននៅក្នុងជម្រៅងងឹតនៃកូដផលិតកម្មរបស់អ្នក។

ការពង្រឹងគ្រោងការណ៍ផ្តល់ឱ្យអ្នកនូវការធានាថាគ្រោងការណ៍តារាងរបស់អ្នកនឹងមិនផ្លាស់ប្តូរទេលុះត្រាតែអ្នកយល់ព្រមលើការផ្លាស់ប្តូរ។ វាការពារការរំលាយទិន្នន័យ ដែលអាចកើតឡើងនៅពេលដែលជួរឈរថ្មីត្រូវបានបន្ថែមជាញឹកញាប់ ដែលតារាងដែលបានបង្ហាប់ដែលមានតម្លៃពីមុនបាត់បង់អត្ថន័យ និងមានប្រយោជន៍ដោយសារការជន់លិចទិន្នន័យ។ តាមរយៈការលើកទឹកចិត្តឱ្យអ្នកមានចេតនា កំណត់ស្តង់ដារខ្ពស់ និងរំពឹងថានឹងមានគុណភាពខ្ពស់ ការអនុវត្តគ្រោងការណ៍ពិតជាធ្វើនូវអ្វីដែលវាត្រូវបានរចនាឡើងដើម្បីធ្វើ - ជួយអ្នកឱ្យរក្សាសតិសម្បជញ្ញៈ និងសម្អាតសៀវភៅបញ្ជីរបស់អ្នក។

ប្រសិនបើអ្នកពិចារណាបន្ថែមទៀតអ្នកសម្រេចចិត្តថាអ្នកពិតជា ត្រូវការ បន្ថែមជួរឈរថ្មី - គ្មានបញ្ហាទេ ខាងក្រោមគឺជាការជួសជុលមួយជួរ។ ដំណោះស្រាយគឺការវិវត្តន៍នៃសៀគ្វី!

តើការវិវត្តន៍នៃគ្រោងការណ៍គឺជាអ្វី?

Schema evolution គឺជាមុខងារដែលអនុញ្ញាតឱ្យអ្នកប្រើផ្លាស់ប្តូរគ្រោងការណ៍តារាងបច្ចុប្បន្នបានយ៉ាងងាយស្រួលយោងទៅតាមទិន្នន័យដែលផ្លាស់ប្តូរតាមពេលវេលា។ វា​ត្រូវ​បាន​ប្រើ​ញឹកញាប់​បំផុត​នៅ​ពេល​ធ្វើ​ប្រតិបត្តិការ​បន្ថែម​ឬ​សរសេរ​ឡើង​វិញ​ដើម្បី​សម្រប​គ្រោងការណ៍​ដោយ​ស្វ័យ​ប្រវត្តិ​ដើម្បី​រួម​បញ្ចូល​ជួរ​ឈរ​ថ្មី​មួយ​ឬ​ច្រើន។

តើ​ការ​វិវត្តន៍​នៃ​គ្រោងការណ៍​ដំណើរការ​ដោយ​របៀប​ណា?

តាមឧទាហរណ៍ពីផ្នែកមុន អ្នកអភិវឌ្ឍន៍អាចប្រើការវិវត្តនៃគ្រោងការណ៍យ៉ាងងាយស្រួលដើម្បីបន្ថែមជួរឈរថ្មីដែលត្រូវបានបដិសេធពីមុនដោយសារតែភាពមិនស៊ីគ្នានៃគ្រោងការណ៍។ ការវិវត្តនៃសៀគ្វីត្រូវបានធ្វើឱ្យសកម្មដោយការបន្ថែម .option('mergeSchema', 'true') ទៅក្រុម Spark របស់អ្នក។ .write или .writeStream.

# Добавьте параметр mergeSchema
loans.write.format("delta") 
           .option("mergeSchema", "true") 
           .mode("append") 
           .save(DELTALAKE_SILVER_PATH)

ដើម្បីមើលក្រាហ្វ សូមដំណើរការសំណួរ Spark SQL ខាងក្រោម

# Создайте график с новым столбцом, чтобы подтвердить, что запись прошла успешно
%sql
SELECT addr_state, sum(`amount`) AS amount
FROM loan_by_state_delta
GROUP BY addr_state
ORDER BY sum(`amount`)
DESC LIMIT 10

ជាជម្រើស អ្នកអាចកំណត់ជម្រើសនេះសម្រាប់វគ្គ Spark ទាំងមូលដោយបន្ថែម spark.databricks.delta.schema.autoMerge = True ទៅការកំណត់រចនាសម្ព័ន្ធ Spark ។ ប៉ុន្តែប្រើវាដោយប្រុងប្រយ័ត្ន ព្រោះការអនុវត្តគ្រោងការណ៍នឹងលែងជូនដំណឹងអ្នកចំពោះភាពមិនស៊ីគ្នានៃគ្រោងការណ៍ដោយអចេតនា។

ដោយរួមបញ្ចូលប៉ារ៉ាម៉ែត្រនៅក្នុងសំណើ mergeSchemaជួរឈរទាំងអស់ដែលមាននៅក្នុង DataFrame ប៉ុន្តែមិនមែននៅក្នុងតារាងគោលដៅត្រូវបានបន្ថែមដោយស្វ័យប្រវត្តិទៅចុងបញ្ចប់នៃគ្រោងការណ៍ដែលជាផ្នែកមួយនៃប្រតិបត្តិការសរសេរ។ វាល​ដែល​បាន​បង្កប់​ក៏​អាច​ត្រូវ​បាន​បន្ថែម​ដែរ ហើយ​ទាំង​នេះ​ក៏​នឹង​ត្រូវ​បាន​បន្ថែម​ទៅ​ចុង​ជួរ​ឈរ​រចនាសម្ព័ន្ធ​ដែល​ត្រូវ​គ្នា​ដែរ។

វិស្វករកាលបរិច្ឆេទ និងអ្នកវិទ្យាសាស្ត្រទិន្នន័យអាចប្រើជម្រើសនេះដើម្បីបន្ថែមជួរឈរថ្មី (ប្រហែលជាម៉ែត្រដែលបានតាមដានថ្មីៗនេះ ឬជួរនៃការលក់ក្នុងខែនេះ) ទៅតារាងផលិតការរៀនម៉ាស៊ីនដែលមានស្រាប់របស់ពួកគេដោយមិនបំបែកម៉ូដែលដែលមានស្រាប់ដោយផ្អែកលើជួរឈរចាស់។

ប្រភេទនៃការផ្លាស់ប្តូរគ្រោងការណ៍ខាងក្រោមត្រូវបានអនុញ្ញាតជាផ្នែកនៃការវិវត្តន៍នៃគ្រោងការណ៍ក្នុងអំឡុងពេលបន្ថែមតារាង ឬសរសេរឡើងវិញ៖

• ការបន្ថែមជួរឈរថ្មី (នេះគឺជាសេណារីយ៉ូទូទៅបំផុត)
• ការផ្លាស់ប្តូរប្រភេទទិន្នន័យពី NullType -> ប្រភេទផ្សេងទៀត ឬផ្សព្វផ្សាយពី ByteType -> ShortType -> IntegerType

ការផ្លាស់ប្តូរផ្សេងទៀតដែលមិនត្រូវបានអនុញ្ញាតនៅក្នុងការវិវត្តនៃគ្រោងការណ៍ តម្រូវឱ្យ គ្រោងការណ៍ និងទិន្នន័យត្រូវបានសរសេរឡើងវិញដោយបន្ថែម .option("overwriteSchema", "true"). ឧទាហរណ៍ ក្នុងករណីដែលជួរឈរ "Foo" ដើមដំបូងជាចំនួនគត់ ហើយគ្រោងការណ៍ថ្មីគឺជាប្រភេទទិន្នន័យខ្សែអក្សរ នោះឯកសារ Parquet (ទិន្នន័យ) ទាំងអស់នឹងត្រូវសរសេរឡើងវិញ។ ការផ្លាស់ប្តូរបែបនេះរួមមាន:

• ការលុបជួរឈរ
• ផ្លាស់ប្តូរប្រភេទទិន្នន័យនៃជួរឈរដែលមានស្រាប់ (នៅនឹងកន្លែង)
• ប្តូរឈ្មោះជួរឈរដែលខុសគ្នាតែក្នុងករណី (ឧទាហរណ៍ "Foo" និង "foo")

ជាចុងក្រោយ ជាមួយនឹងការចេញផ្សាយបន្ទាប់នៃ Spark 3.0 DDL ច្បាស់លាស់នឹងត្រូវបានគាំទ្រយ៉ាងពេញលេញ (ដោយប្រើ ALTER TABLE) ដែលអនុញ្ញាតឱ្យអ្នកប្រើប្រាស់អនុវត្តសកម្មភាពដូចខាងក្រោមលើគ្រោងការណ៍តារាង៖

• ការបន្ថែមជួរឈរ
• ការផ្លាស់ប្តូរមតិយោបល់ជួរឈរ
• ការកំណត់លក្ខណៈសម្បត្តិតារាងដែលគ្រប់គ្រងឥរិយាបថរបស់តារាង ដូចជាការកំណត់រយៈពេលដែលកំណត់ហេតុប្រតិបត្តិការត្រូវបានរក្សាទុក។

តើអ្វីជាអត្ថប្រយោជន៍នៃការវិវត្តន៍សៀគ្វី?

ការវិវត្តនៃគ្រោងការណ៍អាចត្រូវបានប្រើនៅពេលណាក៏បាន មានបំណង ផ្លាស់ប្តូរគ្រោងការណ៍នៃតារាងរបស់អ្នក (ផ្ទុយពីពេលដែលអ្នកបន្ថែមជួរឈរដោយចៃដន្យទៅ DataFrame របស់អ្នកដែលមិនគួរនៅទីនោះ)។ នេះជាវិធីងាយស្រួលបំផុតក្នុងការផ្ទេរគ្រោងការណ៍របស់អ្នក ព្រោះវាបន្ថែមឈ្មោះជួរឈរ និងប្រភេទទិន្នន័យត្រឹមត្រូវដោយស្វ័យប្រវត្តិ ដោយមិនចាំបាច់ប្រកាសពួកវាឱ្យច្បាស់លាស់។

សេចក្តីសន្និដ្ឋាន

ការអនុវត្តគ្រោងការណ៍បដិសេធជួរឈរថ្មី ឬការផ្លាស់ប្តូរគ្រោងការណ៍ផ្សេងទៀតដែលមិនឆបគ្នាជាមួយតារាងរបស់អ្នក។ តាមរយៈការកំណត់ និងរក្សាបាននូវស្តង់ដារខ្ពស់ទាំងនេះ អ្នកវិភាគ និងវិស្វករអាចជឿជាក់បានថាទិន្នន័យរបស់ពួកគេមានកម្រិតខ្ពស់បំផុតនៃភាពសុចរិត ដោយទំនាក់ទំនងវាឱ្យបានច្បាស់លាស់ និងច្បាស់លាស់ ដែលអនុញ្ញាតឱ្យពួកគេធ្វើការសម្រេចចិត្តអាជីវកម្មកាន់តែប្រសើរឡើង។

ម៉្យាងវិញទៀត គ្រោងការណ៍ការវិវត្តន៍បំពេញបន្ថែមការអនុវត្តដោយធ្វើឱ្យសាមញ្ញ ចោទប្រកាន់ ការផ្លាស់ប្តូរគ្រោងការណ៍ដោយស្វ័យប្រវត្តិ។ យ៉ាងណាមិញ វាមិនគួរពិបាកក្នុងការបន្ថែមជួរឈរទេ។

ការអនុវត្តដោយបង្ខំនៃគ្រោងការណ៍គឺ yang ដែលការវិវត្តនៃគ្រោងការណ៍គឺ yin ។ នៅពេលប្រើជាមួយគ្នា លក្ខណៈពិសេសទាំងនេះធ្វើឱ្យការទប់ស្កាត់សំឡេងរំខាន និងការលៃតម្រូវសញ្ញាមានភាពងាយស្រួលជាងមុន។

យើងក៏សូមថ្លែងអំណរគុណចំពោះ Mukul Murthy និង Pranav Anand ចំពោះការរួមចំណែករបស់ពួកគេចំពោះអត្ថបទនេះ។

អត្ថបទផ្សេងទៀតនៅក្នុងស៊េរីនេះ៖

ចូល​ទៅ​ក្នុង​បឹង​ដីសណ្តៈ ការ​ស្រាយ​កំណត់ហេតុ​ប្រតិបត្តិការ

អត្ថបទ​ដែល​ទាក់ទង

ការរៀនម៉ាស៊ីនកម្រិតផលិតកម្មជាមួយ Delta Lake

តើបឹងទិន្នន័យជាអ្វី?

ស្វែងយល់បន្ថែមអំពីវគ្គសិក្សា

ប្រភព: www.habr.com