Hello! Ang akong ngalan mao si Andrey Semenov, usa ako ka senior analyst sa Sportmaster. Niini nga post gusto nako nga ipataas ang isyu sa denormalization sa mga database sa sistema sa ERP. Atong tan-awon ang kinatibuk-ang mga kondisyon, ingon man ang usa ka piho nga pananglitan - ingnon ta nga kini usa ka talagsaon nga monopolyo nga tavern alang sa mga pirata ug mga marinero. Sa diin ang mga pirata ug mga marinero kinahanglan nga mag-alagad sa lahi nga paagi, tungod kay ang mga ideya sa katahum ug mga sumbanan sa konsyumer niining maayong mga ginoo lahi kaayo.
Unsaon paghimo sa tanan nga malipayon? Unsaon nimo paglikay nga mabuang sa pagdesinyo ug pagmentinar sa maong sistema? Unsa ang buhaton kung dili lamang ang naandan nga mga pirata ug mga marinero magsugod sa pag-abut sa tavern?
Ang tanan ubos sa pagputol. Pero magsunod-sunod ta.
1. Mga limitasyon ug mga pangagpas
Ang tanan sa ibabaw magamit lamang sa relational database. Ang mga sangputanan sa denormalization sa porma sa pagbag-o, pagtangtang, ug pagsal-ot nga mga anomaliya, nga maayo nga nasakup, lakip sa Internet, wala gikonsiderar. Sa gawas sa kasangkaran sa kini nga publikasyon adunay mga kaso diin ang denormalization usa ka sagad nga lugar, nga adunay klasiko nga mga pananglitan: serye sa pasaporte ug numero, petsa ug oras, ug uban pa.
Ang post naggamit sa intuitive ug praktikal nga magamit nga mga kahulugan sa normal nga mga porma, nga walaβy paghisgot sa mga termino sa matematika. Sa porma diin sila mahimong magamit sa pagsusi sa tinuod nga mga proseso sa negosyo (BP) ug ang disenyo sa software sa industriya.
Nangatarungan nga ang disenyo sa mga bodega sa datos, mga himan sa pagtaho ug mga kasabotan sa paghiusa (nga naggamit sa tabular nga representasyon sa impormasyon) lahi sa disenyo sa mga database sa sistema sa ERP nianang kasayon ββsa pagkonsumo ug ang paggamit sa conscious denormalization aron makab-ot kini mahimong mag-una sa integridad. data sa pagpanalipod. Gipaambit nako kini nga opinyon, ug kung unsa ang gihulagway sa ubos magamit lamang sa master data ug transactional data models sa ERP system.
Ang katin-awan sa normal nga mga porma gihatag gamit ang usa ka pananglitan nga masabtan sa adlaw-adlaw nga lebel alang sa kadaghanan sa mga magbabasa. Bisan pa, isip usa ka biswal nga ilustrasyon, sa mga parapo 4-5, usa ka tinuyo nga "fictional" nga buluhaton ang tinuyo nga gigamit. Kung dili nimo kini buhaton ug magkuha usa ka pananglitan sa libro, pananglitan, ang parehas nga modelo sa pagtipig sa order gikan sa punto 2, mahimo nimong makit-an ang imong kaugalingon sa usa ka sitwasyon diin ang pokus sa magbabasa mabalhin gikan sa gisugyot nga pagkadunot sa proseso ngadto sa usa ka modelo, ngadto sa personal nga kasinatian ug panglantaw kon sa unsang paagi ang mga proseso ug mga modelo sa pagtipig sa datos sa IS kinahanglang matukod. Sa ato pa, kuhaa ang duha ka kwalipikado nga mga analista sa IT, tugoti ang usa nga maghatag serbisyo sa mga logisticians nga nagdala sa mga pasahero, ang usa sa mga logistician nga nagdala sa mga makina alang sa paghimo sa mga microchips. Pangutan-a sila, nga wala maghisgot daan sa mga automated BP, sa paghimo og modelo sa datos alang sa pagtipig og impormasyon mahitungod sa usa ka biyahe sa riles.
Adunay usa ka non-zero nga posibilidad nga sa gisugyot nga mga modelo makit-an nimo dili lamang ang usa ka mamatikdan nga lahi nga hugpong sa mga hiyas, apan usab magkalainlain nga mga hugpong sa mga entidad, tungod kay ang matag analista magsalig sa mga proseso ug mga buluhaton nga pamilyar kaniya. Ug sa ingon nga sitwasyon imposible nga isulti kung unsang modelo ang "husto", tungod kay walaβy sukdanan sa pagtimbang-timbang.
2. Normal nga mga porma
Unang normal nga porma sa database nagkinahanglan atomicity sa tanan nga mga hiyas.
Sa partikular, kung ang butang A adunay dili yawe nga mga hiyas a ug b, sa ingon nga c=f(a,b) ug sa lamesa nga naghulagway sa butang A imong gitipigan ang bili sa hiyas c, nan ang unang normal nga porma gilapas sa database . Pananglitan, kung ang detalye sa order nagpakita sa usa ka gidaghanon, ang mga yunit sa pagsukod nga nagdepende sa matang sa produkto: sa usa ka kaso kini mahimo nga mga piraso, sa laing litro, sa ikatulo nga pakete nga naglangkob sa mga piraso (sa modelo sa ibabaw Good_count_WR) , unya ang atomicity sa mga hiyas gilapas sa database. Sa kini nga kaso, aron masulti kung unsa ang kinahanglan nga cluster sa lamesa sa espesipikasyon sa order, kinahanglan nimo ang usa ka gipunting nga paghulagway sa proseso sa trabaho sa IS, ug tungod kay ang mga proseso mahimong lahi, mahimoβg adunay daghang mga "husto" nga mga bersyon.
Ikaduha nga normal nga porma sa database nagkinahanglan sa pagsunod sa unang porma ug sa kaugalingon nga lamesa alang sa matag entidad nga may kalabutan sa proseso sa trabaho sa IS. Kung sa usa ka lamesa adunay mga dependency c=f1(a) ug d=f2(b) ug walay dependency c=f3(b), nan ang ikaduhang normal nga porma gilapas sa lamesa. Sa pananglitan sa ibabaw, walay dependency tali sa order ug address sa Order table. Usba ang ngalan sa dalan o siyudad ug wala ka'y ββepekto sa importanteng mga hiyas sa order.
Ikatulo nga normal nga porma database nagkinahanglan sa pagsunod sa ikaduha nga normal nga porma ug ang pagkawala sa functional dependencies tali sa mga hiyas sa lain-laing mga entidad. Kini nga lagda mahimong maporma sama sa mosunod: "ang tanan nga mahimong kalkulado kinahanglan nga kalkulado." Sa laing pagkasulti, kung adunay duha ka butang A ug B. Sa lamesa nga nagtipig sa mga hiyas sa butang A, ang hiyas C gipakita, ug ang butang B adunay hiyas b, nga ang c=f4(b) anaa, unya ang ikatulo nga normal nga porma. gilapas. Sa pananglitan sa ubos, ang Quantity of Pieces attribute (Total_count_WR) sa order record klaro nga nag-angkon nga nakalapas sa ikatulo nga normal nga porma
3. Ang akong pamaagi sa pagpadapat sa normalisasyon
1. Usa lamang ka target nga automated nga proseso sa negosyo ang makahatag sa analista og mga criteria alang sa pag-ila sa mga entidad ug mga hiyas sa paghimo og modelo sa pagtipig sa datos. Ang paghimo sa usa ka modelo sa proseso usa ka kinahanglanon alang sa paghimo sa usa ka normal nga modelo sa datos.
2. Ang pagkab-ot sa ikatulo nga normal nga porma sa estrikto nga diwa mahimong dili praktikal sa aktuwal nga praktis sa pagmugna og mga sistema sa ERP kung ang pipila o ang tanan sa mosunod nga mga kondisyon matuman:
- Ang mga awtomatikong proseso panagsa ra nga mabag-o,
- higpit ang mga deadline alang sa panukiduki ug pag-uswag,
- ang mga kinahanglanon alang sa integridad sa datos medyo ubos (potensyal nga mga sayup sa software sa industriya dili mosangpot sa pagkawala sa salapi o mga kliyente sa kustomer sa software)
- ug uban pa.
Ubos sa gihulagway nga mga kondisyon, ang mga gasto sa pag-ila ug paghulagway sa siklo sa kinabuhi sa pipila ka mga butang ug sa ilang mga kinaiya mahimong dili makatarunganon gikan sa punto sa panglantaw sa kahusayan sa ekonomiya.
3. Ang bisan unsang mga sangputanan sa denormalization sa modelo sa datos sa usa ka nahimo na nga IS mahimong maminusan pinaagi sa usa ka hingpit nga pasiuna nga pagtuon sa code ug pagsulay.
4. Ang denormalization usa ka paagi sa pagbalhin sa mga gasto sa pagtrabaho gikan sa yugto sa pagsiksik sa mga tinubdan sa datos ug pagdesinyo sa usa ka proseso sa negosyo ngadto sa yugto sa pagpalambo, gikan sa panahon sa pagpatuman ngadto sa panahon sa pagpalambo sa sistema.
5. Maayo nga maningkamot alang sa ikatulo nga normal nga porma sa database kung:
- Ang direksyon sa pagbag-o sa mga awtomatikong proseso sa negosyo lisud matagna
- Adunay huyang nga dibisyon sa trabaho sulod sa implementasyon ug/o development team
- Ang mga sistema nga gilakip sa integration circuit naugmad sumala sa ilang kaugalingon nga mga plano
- Ang pagkadili makanunayon sa datos mahimong moresulta sa pagkawala sa mga kustomer o salapi sa usa ka kompanya
6. Ang laraw sa usa ka modelo sa datos kinahanglan nga himuon sa usa ka analista lamang nga adunay kalabotan sa mga modelo sa target nga proseso sa negosyo ug ang proseso sa IS. Kung ang usa ka developer nagdesinyo sa usa ka modelo sa datos, kinahanglan niya nga isubsob ang iyang kaugalingon sa lugar nga hilisgutan sa usa ka gidak-on nga, labi na, nahibal-an niya ang kalainan tali sa mga kantidad sa hiyas - usa ka kinahanglanon nga kondisyon alang sa pagbulag sa mga atomic nga kinaiya. Sa ingon, pagkuha sa dili kasagaran nga mga gimbuhaton.
4 Problema para sa ilustrasyon
Ingnon ta nga ikaw adunay gamay nga robotic tavern sa pantalan. Ang imong bahin sa merkado: mga marinero ug mga pirata nga moadto sa pantalan ug nanginahanglan pahulay. Gibaligya nimo ang tsa nga adunay thyme sa mga marinero, ug ang rum ug mga suklay sa bukog alang sa pagsuklay sa mga bungot sa mga pirata. Ang serbisyo sa tavern mismo gihatag sa usa ka robot hostess ug usa ka robot bartender. Salamat sa imong taas nga kalidad ug mubu nga presyo, imong gipapahawa ang imong mga kakompetensya, aron ang tanan nga gikan sa barko moadto sa imong taberna, nga mao ra ang naa sa pantalan.
Ang komplikado sa sistema sa impormasyon sa tavern naglangkob sa mosunod nga software:
- Usa ka sistema sa sayo nga pasidaan bahin sa usa ka kliyente nga nag-ila sa kategorya niini base sa mga kinaiya nga bahin
- Sistema sa pagkontrol alang sa mga hostes sa robot ug mga bartender sa robot
- Sistema sa pagdumala sa bodega ug pagpadala hangtod sa punto sa pagbaligya
- Supplier Relationship Management System (SURP)
Proseso:
Ang sistema sa sayo nga pasidaan nag-ila sa mga tawo nga mibiya sa barko. Kung ang usa ka tawo limpyo ang buhok, siya nagpaila kaniya nga usa ka marinero; kung ang usa ka tawo makit-an nga adunay bungot, nan siya giila nga usa ka pirata.
Pagsulod sa tavern, ang bisita nakadungog sa usa ka pagtimbaya gikan sa robot hostess uyon sa iyang kategorya, pananglitan: "Ho-ho-ho, mahal nga pirata, adto sa lamesa No..."
Ang bisita moadto sa espesipikong lamesa, diin ang robot bartender nag-andam na og mga butang alang kaniya subay sa kategoriya. Ang robot nga bartender nagpadala sa impormasyon ngadto sa sistema sa bodega nga ang sunod nga bahin sa paghatud kinahanglan nga madugangan; ang bodega IS, base sa nahabilin nga mga balanse sa pagtipig, nagmugna og usa ka hangyo sa pagpalit sa sistema sa pagdumala.
Samtang ang sayo nga sistema sa pasidaan mahimoβg naugmad sa imong internal nga IT, ang programa sa pagdumala sa bar robot mahimoβg gihimo sa usa ka eksternal nga kontratista alang sa imong negosyo. Ug ang mga sistema alang sa pagdumala sa mga bodega ug mga relasyon sa mga supplier mga gipahiangay nga mga solusyon sa pakete gikan sa merkado.
5. Mga pananglitan sa denormalization ug ang epekto niini sa pagpalambo sa software
Sa dihang nagdesinyo ug usa ka proseso sa negosyo, ang gikahinabi nga mga eksperto sa hilisgutan nagkahiusang mipahayag nga sa tibuok kalibotan ang mga pirata nag-inom ug rum ug nagsuklay sa ilang mga bungot gamit ang mga suklay sa bukog, ug ang mga marinero nag-inom ug tsa nga may thyme ug kanunayng limpyo.
Ang usa ka direktoryo sa mga tipo sa kliyente makita nga adunay duha ka kantidad: 1 - mga pirata, 2 - mga marinero, kasagaran alang sa tibuuk nga sirkito sa kasayuran sa kompanya.
Gitipigan dayon sa sistema sa pagpahibalo sa kliyente ang resulta sa pagproseso sa imahe isip identifier (ID) sa giila nga kliyente ug ang tipo niini: marinero o pirata.
Nailhan nga object ID
Kategoriya sa kliyente
100500
Pirate
100501
Pirate
100502
Marinero
Atong timan-an sa makausa pa kana
1. Ang atong mga marinero sa tinuoray kiskisan nga mga tawo
2. Ang atong mga pirata kay balbasan gyud
Unsang mga problema sa kini nga kaso ang kinahanglan nga tangtangon aron ang among istruktura maningkamot alang sa ikatulo nga normal nga porma:
- paglapas sa atomicity sa attribute - Kliyente Kategorya
- pagsagol sa naanalisa nga kamatuoran ug sa konklusyon sa usa ka lamesa
- fixed functional nga relasyon tali sa mga hiyas sa lain-laing mga entidad.
Sa normalized nga porma, makakuha kami duha ka mga lamesa:
- resulta sa pag-ila sa porma sa usa ka hugpong sa natukod nga mga bahin,
Nailhan nga object ID
Buhok sa nawong
100500
Oo
100501
Oo
100502
Dili
- ang resulta sa pagtino sa matang sa kliyente isip usa ka aplikasyon sa lohika nga gisukip sa IS aron sa paghubad sa natukod nga mga kinaiya
Nailhan nga object ID
Identification ID
Kategoriya sa kliyente
100500
100001
Pirate
100501
100002
Pirate
100502
100003
Marinero
Sa unsang paagi mapadali sa usa ka normal nga organisasyon sa pagtipig sa datos ang pag-uswag sa usa ka IP complex? Ingnon ta nga kalit nga nakakuha ka bag-ong mga kliyente. Himoa nga ang mga pirata sa Japan nga walaβy bungot, apan naglakaw sila nga adunay parrot sa ilang abaga, ug mga pirata sa kinaiyahan, dali nimo sila mailhan pinaagi sa asul nga profile ni Greta sa wala nga dughan.
Ang mga pirata sa kinaiyahan, natural, dili makagamit sa mga combs sa bukog ug nanginahanglan usa ka analogue nga gihimo gikan sa recycled nga plastik sa dagat.
Kinahanglan nimong buhaton pag-usab ang mga algorithm sa programa uyon sa bag-ong mga input. Kung gisunod ang mga lagda sa normalisasyon, nan kinahanglan nimo nga dugangan ang mga input alang sa pipila nga mga sanga sa proseso sa pipila nga mga sistema ug maghimo bag-ong mga sanga alang lamang sa mga kaso ug sa mga IS kung diin hinungdanon ang buhok sa nawong. Apan, tungod kay wala gisunod ang mga lagda, kinahanglan nimo nga analisahon ang tibuuk nga code, sa tibuuk nga sirkito, diin gigamit ang mga kantidad sa direktoryo sa tipo sa kliyente ug tin-aw nga gi-establisar nga sa usa ka kaso kinahanglan nga tagdon sa algorithm ang propesyonal. kalihokan sa kliyente, ug sa ubang pisikal nga mga bahin.
Sa porma nga nangita aron ma-normalize, makakuha kami duha ka mga lamesa nga adunay data sa operasyon ug duha nga mga direktoryo:
- resulta sa pag-ila sa porma sa usa ka hugpong sa natukod nga mga bahin,
Nailhan nga object ID
Greta sa wala nga dughan
Langgam sa abaga
Buhok sa nawong
100510
1
1
1
100511
0
0
1
100512
1
0
- ang resulta sa pagtino sa tipo sa kliyente (pahimoa kini nga usa ka naandan nga pagtan-aw diin ang mga paghulagway gikan sa mga direktoryo gipakita)
Ang nakit-an ba nga denormalization nagpasabut nga ang mga sistema dili mabag-o aron makab-ot ang mga bag-ong kondisyon? Siyempre dili. Kung atong mahanduraw nga ang tanan nga mga sistema sa impormasyon gimugna sa usa ka team nga adunay zero staff turnover, ang mga kalamboan maayo nga dokumentado ug ang impormasyon gibalhin sulod sa team nga walay kapildihan, nan ang gikinahanglan nga mga pagbag-o mahimo nga adunay gamay nga paningkamot. Apan kung mobalik kita sa orihinal nga kondisyon sa problema, ang 1,5 nga mga keyboard mapapas para lang sa pag-imprenta sa mga protocol sa hiniusang panaghisgot ug laing 0,5 alang sa pagproseso sa mga pamaagi sa pagpalit.
Sa panig-ingnan sa ibabaw, ang tanan nga tulo ka normal nga mga porma gilapas, atong sulayan sa paglapas niini nga gilain.
Paglapas sa una nga normal nga porma:
Ingnon ta nga ang mga butang ipadala sa imong bodega gikan sa mga bodega sa mga supplier pinaagi sa pagkuha gamit ang usa ka 1.5-toneladang gasela nga iya sa imong tavern. Ang gidak-on sa imong mga order gamay ra kaayo kung itandi sa turnover sa mga suppliers nga kanunay silang makompleto sa usag-usa nga wala maghulat sa produksiyon. Sa ingon nga proseso sa negosyo, kinahanglan ba nimo ang lahi nga mga lamesa: mga salakyanan, mga tipo sa mga salakyanan, kinahanglan ba nga ibulag ang plano ug kamatuoran sa imong mga mando sa mga migikan nga mga supplier?
Hunahunaa lang kung pila ka "dugang" nga mga koneksyon ang kinahanglan isulat sa imong mga programmer kung gamiton nimo ang modelo sa ubos aron makahimo usa ka programa.
Ingnon ta nga nakahukom kami nga ang gisugyot nga istruktura dili kinahanglan nga komplikado; sa among kaso, ang pagbulag sa plano ug ang kamatuoran sa rekord sa order mao ang sobra nga kasayuran, ug ang namugna nga detalye sa order gisulat pag-usab base sa mga sangputanan sa pagdawat sa mga naabot nga mga butang, talagsa nga sayup. -grading ug pag-abot sa mga butang sa dili igo nga kalidad gihusay sa gawas sa IS.
Ug unya usa ka adlaw imong makita kung giunsa ang tibuuk nga hawanan sa tavern napuno sa mga masuk-anon ug dili maayo nga mga pirata. Unsay nahitabo?
Mogawas nga samtang midako ang imong negosyo, midako usab ang imong konsumo. Kaniadto, usa ka desisyon sa pagdumala ang gihimo nga kung ang usa ka gasela nabug-atan sa gidaghanon ug/o gibug-aton, nga talagsa ra, ang supplier unahon ang karga pabor sa mga ilimnon.
Ang wala mapadala nga mga butang natapos sa sunod nga order ug gibiyaan sa usa ka bag-ong paglupad; ang presensya sa usa ka minimum nga balanse sa bodega sa tavern nagpaposible nga dili makamatikod sa nawala nga mga kaso.
Ang katapusan nga kakompetensya nagsirado sa pantalan, ug ang natusok nga kaso sa gazelle overload, nga gilaktawan sa prioritization base sa pag-asumir sa igo nga minimum nga balanse ug periodic underloading sa sakyanan, nahimong komon nga praktis. Ang gibuhat nga sistema mao ang labing maayo nga molihok uyon sa mga algorithm nga nalakip niini ug mahikawan sa bisan unsang higayon aron masubay ang sistematikong kapakyasan sa pagtuman sa giplano nga mga mando. Ang nadaot nga reputasyon ug wala matagbaw nga mga kostumer lamang ang makamatikod sa problema.
Mahimong namatikdan sa usa ka matinagdanon nga magbabasa nga ang gi-order nga gidaghanon sa espesipikasyon sa order (T_ORDER_SPEC) sa seksyon 2 ug seksyon 5 mahimo o dili makab-ot ang kinahanglanon sa una nga normal nga porma. Kini ang tanan nagdepende kung, kung gihatagan ang napili nga klase sa mga butang, sa tinuud nga lainlaing mga yunit sa pagsukod mahimong mahulog sa parehas nga uma.
Paglapas sa ikaduhang normal nga porma:
Samtang modako ang imong mga panginahanglan, mopalit ka og duha pa ka mga sakyanan nga lainlaig gidak-on. Sa konteksto sa ibabaw, ang paghimo sa usa ka direktoryo sa salakyanan giisip nga sobra; ingon usa ka sangputanan, ang tanan nga mga algorithm sa pagproseso sa datos nga nagserbisyo sa mga panginahanglanon sa paghatud ug bodega nagtan-aw sa paglihok sa mga kargamento gikan sa supplier hangtod sa bodega ingon ang paglupad sa usa ka eksklusibo nga 1,5-tonelada. gasela. Mao nga, kauban ang pagpalit sa bag-ong mga salakyanan, naghimo ka gihapon usa ka direktoryo sa awto, apan kung nahuman na kini, kinahanglan nimo nga analisahon ang tanan nga mga code nga naghisgot sa paglihok sa mga kargamento aron mahibal-an kung sa matag piho nga lugar ang mga pakisayran gipasabut sa mga kinaiya. sa mismong sakyanan diin nagsugod ang negosyo.
Paglapas sa ikatulo nga normal nga porma:
Sa usa ka punto magsugod ka sa paghimo sa usa ka programa sa pagkamaunongon, usa ka rekord sa usa ka regular nga kustomer ang makita. Ngano, pananglitan, mogugol ug panahon sa paghimo og materyal nga mga panan-aw nga nagtipig sa aggregated data sa mga halin ngadto sa usa ka indibidwal nga kliyente aron magamit sa pagtaho ug pagbalhin ngadto sa analytical nga mga sistema, kung sa pagsugod sa usa ka loyalty program ang tanan nga makapainteres sa kustomer mahimong ibutang sa rekord sa kliyente ? Ug, sa pagkatinuod, sa unang pagtan-aw, walay punto. Apan sa matag higayon nga magkonektar ang imong negosyo, pananglitan, bag-ong mga channel sa pagpamaligya, kinahanglan adunay usa sa imong mga analista nga mahinumdom nga adunay ingon nga aggregation attribute.
Kung nagdesinyo sa matag bag-ong proseso, pananglitan, ang mga pagbaligya sa Internet, ang mga pagbaligya pinaagi sa mga distributor nga konektado sa usa ka sagad nga sistema sa pagkamaunongon, kinahanglan nga hinumdoman sa usa nga ang tanan nga mga bag-ong proseso kinahanglan nga masiguro ang integridad sa datos sa lebel sa code. Alang sa usa ka database sa industriya nga adunay usa ka libo nga mga lamesa, ingon kini usa ka imposible nga buluhaton.
Ang usa ka eksperyensiyadong developer, siyempre, nahibal-an kung unsaon pagwagtang ang tanan nga mga problema nga gihisgutan sa ibabaw, apan, sa akong opinyon, ang tahas sa usa ka eksperyensiyado nga analista dili ang pagdala niini sa kahayag.
Gusto nakong ipahayag ang akong pasalamat sa nag-unang developer nga si Evgeniy Yarukhin alang sa iyang bililhong feedback atol sa pag-andam sa publikasyon.
Literatura
Connolly Thomas, Begg Caroline. Database. Disenyo, pagpatuman ug suporta. Teorya ug praktis
Source: www.habr.com