Txog rau lub hlis dhau los kuv tau tsim ib qho kev tawm tsam kev dag ntxias (kev dag ntxias, kev dag ntxias, thiab lwm yam) yam tsis muaj kev tsim kho tshiab rau qhov no. Niaj hnub no cov tswv yim uas peb tau pom thiab siv hauv peb lub cev pab peb tshawb xyuas thiab txheeb xyuas ntau yam kev dag ntxias. Hauv tsab xov xwm no, kuv xav tham txog cov hauv paus ntsiab lus uas peb tau ua raws thiab peb tau ua dab tsi kom ua tiav lub xeev tam sim no ntawm peb lub cev, tsis tas yuav mus rau hauv cov txheej txheem.
Cov ntsiab cai ntawm peb qhov system
Thaum koj hnov ββββcov lus zoo li "tsis siv neeg" thiab "kev dag ntxias," koj feem ntau yuav pib xav txog kev kawm tshuab, Apache Spark, Hadoop, Python, Airflow, thiab lwm yam thev naus laus zis los ntawm Apache Foundation ecosystem thiab Data Science field. Kuv xav tias muaj ib feem ntawm kev siv cov cuab yeej no uas feem ntau tsis tau hais txog: lawv xav tau qee yam yuav tsum tau ua hauv koj lub lag luam ua ntej koj tuaj yeem pib siv lawv. Nyob rau hauv luv luv, koj xav tau ib tug enterprise cov ntaub ntawv platform uas muaj xws li cov ntaub ntawv pas dej thiab warehouse. Tab sis yuav ua li cas yog tias koj tsis muaj lub platform zoo li no thiab tseem xav tau los tsim qhov kev coj ua no? Cov ntsiab cai hauv qab no uas kuv qhia hauv qab no tau pab peb mus txog qhov chaw uas peb tuaj yeem tsom mus rau kev txhim kho peb cov tswv yim es tsis yog nrhiav ib qho uas ua haujlwm. Txawm li cas los xij, qhov no tsis yog qhov project toj siab. Tseem muaj ntau yam hauv txoj kev npaj los ntawm kev siv thev naus laus zis thiab cov khoom lag luam pom.
Txoj Cai 1: Ua Lag Luam Tus Nqi Ua Ntej
Peb muab "kev lag luam tus nqi" nyob rau hauv pem hauv ntej ntawm tag nrho peb cov kev siv zog. Feem ntau, txhua qhov kev tshuaj ntsuam xyuas tsis siv neeg belongs rau pab pawg ntawm cov txheej txheem nyuaj nrog qib siab ntawm automation thiab kev ua haujlwm nyuaj. Tsim ib qho kev daws teeb meem yuav siv sij hawm ntau yog tias koj tsim nws los ntawm kos. Peb txiav txim siab los muab kev lag luam tus nqi ua ntej thiab kev ua tiav thev naus laus zis thib ob. Hauv lub neej tiag tiag, qhov no txhais tau hais tias peb tsis lees txais cov thev naus laus zis zoo li dogma. Peb xaiv cov tshuab uas ua haujlwm zoo tshaj plaws rau peb tam sim no. Nyob rau tib lub sijhawm, nws yuav zoo li tias peb yuav tau rov ua qee qhov modules. Qhov no yog qhov kev sib haum xeeb uas peb tau txais.
Txoj Cai 2: Augmented txawj ntse
Kuv twv cov neeg feem coob uas tsis koom nrog kev tsim kho tshuab kev daws teeb meem yuav xav tias hloov tib neeg yog lub hom phiaj. Qhov tseeb, cov kev daws teeb meem ntawm kev kawm tshuab nyob deb ntawm qhov zoo tshaj plaws thiab tsuas yog hauv qee qhov chaw tuaj yeem hloov pauv tau. Peb tsis lees paub lub tswv yim no txij thaum pib vim muaj ntau yam: cov ntaub ntawv tsis sib npaug ntawm kev dag ntxias thiab tsis muaj peev xwm muab cov npe dav dav rau cov qauv kev kawm tshuab. Nyob rau hauv sib piv, peb xaiv qhov kev txawj ntse txawj ntse. Qhov no yog lwm lub tswv yim ntawm kev txawj ntse txawj ntse uas tsom mus rau lub luag haujlwm txhawb nqa ntawm AI, hais txog qhov tseeb tias kev txawj ntse thev naus laus zis tau npaj los txhim kho tib neeg kev txawj ntse ntau dua li hloov nws. [1]
Muab qhov no, tsim kom tiav lub tshuab kawm kev daws teeb meem los ntawm kev pib yuav xav tau kev siv zog loj, uas yuav ncua kev tsim cov txiaj ntsig rau peb txoj kev lag luam. Peb txiav txim siab los tsim kom muaj ib qho system nrog ib qho kev loj hlob ntawm lub tshuab kev kawm nyob rau hauv kev taw qhia ntawm peb cov kws txawj sau ntawv. Qhov nyuaj ntawm kev tsim cov txheej txheem zoo li no yog tias nws yuav tsum muab peb cov kws tshuaj ntsuam xyuas cov xwm txheej tsis yog hais txog seb nws puas yog kev dag ntxias lossis tsis ua. Feem ntau, ib qho kev tsis sib haum xeeb hauv cov neeg siv khoom yog qhov tsis txaus ntseeg uas cov kws tshaj lij yuav tsum tau tshawb xyuas thiab teb qee yam. Tsuas yog ib feem ntawm cov ntaub ntawv tshaj tawm no tuaj yeem suav tias yog kev dag ntxias tiag tiag.
Txoj Cai 3: Rich Analytics Platform
Qhov nyuaj tshaj plaws ntawm peb qhov system yog qhov kawg-rau-kawg pov thawj ntawm qhov system txoj haujlwm. Cov kws tshuaj ntsuam thiab cov neeg tsim khoom yuav tsum yooj yim tau txais cov ntaub ntawv keeb kwm yav dhau los nrog tag nrho cov kev ntsuas uas siv los tshuaj xyuas. Tsis tas li ntawd, cov ntaub ntawv platform yuav tsum muab txoj hauv kev yooj yim los ua kom tiav cov kev ntsuas uas twb muaj lawm nrog cov tshiab. Cov txheej txheem peb tsim, thiab cov no tsis yog cov txheej txheem software nkaus xwb, yuav tsum tso cai rau peb yooj yim rov xam cov sijhawm dhau los, ntxiv cov ntsuas tshiab thiab hloov cov ntaub ntawv kwv yees. Peb tuaj yeem ua tiav qhov no los ntawm kev sib sau tag nrho cov ntaub ntawv uas peb cov txheej txheem tsim tawm. Hauv qhov no, cov ntaub ntawv yuav maj mam dhau los ua qhov tsis txaus ntseeg. Peb yuav tsum khaws ntau cov ntaub ntawv uas peb tsis siv thiab tiv thaiv nws. Hauv qhov xwm txheej zoo li no, cov ntaub ntawv yuav dhau los ua ntau thiab tsis cuam tshuam nrog lub sijhawm, tab sis tseem yuav tsum tau siv peb lub zog los tswj nws. Rau peb, cov ntaub ntawv hoarding tsis muaj txiaj ntsig, yog li peb txiav txim siab los ua lwm txoj hauv kev. Peb tau txiav txim siab los npaj cov ntaub ntawv hauv lub sijhawm tiag tiag ntawm lub khw muag khoom nyob ib puag ncig lub hom phiaj uas peb xav faib, thiab khaws cov ntaub ntawv tsuas yog tso cai rau peb tshawb xyuas lub sijhawm tam sim no thiab cuam tshuam. Qhov kev sib tw rau qhov kev siv zog no yog tias peb lub kaw lus yog qhov sib txawv, nrog ntau lub khw muag khoom cov ntaub ntawv thiab software modules uas yuav tsum tau ua tib zoo npaj ua haujlwm kom zoo ib yam.
Tsim cov tswv yim ntawm peb qhov system
Peb muaj plaub yam tseem ceeb hauv peb qhov system: ingestion system, computational, BI tsom xam thiab nrhiav qhov system. Lawv ua haujlwm tshwj xeeb, cais cov hom phiaj, thiab peb khaws lawv cais los ntawm kev ua raws li cov qauv tsim tshwj xeeb.
Daim ntawv cog lus raws li kev tsim qauv
Ua ntej tshaj plaws, peb pom zoo tias cov khoom yuav tsum tsuas yog tso siab rau qee cov ntaub ntawv cov qauv (cov ntawv cog lus) uas tau dhau los ntawm lawv. Qhov no ua rau nws yooj yim rau kev sib koom ua ke ntawm lawv thiab tsis cuam tshuam ib qho tshwj xeeb (thiab kev txiav txim) ntawm cov khoom. Piv txwv li, qee zaum qhov no tso cai rau peb ncaj qha koom ua ke cov khoom noj khoom haus nrog kev ceeb toom taug qab qhov system. Nyob rau hauv cov ntaub ntawv no, qhov no yuav ua tau raws li daim ntawv cog lus ceeb toom. Qhov no txhais tau hais tias ob lub ntsiab lus yuav raug muab sib xyaw siv daim ntawv cog lus uas lwm yam khoom siv tuaj yeem siv tau. Peb yuav tsis tau ntxiv ib daim ntawv cog lus ntxiv los ntxiv kev ceeb toom rau kev taug qab qhov system los ntawm kev nkag mus. Txoj hauv kev no yuav tsum tau siv qhov tsawg kawg nkaus ntawm cov ntawv cog lus thiab ua kom yooj yim rau cov kab ke thiab kev sib txuas lus. Qhov tseem ceeb, peb coj txoj hauv kev hu ua "Contract First Design" thiab siv nws rau streaming daim ntawv cog lus. [2]
Tshaj tawm txhua qhov chaw
Txuag thiab tswj lub xeev nyob rau hauv ib tug system yuav inevitably ua rau muaj teeb meem nyob rau hauv nws siv. Feem ntau, lub xeev yuav tsum nkag mus tau los ntawm ib qho kev tivthaiv, nws yuav tsum ua kom zoo ib yam thiab muab tus nqi tam sim no tshaj plaws thoob plaws txhua qhov chaw, thiab nws yuav tsum muaj kev ntseeg siab nrog qhov tseeb. Tsis tas li ntawd, muaj kev hu xov tooj mus rau qhov tsis tu ncua kom khaws lub xeev tshiab kawg yuav ua rau muaj cov haujlwm I / O thiab qhov nyuaj ntawm cov algorithms siv hauv peb cov kav dej hauv lub sijhawm. Vim li no, peb txiav txim siab tshem tawm lub xeev cia, yog tias ua tau, tag nrho ntawm peb lub cev. Txoj hauv kev no xav kom tag nrho cov ntaub ntawv tsim nyog suav nrog hauv kev xa cov ntaub ntawv thaiv (xov xwm). Piv txwv li, yog tias peb yuav tsum xam tag nrho cov naj npawb ntawm qee qhov kev soj ntsuam (tus naj npawb ntawm cov haujlwm lossis cov xwm txheej uas muaj qee yam ntxwv), peb suav nws hauv kev nco thiab tsim cov kwj ntawm cov txiaj ntsig zoo li no. Cov neeg nyob hauv yuav siv cov kev faib tawm thiab cov batching los faib cov kwj mus rau hauv cov chaw thiab ua haujlwm ntawm cov txiaj ntsig tshiab. Txoj hauv kev no tshem tawm qhov xav tau kom muaj qhov tsis tu ncua disk cia rau cov ntaub ntawv zoo li no. Peb lub kaw lus siv Kafka ua tus xa xov thiab nws tuaj yeem siv los ua cov ntaub ntawv nrog KSQL. [3] Tab sis siv nws yuav tau khi peb cov tshuaj hnyav rau Kafka, thiab peb txiav txim siab tsis siv nws. Txoj hauv kev uas peb xaiv tso cai rau peb hloov Kafka nrog lwm tus neeg xa xov tsis muaj kev hloov pauv loj hauv lub cev.
Lub tswv yim no tsis tau txhais hais tias peb tsis siv disk cia thiab databases. Txhawm rau kuaj thiab txheeb xyuas qhov kev ua tau zoo, peb yuav tsum khaws cov ntaub ntawv tseem ceeb ntawm disk uas sawv cev rau ntau yam kev ntsuas thiab xeev. Lub ntsiab lus tseem ceeb ntawm no yog lub sijhawm tiag tiag algorithms tsis nyob ntawm cov ntaub ntawv no. Feem ntau, peb siv cov ntaub ntawv khaws cia rau kev txheeb xyuas offline, debugging thiab taug qab cov xwm txheej tshwj xeeb thiab cov txiaj ntsig uas lub kaw lus tsim tawm.
Teeb meem ntawm peb qhov system
Muaj qee yam teeb meem uas peb tau daws rau ib theem, tab sis lawv xav tau kev xav ntau dua. Tam sim no kuv tsuas yog xav hais txog lawv ntawm no vim tias txhua lub ntsiab lus muaj nqis rau nws tus kheej tsab xov xwm.
- Peb tseem yuav tsum tau txhais cov txheej txheem thiab cov cai uas txhawb nqa cov ntaub ntawv muaj txiaj ntsig thiab muaj feem cuam tshuam rau peb cov ntaub ntawv tshawb xyuas, tshawb pom, thiab tshawb nrhiav.
- Kev koom ua ke ntawm tib neeg kev tsom xam ua rau cov txheej txheem ntawm kev teeb tsa lub kaw lus kom hloov kho nws nrog cov ntaub ntawv tshiab. Qhov no tsis yog tsuas yog hloov kho peb cov qauv, tab sis kuj hloov kho peb cov txheej txheem thiab txhim kho peb txoj kev nkag siab ntawm peb cov ntaub ntawv.
- Nrhiav qhov sib npaug ntawm txoj hauv kev txiav txim siab ntawm IF-ELSE thiab ML. Ib tug neeg hais tias, "ML yog lub cuab yeej rau cov neeg uas xav tau kev pab." Qhov no txhais tau tias koj yuav xav siv ML thaum koj tsis nkag siab yuav ua li cas kom zoo thiab txhim kho koj cov algorithms. Ntawm qhov tod tes, txoj hauv kev txiav txim siab tsis tso cai rau kev tshawb nrhiav qhov tsis txaus ntseeg uas tsis tau xav txog.
- Peb xav tau ib txoj hauv kev yooj yim los ntsuas peb cov kev xav lossis kev sib raug zoo ntawm kev ntsuas hauv cov ntaub ntawv.
- Lub kaw lus yuav tsum muaj ntau theem ntawm cov txiaj ntsig zoo tiag tiag. Kev dag ntxias tsuas yog ib feem ntawm txhua qhov xwm txheej uas tuaj yeem suav tias yog qhov zoo rau lub kaw lus. Piv txwv li, cov kws tshuaj ntsuam xav tau txais tag nrho cov teeb meem tsis txaus ntseeg rau kev txheeb xyuas, thiab tsuas yog ib feem me me ntawm lawv yog kev dag ntxias. Lub kaw lus yuav tsum tau nthuav tawm txhua qhov xwm txheej rau cov kws tshuaj ntsuam xyuas, txawm hais tias nws yog kev dag ntxias tiag tiag lossis tus cwj pwm tsis txaus ntseeg.
- Cov ntaub ntawv platform yuav tsum tuaj yeem khaws cov ntaub ntawv keeb kwm yav dhau los nrog kev suav tsim thiab suav ntawm ya.
- Yooj yim thiab cia li xa tawm ib qho ntawm cov kab ke hauv qhov tsawg kawg peb qhov chaw sib txawv: ntau lawm, kev sim (beta) thiab rau cov tsim tawm.
- Thiab kawg tab sis tsis tsawg. Peb yuav tsum tsim kom muaj kev ua tau zoo tshaj plaws kev sim platform uas peb tuaj yeem txheeb xyuas peb cov qauv. [4]
ua tim khawv
Tau qhov twg los: www.hab.com