Tau rau lub hlis dhau los no, kuv tau tsim ib lub kaw lus tiv thaiv kev dag ntxias (kev dag ntxias, thiab lwm yam) yam tsis muaj kev tsim kho tshiab. Cov tswv yim tam sim no uas peb tau tshawb pom thiab siv hauv peb lub kaw lus pab peb nrhiav thiab tshuaj xyuas ntau yam kev dag ntxias. Hauv tsab xov xwm no, kuv xav tham txog cov ntsiab cai uas peb tau ua raws thiab peb tau ua dab tsi los ua tiav peb lub xeev tam sim no, yam tsis tau tshawb nrhiav cov ntsiab lus txog kev siv tshuab.
Cov Ntsiab Cai ntawm peb lub kaw lus
Thaum koj hnov cov lus zoo li "tsis siv neeg" thiab "kev dag ntxias," tej zaum koj yuav xav txog kev kawm tshuab, Apache Spark, Hadoop, Python, Airflow, thiab lwm yam thev naus laus zis los ntawm Apache Foundation ecosystem thiab thaj chaw ntawm kev tshawb fawb txog cov ntaub ntawv. Kuv xav tias muaj ib qho ntawm kev siv cov cuab yeej no uas feem ntau tsis quav ntsej: lawv xav tau qee yam kev cai ua ntej hauv koj lub tuam txhab ua ntej koj tuaj yeem pib siv lawv. Hauv ntej, koj xav tau lub platform ntaub ntawv lag luam uas suav nrog lub pas dej ntaub ntawv thiab chaw khaws khoom. Tab sis yog tias koj tsis muaj lub platform zoo li no thiab tseem xav tau tsim cov kev coj ua no? Cov ntsiab cai hauv qab no, uas kuv tham txog hauv qab no, tau pab peb mus txog qhov chaw uas peb tuaj yeem tsom mus rau kev txhim kho peb cov tswv yim es tsis txhob nrhiav ib qho uas ua haujlwm. Txawm li cas los xij, qhov no tsis yog qhov project lub tiaj tiaj. Tseem muaj ntau yam los tshawb nrhiav los ntawm kev xav txog thev naus laus zis thiab khoom.
Txoj Cai 1: Tus Nqi Lag Luam Ua Ntej
Peb tau muab "tus nqi lag luam" tso ua ntej ntawm peb txhua yam kev siv zog. Feem ntau, txhua lub tshuab tshuaj ntsuam xyuas tsis siv neeg yog ib lub tshuab nyuaj nrog qib siab ntawm kev ua haujlwm tsis siv neeg thiab kev txawj ntse. Kev tsim kom muaj kev daws teeb meem tiav los ntawm kos yuav siv sijhawm ntau heev. Peb txiav txim siab muab qhov tseem ceeb rau tus nqi lag luam thiab kev paub txog thev naus laus zis ua qhov thib ob. Hauv kev xyaum, qhov no txhais tau tias peb tsis lees txais cov thev naus laus zis tshiab ua dogma. Peb xaiv cov thev naus laus zis uas ua haujlwm zoo tshaj plaws rau peb tam sim no. Raws li lub sijhawm dhau mus, peb yuav pom peb tus kheej yuav tsum rov ua dua qee cov modules. Qhov no yog kev pauv pauv uas peb tau lees txais.
Txoj Cai 2: Kev Txawj Ntse Ntxiv
Kuv twv tias feem ntau cov neeg uas tsis koom nrog kev tsim cov kev daws teeb meem kev kawm tshuab yuav xav tias hloov tib neeg yog lub hom phiaj. Qhov tseeb, cov kev daws teeb meem kev kawm tshuab tsis zoo tag nrho thiab tsuas yog hloov tau hauv qee qhov chaw xwb. Peb tsis lees txais lub tswv yim no txij thaum pib vim ntau yam: cov ntaub ntawv tsis sib npaug ntawm kev dag ntxias thiab qhov tsis yooj yim sua kom muab cov npe ntawm cov yam ntxwv rau cov qauv kev kawm tshuab. Qhov sib txawv, peb tau xaiv txoj hauv kev txawj ntse ntxiv. Qhov no yog lwm lub tswv yim ntawm kev txawj ntse dag uas tsom mus rau lub luag haujlwm txhawb nqa ntawm AI, hais txog qhov tseeb tias cov thev naus laus zis paub yog tsim los txhim kho kev txawj ntse ntawm tib neeg, tsis yog hloov nws. [1]
Muab qhov no, kev tsim cov kev daws teeb meem kev kawm tshuab tag nrho los ntawm hauv av yuav xav tau kev siv zog ntau heev, uas yuav ua rau kev tsim txiaj ntsig rau peb txoj kev lag luam qeeb. Peb tau txiav txim siab los tsim ib lub kaw lus nrog cov khoom siv kev kawm tshuab uas loj hlob zuj zus, nyob rau hauv kev coj ntawm peb cov kws tshaj lij. Qhov nyuaj ntawm kev tsim cov kab ke zoo li no yog tias nws yuav tsum muab rau peb cov kws tshuaj ntsuam xyuas cov ntaub ntawv tshawb fawb uas mus dhau qhov tsuas yog txheeb xyuas cov haujlwm dag ntxias. Feem ntau, txhua qhov tsis zoo hauv tus cwj pwm ntawm cov neeg siv khoom yog qhov xwm txheej txawv txawv uas cov kws tshaj lij yuav tsum tshawb nrhiav thiab teb rau. Tsuas yog ib feem ntawm cov ntaub ntawv kaw tseg no tuaj yeem raug cais ua kev dag ntxias.
Txoj Cai 3: Lub Platform Kev Tshawb Fawb Nplua Nuj
Qhov nyuaj tshaj plaws ntawm peb lub system yog qhov kawg ntawm kev lees paub ntawm qhov kawg ntawm lub system cov txheej txheem ua haujlwm. Cov kws tshuaj ntsuam xyuas thiab cov neeg tsim khoom yuav tsum yooj yim rov qab tau cov ntaub ntawv keeb kwm nrog txhua qhov ntsuas siv rau kev tshuaj xyuas. Ntxiv mus, lub platform cov ntaub ntawv yuav tsum muab txoj hauv kev yooj yim los ntxiv cov txheej txheem uas twb muaj lawm nrog cov tshiab. Cov txheej txheem peb tsim - thiab cov no tsis yog cov txheej txheem software - yuav tsum tso cai rau kev yooj yim rov suav dua ntawm cov sijhawm dhau los, ntxiv cov ntsuas tshiab, thiab kev kwv yees cov ntaub ntawv. Peb tuaj yeem ua tiav qhov no los ntawm kev khaws cia tag nrho cov ntaub ntawv tsim los ntawm peb lub kaw lus tsim khoom. Hauv qhov xwm txheej ntawd, cov ntaub ntawv yuav maj mam dhau los ua qhov teeb meem. Peb yuav tsum khaws cia thiab tiv thaiv cov ntaub ntawv tsis siv uas loj hlob zuj zus. Hauv qhov xwm txheej zoo li no, cov ntaub ntawv yuav dhau los ua qhov tsis tseem ceeb dhau sijhawm, tab sis tseem yuav xav tau peb cov kev siv zog los tswj nws. Kev khaws cia cov ntaub ntawv tsis muaj txiaj ntsig rau peb, yog li peb txiav txim siab siv txoj hauv kev sib txawv. Peb txiav txim siab los npaj cov chaw khaws ntaub ntawv tiag tiag nyob ib puag ncig cov chaw uas peb xav faib thiab khaws cia tsuas yog cov ntaub ntawv uas tso cai rau kev lees paub ntawm cov sijhawm tshiab tshaj plaws thiab cuam tshuam. Qhov nyuaj ntawm qhov kev siv zog no yog tias peb lub kaw lus sib txawv, nrog ntau lub khw muag ntaub ntawv thiab cov software modules uas xav tau kev npaj ua tib zoo kom ua haujlwm ua ke.
Cov tswv yim tsim ntawm peb lub kaw lus
Peb muaj plaub yam tseem ceeb hauv peb lub system: lub intake system, computational, BI analysis, thiab tracking system. Lawv ua haujlwm rau cov hom phiaj tshwj xeeb, cais tawm, thiab peb cais lawv los ntawm kev ua raws li cov kev txhim kho tshwj xeeb.
Kev tsim qauv raws li daim ntawv cog lus
Ua ntej, peb pom zoo tias cov khoom yuav tsum tsuas yog siv cov qauv ntaub ntawv tshwj xeeb (cov ntawv cog lus) uas tau dhau los ntawm lawv. Qhov no tso cai rau kev sib koom ua ke yooj yim ntawm lawv thiab tsis yuam kom muaj kev sib xyaw tshwj xeeb (thiab kev txiav txim) ntawm cov khoom. Piv txwv li, qee zaum, qhov no tso cai rau peb ncaj qha sib koom ua ke lub kaw lus noj nrog lub kaw lus ceeb toom taug qab. Hauv qhov no, qhov no yuav ua tiav raws li daim ntawv cog lus ceeb toom tau pom zoo. Qhov no txhais tau tias ob qho khoom yuav raug sib koom ua ke siv daim ntawv cog lus uas lwm yam khoom siv tau siv. Peb yuav tsis ntxiv daim ntawv cog lus ntxiv rau kev ntxiv cov lus ceeb toom rau lub kaw lus taug qab los ntawm lub kaw lus noj. Txoj hauv kev no yuav tsum tau siv cov ntawv cog lus tsawg kawg nkaus uas tau teem tseg thiab ua kom lub kaw lus thiab kev sib txuas lus yooj yim. Yeej, peb tab tom siv txoj hauv kev hu ua "Daim Ntawv Cog Lus Ua Ntej Tsim" thiab siv nws rau cov ntawv cog lus streaming cov ntaub ntawv. [2]
Tshaj tawm txhua qhov chaw
Kev khaws cia thiab tswj hwm lub xeev hauv ib lub kaw lus yeej ib txwm ua rau muaj kev nyuaj rau kev siv. Feem ntau, lub xeev yuav tsum nkag tau los ntawm txhua yam khoom, sib xws thiab muab tus nqi tam sim no rau txhua yam khoom, thiab txhim khu kev qha nrog cov nqi raug. Ntxiv mus, kev hu rau qhov chaw khaws cia tas mus li kom rov qab tau lub xeev tshiab yuav ua rau muaj ntau qhov kev ua haujlwm I / O thiab qhov nyuaj ntawm cov algorithms siv hauv peb cov kav dej tiag tiag. Yog li ntawd, peb txiav txim siab tshem tawm qhov chaw khaws cia ntawm peb lub kaw lus kom tag nrho li sai tau. Txoj hauv kev no yuav tsum suav nrog txhua cov ntaub ntawv tsim nyog hauv chav tsev xa cov ntaub ntawv (lus). Piv txwv li, yog tias peb xav tau xam tag nrho cov lej ntawm qee qhov kev soj ntsuam (tus lej ntawm kev ua haujlwm lossis cov xwm txheej nrog qee yam ntxwv), peb suav nws hauv lub cim xeeb thiab tsim cov kwj deg ntawm cov nqi no. Cov modules nyob ntawm yuav siv kev faib thiab kev sib sau ua ke los faib cov kwj deg los ntawm cov chaw thiab ua haujlwm ntawm cov nqi tshiab. Txoj hauv kev no tshem tawm qhov xav tau rau kev khaws cia disk tas mus li rau cov ntaub ntawv zoo li no. Peb lub kaw lus siv Kafka ua tus neeg xa xov, thiab nws tuaj yeem siv ua lub hauv paus ntaub ntawv nrog KSQL. [3] Txawm li cas los xij, kev siv nws yuav tau txuas peb cov kev daws teeb meem rau Kafka, yog li peb txiav txim siab tsis siv nws. Peb txoj kev xaiv tso cai rau peb hloov Kafka nrog lwm tus neeg xa xov yam tsis muaj kev hloov pauv loj hauv lub kaw lus.
Lub tswv yim no tsis tau txhais hais tias peb tsis siv disk cia thiab databases. Txhawm rau sim thiab tshuaj xyuas kev ua haujlwm ntawm lub system, peb yuav tsum khaws ib feem tseem ceeb ntawm cov ntaub ntawv uas sawv cev rau ntau yam kev ntsuas thiab cov xwm txheej ntawm disk. Lub ntsiab lus tseem ceeb ntawm no yog tias cov algorithms tiag tiag tsis nyob ntawm cov ntaub ntawv zoo li no. Feem ntau, peb siv cov ntaub ntawv khaws cia rau kev tshuaj xyuas offline, debugging, thiab taug qab cov xwm txheej tshwj xeeb thiab cov txiaj ntsig ntawm lub system.
Teeb meem nrog peb lub system
Muaj tej yam teeb meem uas peb tau daws lawm, tab sis lawv xav tau kev daws teeb meem zoo dua. Tam sim no, kuv tsuas xav hais txog lawv ntawm no, vim txhua lub ntsiab lus tsim nyog rau ib tsab xov xwm sib cais.
- Peb tseem yuav tsum txhais cov txheej txheem thiab cov cai uas pab txhawb kev sau cov ntaub ntawv tseem ceeb thiab cuam tshuam rau peb qhov kev tshuaj xyuas cov ntaub ntawv tsis siv neeg, kev tshawb pom, thiab kev tshawb nrhiav.
- Kev siv cov txiaj ntsig ntawm kev tshuaj xyuas los ntawm tib neeg rau hauv cov txheej txheem kho qhov system kom hloov kho nws nrog cov ntaub ntawv tshiab tshaj plaws. Qhov no tsis yog hloov kho peb tus qauv xwb, tab sis kuj hloov kho peb cov txheej txheem thiab txhim kho peb txoj kev nkag siab txog peb cov ntaub ntawv.
- Nrhiav kev sib npaug ntawm txoj kev txiav txim siab IF-ELSE thiab ML. Ib tug neeg hais tias, "ML yog ib lub cuab yeej rau cov neeg poob siab." Qhov no txhais tau tias koj yuav xav siv ML thaum koj tsis nkag siab txog yuav ua li cas los txhim kho thiab txhim kho koj cov algorithms. Ntawm qhov tod tes, txoj kev txiav txim siab tsis tso cai rau kev kuaj pom cov teeb meem uas tsis tau xav txog.
- Peb xav tau ib txoj hauv kev yooj yim los sim peb cov kev xav lossis kev sib raug zoo ntawm cov ntsuas hauv cov ntaub ntawv.
- Lub kaw lus yuav tsum muaj ntau theem ntawm cov txiaj ntsig zoo tiag tiag. Cov teeb meem dag ntxias tsuas yog ib feem ntawm txhua qhov teeb meem uas lub kaw lus tuaj yeem suav tias zoo. Piv txwv li, cov kws tshuaj ntsuam xav tau txais txhua qhov teeb meem txawv txawv rau kev tshuaj xyuas, thiab tsuas yog ib feem me me ntawm cov no yog kev dag ntxias. Lub kaw lus yuav tsum muab cov kws tshuaj ntsuam nrog txhua qhov teeb meem, tsis hais seb lawv puas yog kev dag ntxias tiag tiag lossis tsuas yog tus cwj pwm txawv txawv.
- Lub platform cov ntaub ntawv yuav tsum tso cai rau cov ntaub ntawv keeb kwm kom rov qab tau nrog cov kev xam zauv tsim thiab xam tau sai.
- Kev xa tawm yooj yim thiab tsis siv neeg ntawm txhua qhov system Cheebtsam hauv tsawg kawg peb qhov chaw sib txawv: kev tsim khoom, kev sim (beta), thiab rau cov neeg tsim khoom.
- Qhov kawg tab sis tsis tsawg tshaj plaws, peb yuav tsum tsim kom muaj lub platform kuaj kev ua tau zoo uas peb tuaj yeem tshuaj xyuas peb cov qauv. [4]
ua tim khawv
Tau qhov twg los: www.hab.com
