Plansaziya astê ji bo bidestxistina pîşeyê endezyarê daneyê

Ji heşt salên dawîn de ez wekî rêveberê projeyê dixebitim (ez li kar kodê nanivîsim), ku bi xwezayî bandorek neyînî li pişta min a teknolojîk dike. Min biryar da ku valahiya xwe ya teknolojîk bigirim û pîşeya endezyariya Daneyê bistînim. Zehmetiya bingehîn a Endezyarek Daneyê şiyana sêwirandin, çêkirin û domandina depoyên daneyê ye.

Min plansaziyek perwerdehiyê çêkir, ez difikirim ku ew ê ne tenê ji bo min bikêr be. Plan li ser qursên xwe-xwendinê ye. Pêşî ji qursên belaş ên bi rûsî re tê dayîn.

Beşan:

• Algorîtma û strukturên daneyê. beşa Key. Fêr bibe û her tiştê din jî dê bixebite. Girîng e ku hûn kodê destên xwe bigirin û struktur û algorîtmayên bingehîn bikar bînin.
• Database û embarên daneyê, Îstixbarata Karsaziyê. Em ji algorîtmayan ber bi hilanîn û hilanînê daneyê ve diçin.
• Hadoop û Daneyên Mezin. Dema ku databas li ser ajokera hişk nebe, an dema ku dane pêdivî ye ku were analîz kirin, lê Excel nema dikare wan bar bike, daneyên mezin dest pê dike. Bi dîtina min, pêdivî ye ku meriv tenê piştî lêkolînek kûr a her du yên berê derbasî vê beşê bibe.

Algorîtma û strukturên daneyê

Di plana xwe de, min fêrbûna Python, dubarekirina bingehên matematîkê û algorîtmkirinê vedihewand.

• Bernamekirin di Python de
• Python: Bingeh û Serlêdan
• Cebraya xêzik
• Likbez li ser matematîkên veqetandî
• Algorîtma: teorî û pratîk. Methods
• Algorîtma: teorî û pratîk. Structures Data

Database û embarên daneyê, Îstixbarata Karsaziyê

• Pirtûk: Martin Kleppman - Serlêdanên pir barkirî. Bernamekirin, pîvandin, piştgirî. Pirtûk diyar dike ka modelên daneyên cihêreng çawa dixebitin, pêkanîna wan ji hundur, sînorkirin û bijartinên li gorî peywirê ve girêdayî ye.
• Destpêka databases
• Di nav DBMS-ê de bin
• Danasîna databasên ne-girêdayî

Mijarên têkildarî avakirina depoyên daneyê, ETL, kubên OLAP pir bi amûran ve girêdayî ne, ji ber vê yekê ez di vê belgeyê de girêdana qursan nadim. Dema ku di pargîdaniyek taybetî de li ser projeyek taybetî dixebitin, tê pêşniyar kirin ku pergalên weha bixwînin. Ji bo naskirina ETL, hûn dikarin biceribînin Talend an şibaka.

Bi dîtina min, girîng e ku meriv metodolojiya sêwirana nûjen a Data Vault lêkolîn bike Girêdana 1, Girêdana 2. Û awayê çêtirîn fêrbûna wê ev e ku meriv wê bigire û bi mînakek hêsan bicîh bîne. Li ser GitHub gelek mînakên pêkanîna Data Vault hene pirtûk. Pirtûka Depoya Daneyên Nûjen: Modelkirina Depoya Daneyên Agile bi Daneyên Vault re ji hêla Hans Hultgren ve.

Ji bo ku hûn bi amûrên Agahdariya Karsaziyê ya ji bo bikarhênerên dawîn re bibin nas, hûn dikarin sêwirana belaş a raporan, tabloyan, mini wargehên daneyê Power BI Desktop bikar bînin. Materyalên perwerdehiyê: Girêdana 1, Girêdana 2.

Hadoop û Daneyên Mezin

• Pêdivî ye ku hûn bi pêkanîna serbixwe ya MapReduce bêyî pirtûkxaneyên sêyemîn dest pê bikin. Ev dê di pêşerojê de rê bide têgihiştinek çêtir a pêkanînên pir-mijarî. Di Python de mînakek hêja tête diyar kirin vir.
• Hadoop. Pergala ji bo hilanîna mîqdarên mezin ên daneyê.
• Destpêka Endezyariya Daneyên Mezin

encamê

Ne her tiştê ku hûn fêr dibin dikarin di xebatê de werin sepandin. Ji ber vê yekê, hûn hewceyê projeyek mezûnbûnê ne ku tê de hûn ê hewl bidin ku zanîna nû bicîh bînin.

Di planê de mijarên têkildarî analîza daneyê û Fêrbûna Makîneyê tune. ev bêtir ji bo pîşeya Zanyarê Daneyên derbasdar e. Di heman demê de mijarên têkildarî ewrên AWS, Azure jî tune. ev mijar pir bi hilbijartina platformê ve girêdayî ne.

Pirs ji civakê re:
Plana min a astê çiqas têrker e? Çi jêbirin an lê zêde bike?
Hûn ê wekî tezê kîjan proje pêşniyar bikin?

Source: www.habr.com