సెయింట్ పీటర్స్బర్గ్లో జూలై 11-12 తేదీలలో ఒక సమావేశం జరుగుతుంది , సమాంతర మరియు పంపిణీ వ్యవస్థల అభివృద్ధికి అంకితం చేయబడింది. హైడ్రా యొక్క ఉపాయం ఏమిటంటే, ఇది చల్లని శాస్త్రవేత్తలను (సాధారణంగా విదేశీ శాస్త్రీయ సమావేశాలలో మాత్రమే కనుగొనవచ్చు) మరియు ప్రసిద్ధ ప్రాక్టీసింగ్ ఇంజనీర్‌లను సైన్స్ మరియు ప్రాక్టీస్ కూడలిలో ఒక పెద్ద ప్రోగ్రామ్‌గా ఏకం చేస్తుంది.
గత కొన్ని సంవత్సరాలలో మా అత్యంత ముఖ్యమైన సమావేశాలలో హైడ్రా ఒకటి. దీనికి ముందు చాలా తీవ్రమైన తయారీ, స్పీకర్ల ఎంపిక మరియు నివేదికలు ఉన్నాయి. దీని గురించి గత వారం JUG.ru గ్రూప్ డైరెక్టర్, అలెక్సీ ఫెడోరోవ్ ().
మేము లెస్లీ లాంపోర్ట్, మారిస్ హెర్లిహి మరియు మైఖేల్ స్కాట్ - పంపిణీ వ్యవస్థల సిద్ధాంతం యొక్క స్థాపకులు ముగ్గురు ముఖ్యమైన పాల్గొనేవారు. మొత్తం ప్రోగ్రామ్ గురించి మరింత వివరంగా మాట్లాడే సమయం ఇది!
ప్రేరణ
మీరు ప్రోగ్రామింగ్‌లో నిమగ్నమైతే, ఒక మార్గం లేదా మరొకటి మీరు మల్టీథ్రెడింగ్ మరియు పంపిణీ చేయబడిన కంప్యూటింగ్‌తో వ్యవహరిస్తున్నారు. సంబంధిత రంగాలలోని నిపుణులు వారితో నేరుగా పని చేస్తారు, కానీ అంతర్లీనంగా, పంపిణీ ప్రతిచోటా మమ్మల్ని చూస్తోంది: ఏదైనా బహుళ-కోర్ కంప్యూటర్ లేదా పంపిణీ చేయబడిన సేవలో సమాంతరంగా గణనలను నిర్వహించే ఏదో ఉంది.
అప్లికేషన్ ప్రోగ్రామింగ్ యొక్క వివిధ అంశాలను కవర్ చేసే అనేక సమావేశాలు ఉన్నాయి. స్పెక్ట్రమ్ యొక్క మరొక వైపు, లెక్చర్ ఫార్మాట్‌లో సంక్లిష్టమైన సిద్ధాంతాన్ని విస్తారమైన మొత్తంలో బహిర్గతం చేసే ప్రత్యేకమైన శాస్త్రీయ పాఠశాలలు మా వద్ద ఉన్నాయి. ఉదాహరణకు, సెయింట్ పీటర్స్బర్గ్లో హైడ్రాతో సమాంతరంగా ఉంది . హైడ్రా కాన్ఫరెన్స్‌లో, మేము వారి కూడలిలో కఠినమైన అభ్యాసం, సైన్స్ మరియు ప్రతిదానిని ఒకచోట చేర్చడానికి ప్రయత్నించాము.
దీని గురించి ఆలోచించండి: మేము అధ్యయనం చేసే సైన్స్ మరియు ఇంజనీరింగ్ రంగానికి చెందిన స్థాపకులను మీరు వ్యక్తిగతంగా కలుసుకునే అద్భుతమైన సమయంలో మేము జీవిస్తున్నాము. భౌతిక శాస్త్రవేత్తలు న్యూటన్ లేదా ఐన్‌స్టీన్‌లను కలవరు - రైలు బయలుదేరింది. పంపిణీ చేయబడిన వ్యవస్థల సిద్ధాంతం యొక్క పునాదులను సృష్టించిన, ప్రసిద్ధ ప్రోగ్రామింగ్ భాషలను కనిపెట్టిన మరియు మొదటిసారిగా పని చేసే ప్రోటోటైప్‌లలో ఇవన్నీ మూర్తీభవించిన వారు మన పక్కన ఉన్నారు. ఈ వ్యక్తులు తమ ఉద్యోగాలను సగానికి వదిలిపెట్టలేదు, వారు ప్రస్తుతం ప్రపంచ ప్రఖ్యాత విశ్వవిద్యాలయాలు మరియు కంపెనీలలోని ఒత్తిడి సమస్యలపై పని చేస్తున్నారు మరియు ఈ రోజు జ్ఞానం మరియు అనుభవానికి గొప్ప వనరులు.
మరోవైపు, వారిని కలిసే అవకాశం సాధారణంగా పూర్తిగా సైద్ధాంతికంగానే ఉంటుంది: మనలో కొంతమంది రోచెస్టర్ విశ్వవిద్యాలయంలో పబ్లిక్ ఈవెంట్‌లను నిరంతరం పర్యవేక్షించవచ్చు, ఆపై USAకి వెళ్లి మైఖేల్ స్కాట్‌తో ఉపన్యాసం కోసం తిరిగి వెళ్లవచ్చు. హైడ్రా సభ్యులందరినీ సందర్శించడం వలన వృధా సమయం యొక్క అగాధాన్ని లెక్కించకుండా, ఒక చిన్న అదృష్టాన్ని ఖర్చు చేస్తుంది (ఇది ఆసక్తికరమైన అన్వేషణలా అనిపించినప్పటికీ).
మరోవైపు, ప్రస్తుతం పంపిణీ చేయబడిన సిస్టమ్‌లలో సమస్యలను నొక్కే పనిలో ఉన్న చాలా మంది అగ్ర ఇంజనీర్లు మాకు ఉన్నారు మరియు వారు ఖచ్చితంగా చెప్పడానికి చాలా ఉన్నాయి. కానీ ఇక్కడ సమస్య ఉంది - వారు работают, మరియు వారి సమయం విలువైనది. అవును, మీరు Microsoft, Google లేదా JetBrains యొక్క ఉద్యోగి అయితే, అంతర్గత ఈవెంట్‌లో ప్రసిద్ధ స్పీకర్లలో ఒకరిని కలిసే అవకాశం బాగా పెరుగుతుంది, కానీ సాధారణంగా, లేదు, ఇది ప్రతిరోజూ జరగదు.
ఈ విధంగా, హైడ్రా కాన్ఫరెన్స్ మనలో చాలా మంది స్వంతంగా చేయలేని ఒక ముఖ్యమైన పనిని పూర్తి చేస్తుంది - ఒకే చోట మరియు ఒక సమయంలో, ఇది మీ జీవితాన్ని మార్చగల ఆలోచనలు లేదా పరస్పర చర్యలను కలిగి ఉన్న వ్యక్తులను ఒకచోట చేర్చుతుంది. అందరికీ పంపిణీ చేయబడిన వ్యవస్థలు లేదా కొన్ని సంక్లిష్టమైన ప్రాథమిక విషయాలు అవసరం లేదని నేను అంగీకరిస్తున్నాను. మీరు మీ జీవితాంతం PHPలో CRUDలను ప్రోగ్రామ్ చేయవచ్చు మరియు పూర్తిగా సంతోషంగా ఉండవచ్చు. కానీ ఎవరికి ఇది అవసరం, ఇది మీ అవకాశం.
హబ్రేపై హైడ్రా సమావేశం యొక్క మొదటి ప్రకటన నుండి చాలా కాలం గడిచింది. ఈ సమయంలో, చాలా పని జరిగింది - మరియు ఇప్పుడు మేము దాదాపు అన్ని నివేదికల జాబితాను కలిగి ఉన్నాము. నిదానమైన సింగిల్-థ్రెడ్ అల్గారిథమ్‌లు లేవు, కేవలం స్వచ్ఛమైన పంపిణీ హార్డ్‌కోర్! సాధారణ పదాలతో ముగించి, ఇప్పుడు మన చేతుల్లో ఏమి ఉందో చూద్దాం.
కీనోట్స్
ముఖ్య గమనికలు ప్రారంభమవుతాయి మరియు సమావేశ రోజులు ముగుస్తాయి. సాధారణంగా ప్రారంభ కీనోట్ యొక్క అంశం సమావేశం యొక్క సాధారణ స్ఫూర్తి మరియు దిశను సెట్ చేయడం. ముగింపు కీనోట్ ఒక గీతను గీస్తుంది మరియు కాన్ఫరెన్స్ సమయంలో పొందిన జ్ఞానం మరియు నైపుణ్యాలతో మనం ఎలా జీవించగలమో వివరిస్తుంది. ప్రారంభం మరియు ముగింపు: ఏది ఉత్తమంగా గుర్తుంచుకోబడుతుంది మరియు సాధారణంగా, ప్రాముఖ్యత పెరిగింది.
క్లిఫ్ క్లిక్
క్లిఫ్ జావా ప్రపంచంలో ఒక లెజెండ్. 90వ దశకం చివరిలో, తన PhD థీసిస్ కోసం, అతను అనే పేరుతో ఒక పేపర్ రాశాడు , ఇది కొంతకాలం తర్వాత హాట్‌స్పాట్ JVM సర్వర్ కంపైలర్‌కు ఆధారం అయింది. రెండు సంవత్సరాల తరువాత, అతను అప్పటికే JVMలో సన్ మైక్రోసిస్టమ్స్‌లో పని చేస్తున్నాడు మరియు JITకి ఉనికిలో ఉండే హక్కు ఉందని ప్రపంచం మొత్తానికి చూపించాడు. తెలివైన మరియు వేగవంతమైన ఆప్టిమైజేషన్‌లతో వేగవంతమైన ఆధునిక రన్‌టైమ్‌లలో జావా ఎలా ఒకటి అనే దాని గురించి ఈ మొత్తం కథనం క్లిఫ్ క్లిక్ నుండి వచ్చింది. చాలా ప్రారంభంలో, స్టాటిక్ కంపైలర్‌కు ఏదైనా యాక్సెస్ చేయగలిగితే, మీరు దాన్ని జిట్ చేయడానికి కూడా ప్రయత్నించాల్సిన అవసరం లేదని నమ్ముతారు. క్లిఫ్ మరియు బృందం యొక్క పనికి ధన్యవాదాలు, డిఫాల్ట్‌గా JIT సంకలనం ఆలోచనతో అన్ని కొత్త భాషలు సృష్టించడం ప్రారంభించాయి. వాస్తవానికి, ఇది ఒక వ్యక్తి ఉద్యోగం కాదు, కానీ క్లిఫ్ ఇందులో చాలా ముఖ్యమైన పాత్ర పోషించాడు.
ప్రారంభ కీనోట్‌లో, క్లిఫ్ తన ఇతర ప్రయత్నం గురించి మాట్లాడతాడు - , పారిశ్రామిక అనువర్తనాల కోసం పంపిణీ చేయబడిన మరియు స్కేలబుల్ మెషిన్ లెర్నింగ్ కోసం ఇన్-మెమరీ ప్లాట్‌ఫారమ్. లేదా మరింత ఖచ్చితంగా, దానిలోని కీ-విలువ జతల పంపిణీ చేయబడిన నిల్వ గురించి. ఇది చాలా ఆసక్తికరమైన లక్షణాలతో చాలా వేగవంతమైన నిల్వ (ఖచ్చితమైన జాబితా ఉంది ), ఇది పెద్ద డేటా స్ట్రీమింగ్ యొక్క గణితంలో సారూప్య పరిష్కారాలను ఉపయోగించడానికి అనుమతిస్తుంది.
క్లిఫ్ ఇవ్వబోయే మరో నివేదిక - . అతని జీవిత చరిత్రలో మరొక భాగం - పదేళ్లు , అతను అజుల్ హార్డ్‌వేర్ మరియు టెక్నాలజీ స్టాక్‌లో చాలా విషయాలను అప్‌డేట్ చేసాడు మరియు మెరుగుపరచాడు: JIT కంపైలర్‌లు, రన్‌టైమ్, థ్రెడ్ మోడల్, ఎర్రర్ హ్యాండ్లింగ్, స్టాక్ హ్యాండ్లింగ్, హార్డ్‌వేర్ అంతరాయాలు, క్లాస్ లోడింగ్ మరియు మొదలైనవి - అలాగే, మీరు పొందండి ఆలోచన.
వారు పెద్ద వ్యాపారం కోసం హార్డ్‌వేర్‌ను తయారు చేయడంతో అత్యంత ఆసక్తికరమైన భాగం ప్రారంభమైంది - జావాను అమలు చేయడానికి సూపర్ కంప్యూటర్. ఇది చాలా వినూత్నమైన విషయం, ప్రత్యేక అవసరాలు కలిగిన జావా కోసం ప్రత్యేకంగా రూపొందించబడింది - తక్కువ-పాజ్ చెత్త సేకరణ కోసం రీడ్ మెమరీ అడ్డంకులు, సరిహద్దులను తనిఖీ చేయడంతో కూడిన శ్రేణులు, వర్చువల్ కాల్‌లు... చక్కని సాంకేతికతలలో ఒకటి హార్డ్‌వేర్ లావాదేవీ మెమరీ. 1 కోర్లలో ఏదైనా మొత్తం L864 లావాదేవీల రచనలో పాల్గొనవచ్చు, ఇది జావాలో లాక్‌లతో పనిచేయడానికి చాలా ముఖ్యమైనది (నిజమైన మెమరీ సంఘర్షణ లేనంత వరకు సమకాలీకరించబడిన బ్లాక్‌లు సమాంతరంగా పని చేస్తాయి). కానీ అందమైన ఆలోచన కఠినమైన వాస్తవికతతో చూర్ణం చేయబడింది - మరియు ఈ చర్చలో క్లిఫ్ బహుళ-థ్రెడ్ కంప్యూటింగ్ యొక్క ఆచరణాత్మక అవసరాలకు HTM మరియు STM ఎందుకు సరిగ్గా సరిపోవు అని మీకు తెలియజేస్తుంది.
మైఖేల్ స్కాట్ -
- రోచెస్టర్ విశ్వవిద్యాలయంలో కంప్యూటర్ సైన్స్ ప్రొఫెసర్, విధి అతనితో కనెక్ట్ చేయబడింది , మరియు అతని ఇంటి యూనివర్సిటీ ఆఫ్ విస్కాన్సిన్-మాడిసన్‌లో, అతను ఐదు సంవత్సరాలు డీన్‌గా ఉన్నాడు. అతను విద్యార్థులకు సమాంతర మరియు పంపిణీ చేయబడిన ప్రోగ్రామింగ్ మరియు భాష రూపకల్పన గురించి పరిశోధిస్తాడు మరియు బోధిస్తాడు.
పాఠ్యపుస్తకం వల్ల మైఖేల్ గురించి ప్రపంచం మొత్తానికి తెలుసు , దీని యొక్క తాజా ఎడిషన్ సాపేక్షంగా ఇటీవల ప్రచురించబడింది - 2015లో. అతని ఉద్యోగం నేను అందుకున్న పంపిణీ చేయబడిన కంప్యూటింగ్ రంగంలో అత్యంత ప్రసిద్ధమైనదిగా మరియు యూనివర్శిటీ ఆఫ్ రోచెస్టర్ ఆన్‌లైన్ లైబ్రరీలో. మైఖేల్-స్కాట్ అల్గోరిథం యొక్క రచయితగా కూడా మీకు తెలిసి ఉండవచ్చు .
జావా ప్రపంచం విషయానికొస్తే, ఇది ఒక ప్రత్యేక సందర్భం: డౌగ్ లీతో కలిసి, అతను జావా లైబ్రరీలు పనిచేసే నాన్-బ్లాకింగ్ అల్గారిథమ్‌లు మరియు సింక్రోనస్ క్యూలను అభివృద్ధి చేశాడు. “ద్వంద్వ డేటా స్ట్రక్చర్స్” కీనోట్ దీని గురించి ఖచ్చితంగా చెప్పవచ్చు - జావా SE 6లో ఈ నిర్మాణాల పరిచయం 10 రెట్లు పనితీరును మెరుగుపరిచింది java.util.concurrent.ThreadPoolExecutor. ఈ “ద్వంద్వ డేటా నిర్మాణాలు” ఏమిటో మీరు ముందుగానే ఆలోచిస్తుంటే, దాని గురించి సమాచారం ఉంది .
మారిస్ హెర్లిహి -
- రెండు Dijkstra బహుమతులు విజేత. మొదటిది పని కోసం (బ్రౌన్ విశ్వవిద్యాలయం), మరియు రెండవది, ఇటీవలిది - (వర్జీనియా టెక్ యూనివర్సిటీ). Dijkstra ప్రైజ్ కనీసం పదేళ్లుగా ప్రాముఖ్యత మరియు ప్రభావం కనిపించే పనిని గుర్తిస్తుంది మరియు మారిస్ స్పష్టంగా ఈ రంగంలో అత్యంత ప్రసిద్ధ నిపుణులలో ఒకరు. అతను ప్రస్తుతం బ్రౌన్ యూనివర్శిటీలో ప్రొఫెసర్‌గా పనిచేస్తున్నాడు మరియు సాధించిన విజయాల యొక్క పేరా-పొడవైన జాబితాను కలిగి ఉన్నాడు.
ఈ ముగింపు కీనోట్‌లో, డిస్ట్రిబ్యూటెడ్ కంప్యూటింగ్ యొక్క క్లాసిక్‌ల దృక్కోణం నుండి బ్లాక్‌చెయిన్ డిస్ట్రిబ్యూటెడ్ సిస్టమ్‌ల సిద్ధాంతం మరియు అభ్యాసం గురించి మారిస్ మాట్లాడతారు మరియు ఇది అనేక సంబంధిత సమస్యలను ఎలా సులభతరం చేస్తుంది. ఇది కాన్ఫరెన్స్ అంశంపై ప్రత్యేకంగా ఒక నివేదిక - మైనింగ్ హైప్ గురించి కాదు, వివిధ రకాల పనులకు సంబంధించి మన జ్ఞానాన్ని అద్భుతంగా సమర్థవంతంగా మరియు సముచితంగా ఎలా ఉపయోగించవచ్చనే దాని గురించి.
జూలై 2017లో, మారిస్ ఇప్పటికే SPTDC పాఠశాలకు హాజరు కావడానికి రష్యాకు వచ్చారు, JUG.ru మీట్‌అప్‌లో పాల్గొన్నారు మరియు రికార్డింగ్‌ను YouTubeలో వీక్షించవచ్చు:
ప్రధాన కార్యక్రమం
తదుపరి ప్రోగ్రామ్‌లో చేర్చబడిన నివేదికల యొక్క చిన్న అవలోకనం ఉంటుంది. కొన్ని నివేదికలు ఇక్కడ వివరంగా, మరికొన్ని క్లుప్తంగా వివరించబడ్డాయి. శాస్త్రీయ పత్రాలు, వికీపీడియాలోని నిబంధనలు మొదలైన వాటికి లింక్‌లు అవసరమయ్యే ఆంగ్ల భాషా నివేదికలకు సుదీర్ఘ వివరణలు వెళ్లాయి. పూర్తి జాబితా అందుబాటులో ఉంది . వెబ్‌సైట్‌లోని జాబితా నవీకరించబడుతుంది మరియు అనుబంధంగా ఉంటుంది.
లెస్లీ లాంపోర్ట్ -
లెస్లీ లాంపోర్ట్ డిస్ట్రిబ్యూట్ కంప్యూటింగ్‌లో సెమినల్ వర్క్స్ రచయిత. "Lamport TeX"ని సూచిస్తుంది. అతను మొదట, 1979 లో, ఈ భావనను ప్రవేశపెట్టాడు , మరియు అతని వ్యాసం Dijkstra ప్రైజ్ అందుకున్నారు.
ఫార్మాట్ పరంగా ప్రోగ్రామ్‌లో ఇది చాలా అసాధారణమైన భాగం, ఎందుకంటే ఇది నివేదిక కూడా కాదు, ప్రశ్న మరియు సమాధానాల సెషన్. "లాంపోర్ట్ సిద్ధాంతం", అతని స్వంత కథనాలు మరియు నివేదికల ఆధారంగా అన్ని రకాల రచనలతో ప్రేక్షకులలో గణనీయమైన భాగం ఇప్పటికే సుపరిచితం (లేదా సుపరిచితులు) అయినప్పుడు, ప్రత్యక్ష సంభాషణ కోసం అందుబాటులో ఉన్న సమయాన్ని వెచ్చించడం చాలా ముఖ్యం.
ఆలోచన చాలా సులభం - మీరు YouTubeలో రెండు నివేదికలను చూస్తారు: и మరియు కనీసం ఒక ప్రశ్న, మరియు లెస్లీ సమాధానాలు సిద్ధం చేయండి.
ఈ రెండు వీడియోలలో మొదటిది ఇప్పటికే మా వద్ద ఉంది . వీడియోను చూడటానికి మీకు గంట సమయం లేకపోతే, మీరు అన్నింటినీ టెక్స్ట్ రూపంలో త్వరగా చదవవచ్చు.
గమనిక: YouTubeలో ఇంకా చాలా లెస్లీ లాంపోర్ట్ వీడియోలు ఉన్నాయి. ఉదాహరణకు, ఒక గొప్ప ఉంది . ఈ మొత్తం కోర్సు యొక్క ఆఫ్‌లైన్ వెర్షన్ ఇక్కడ అందుబాటులో ఉంది , మరియు మొబైల్ పరికరాలలో సులభంగా వీక్షించడానికి అతను దానిని YouTubeకు అప్‌లోడ్ చేశాడు.
మార్టిన్ క్లెప్మాన్ -
మార్టిన్ క్లెప్మాన్ CRDT మరియు అల్గారిథమ్‌ల అధికారిక ధృవీకరణపై పనిచేస్తున్న కేంబ్రిడ్జ్ విశ్వవిద్యాలయంలో పరిశోధకుడు. మార్టిన్ పుస్తకం , 2017లో ప్రచురించబడింది, ఇది చాలా విజయవంతమైందని నిరూపించబడింది మరియు డేటా నిల్వ మరియు ప్రాసెసింగ్ రంగంలో బెస్ట్ సెల్లర్ జాబితాలోకి వచ్చింది. కెవిన్ స్కాట్, మైక్రోసాఫ్ట్‌లో CTO, : “ఈ పుస్తకం సాఫ్ట్‌వేర్ ఇంజనీర్లకు తప్పనిసరిగా ఉండాలి. మౌలిక సదుపాయాలు మరియు డేటా సిస్టమ్‌లను రూపొందించడంలో మరియు అమలు చేయడంలో డెవలపర్‌లకు సహాయం చేయడానికి ఇది సిద్ధాంతం మరియు అభ్యాసాన్ని మిళితం చేసే అరుదైన వనరు. కాఫ్కా సృష్టికర్త మరియు కాన్‌ఫ్లూయెంట్ యొక్క CTO, జే క్రెప్స్ ఇలాంటిదే చెప్పారు.
అకడమిక్ రీసెర్చ్‌లోకి వెళ్లడానికి ముందు, మార్టిన్ పరిశ్రమలో పనిచేశాడు మరియు రెండు విజయవంతమైన స్టార్టప్‌లను సహ-స్థాపించాడు:
- రిపోర్టివ్, లింక్డ్ఇన్ 2012లో కొనుగోలు చేసిన మీ ఇమెయిల్ నుండి పరిచయాల సామాజిక ప్రొఫైల్‌ను ప్రదర్శించడానికి అంకితం చేయబడింది;
- 2009లో రెడ్‌గేట్ కొనుగోలు చేసిన వివిధ బ్రౌజర్‌లలో వెబ్‌సైట్‌లను స్వయంచాలకంగా పరీక్షించే సేవ, గో టెస్ట్ ఇట్.
సాధారణంగా, మార్టిన్, మా కీనోట్‌ల కంటే తక్కువ ప్రసిద్ధి చెందినప్పటికీ, పంపిణీ చేయబడిన కంప్యూటింగ్ అభివృద్ధికి మరియు పరిశ్రమకు ఇప్పటికే కొంత సహకారం అందించగలిగారు.
ఈ చర్చలో, మార్టిన్ తన అకడమిక్ రీసెర్చ్‌కు దగ్గరగా ఉన్న అంశం గురించి మాట్లాడతారు. Google డాక్స్ మరియు సారూప్య డాక్యుమెంట్ కో-ఎడిటింగ్ సోఫాలలో, "సహకార సవరణ" అనేది ప్రతిరూపణ పనిని సూచిస్తుంది: ప్రతి వినియోగదారు వారి స్వంత భాగస్వామ్య పత్రం యొక్క ప్రతిరూపాన్ని కలిగి ఉంటారు, వారు దానిని సవరించారు మరియు అన్ని మార్పులు నెట్‌వర్క్‌లో మిగిలిన వాటికి పంపబడతాయి. పాల్గొనేవారు. ఆఫ్‌లైన్‌లో డాక్యుమెంట్‌లకు చేసిన మార్పులు ఇతర పార్టిసిపెంట్‌లకు సంబంధించి పత్రం యొక్క తాత్కాలిక అస్థిరతకు దారితీస్తాయి మరియు పునః-సమకాలీకరణకు వైరుధ్య నిర్వహణ అవసరం. దాని కోసమే అవి ఉనికిలో ఉన్నాయి (CRDT), నిజానికి, చాలా కొత్త విషయం, దీని సారాంశం 2011లో మాత్రమే రూపొందించబడింది. ఈ చర్చ CRDT ప్రపంచంలో అప్పటి నుండి ఏమి జరిగింది, ఇటీవలి పురోగతి ఏమిటి, సాధారణంగా స్థానిక-మొదటి అప్లికేషన్‌లను రూపొందించే విధానం మరియు ఓపెన్ సోర్స్ లైబ్రరీని ఉపయోగించడం గురించి చర్చిస్తుంది. ముఖ్యంగా.
వచ్చే వారం మేము హబ్రేలో మార్టిన్‌తో సుదీర్ఘ ఇంటర్వ్యూను ప్రచురిస్తాము, ఇది ఆసక్తికరంగా ఉంటుంది.
పెడ్రో రామల్‌హెట్ -
పెడ్రో సిస్కోలో పని చేస్తున్నారు మరియు సింక్రొనైజేషన్ మెకానిజమ్స్, లాక్-ఫ్రీ మరియు వెయిట్-ఫ్రీ డేటా స్ట్రక్చర్‌లు మరియు ఈ అంశంపై మీరు ఊహించగలిగే ప్రతిదానితో సహా గత పది సంవత్సరాలుగా సమాంతర అల్గారిథమ్‌లను అభివృద్ధి చేస్తున్నారు. అతని ప్రస్తుత పరిశోధన మరియు ఇంజినీరింగ్ ఆసక్తులు యూనివర్సల్ కన్‌స్ట్రక్షన్స్, సాఫ్ట్‌వేర్ ట్రాన్సాక్షనల్ మెమరీ, పెర్సిస్టెంట్ మెమరీ మరియు సరైన, స్కేలబుల్ మరియు ఫాల్ట్-టాలరెంట్ అప్లికేషన్‌లను ఎనేబుల్ చేసే సారూప్య సాంకేతికతలపై దృష్టి సారించాయి. అతను ఇరుకైన సర్కిల్‌లలో విస్తృతంగా తెలిసిన బ్లాగ్ రచయిత కూడా .
చాలా మల్టీథ్రెడ్ అప్లికేషన్‌లు ఇప్పుడు నటీనటుల మధ్య మెసేజ్ క్యూల వాడకం నుండి కీ-వాల్యూ స్టోర్‌లలోని ఇండెక్స్డ్ డేటా స్ట్రక్చర్‌ల వరకు సమాంతర డేటా స్ట్రక్చర్‌లపై రన్ అవుతాయి. వారు చాలా సంవత్సరాలుగా Java JDKలో విజయవంతంగా పని చేస్తున్నారు మరియు వారు నెమ్మదిగా C++కి జోడించబడ్డారు.
సమాంతర డేటా నిర్మాణాన్ని అమలు చేయడానికి సులభమైన మార్గం సీక్వెన్షియల్ (సింగిల్-థ్రెడ్) అమలు, దీనిలో పద్ధతులు మ్యూటెక్స్‌ల ద్వారా రక్షించబడతాయి. ఇది ఏ జూన్‌లోనైనా అందుబాటులో ఉంటుంది, కానీ స్కేలింగ్ మరియు పనితీరుతో స్పష్టమైన సమస్యలు ఉన్నాయి. అదే సమయంలో, లాక్-ఫ్రీ మరియు వెయిట్-ఫ్రీ డేటా స్ట్రక్చర్‌లు లోపాలను మెరుగ్గా ఎదుర్కోవడమే కాకుండా, మెరుగైన పనితీరు ప్రొఫైల్‌ను కలిగి ఉంటాయి - అయినప్పటికీ, వాటి అభివృద్ధికి లోతైన నైపుణ్యం మరియు నిర్దిష్ట అనువర్తనానికి అనుసరణ అవసరం. ప్రతిదీ విచ్ఛిన్నం చేయడానికి ఒక తప్పు లైన్ కోడ్ సరిపోతుంది.
నిపుణుడు కాని వ్యక్తి కూడా అటువంటి డేటా స్ట్రక్చర్‌లను రూపొందించి, అమలు చేసేలా మనం దీన్ని ఎలా తయారు చేయవచ్చు? ఏదైనా సీక్వెన్షియల్ అల్గారిథమ్‌ని ఉపయోగించి థ్రెడ్‌ను సురక్షితంగా చేయవచ్చని తెలిసింది , లేదా లావాదేవీ మెమరీ. ఒక విషయం ఏమిటంటే, వారు ఈ సమస్యను పరిష్కరించడంలో ప్రవేశానికి అడ్డంకిని తగ్గించవచ్చు. అయినప్పటికీ, రెండు పరిష్కారాలు సాధారణంగా అసమర్థమైన అమలుకు దారితీస్తాయి. పెడ్రో వారు ఈ డిజైన్‌లను మరింత సమర్థవంతంగా ఎలా నిర్వహించగలిగారు మరియు మీ అల్గారిథమ్‌ల కోసం వాటిని ఎలా ఉపయోగించవచ్చనే దాని గురించి మాట్లాడతారు.
హెడీ హోవార్డ్ -
హెడీ హోవార్డ్, మార్టిన్ లాగా, కేంబ్రిడ్జ్ విశ్వవిద్యాలయంలో పంపిణీ చేయబడిన సిస్టమ్స్ పరిశోధకురాలు. ఆమె ప్రత్యేకతలు స్థిరత్వం, తప్పు సహనం, పనితీరు మరియు పంపిణీ ఏకాభిప్రాయం. ఆమె పాక్సోస్ అల్గోరిథం యొక్క సాధారణీకరణకు ప్రసిద్ధి చెందింది .
గుర్తుచేసుకున్నారు లెస్లీ లాంపోర్ట్ యొక్క పని ఆధారంగా నమ్మదగని కంప్యూటర్ల నెట్‌వర్క్‌లో ఏకాభిప్రాయ సమస్యను పరిష్కరించడానికి ప్రోటోకాల్‌ల కుటుంబం. అందువల్ల, మా స్పీకర్లలో కొందరు మా ఇతర స్పీకర్లు మొదట ప్రతిపాదించిన సమస్యలపై పని చేస్తున్నారు - మరియు ఇది అద్భుతమైనది.
బహుళ హోస్ట్‌ల మధ్య ఏకాభిప్రాయాన్ని కనుగొనగల సామర్థ్యం-అడ్రసింగ్, లీడర్‌ల ఎన్నిక, నిరోధించడం లేదా సమన్వయం-ఆధునిక పంపిణీ వ్యవస్థలలో ప్రాథమిక సమస్య. పాక్సోస్ ఇప్పుడు ఏకాభిప్రాయ సమస్యలను పరిష్కరించడానికి ప్రధాన మార్గం, మరియు వివిధ ఆచరణాత్మక అవసరాల కోసం అల్గారిథమ్‌ను విస్తరించడానికి మరియు ఆప్టిమైజ్ చేయడానికి దాని చుట్టూ చాలా పరిశోధనలు జరుగుతున్నాయి.
ఈ చర్చలో, మేము పాక్సోస్ యొక్క సైద్ధాంతిక ప్రాతిపదికను తిరిగి సందర్శిస్తాము, అసలు అవసరాలను సడలించడం మరియు అల్గోరిథం సాధారణీకరించడం. భారీ శ్రేణి ఏకాభిప్రాయ విధానాలలో పాక్సోస్ తప్పనిసరిగా ఒక ఎంపిక మాత్రమే అని మరియు స్పెక్ట్రమ్‌లోని ఇతర పాయింట్లు మంచి పంపిణీ వ్యవస్థలను రూపొందించడానికి చాలా ఉపయోగకరంగా ఉన్నాయని మేము చూస్తాము.
అలెక్స్ పెట్రోవ్ -
అలెక్స్ ఒక డేటాబేస్ మరియు స్టోరేజ్ సిస్టమ్స్ స్పెషలిస్ట్, మరియు మరింత ముఖ్యంగా మాకు, కమిటర్ . అతను ప్రస్తుతం ఓ'రైల్లీతో కలిసి డేటాబేస్ ఇంటర్నల్స్ అనే పుస్తకంపై పని చేస్తున్నాడు.
తో సిస్టమ్స్ కోసం (రష్యన్ పరిభాషలో - “అంతిమ అనుగుణ్యత”), నోడ్ క్రాష్ లేదా నెట్‌వర్క్ విభజన తర్వాత, మీరు ఈ క్రింది గందరగోళాన్ని పరిష్కరించాలి: అభ్యర్థనలను అమలు చేయడం, స్థిరత్వాన్ని త్యాగం చేయడం లేదా వాటిని అమలు చేయడానికి నిరాకరించడం మరియు లభ్యతను త్యాగం చేయడం. అటువంటి వ్యవస్థలో, కోరమ్‌లు, నోడ్‌ల ఉపసమితులను అతివ్యాప్తి చేయడం మరియు కనీసం ఒక నోడ్‌లో అత్యంత ఇటీవలి విలువ ఉండేలా చూసుకోవడం మంచి అంచు పరిష్కారం కావచ్చు. తాజా విలువలతో ప్రతిస్పందిస్తూనే మీరు వైఫల్యాలను మరియు కొన్ని నోడ్‌లకు కనెక్టివిటీని కోల్పోవడం నుండి బయటపడవచ్చు.
అయితే, ప్రతిదానికీ దాని ధర ఉంది. కోరమ్ రెప్లికేషన్ స్కీమ్ అంటే పెరిగిన నిల్వ ఖర్చులు: సమస్య సంభవించినప్పుడు తగినంత కాపీలు అందుబాటులో ఉన్నాయని నిర్ధారించుకోవడానికి అనవసరమైన డేటాను ఒకేసారి బహుళ నోడ్‌లలో నిల్వ చేయాలి. మీరు అన్ని ప్రతిరూపాలలో మొత్తం డేటాను నిల్వ చేయవలసిన అవసరం లేదని ఇది మారుతుంది. మీరు నోడ్‌లలో కొంతభాగంలో మాత్రమే డేటాను నిల్వ చేస్తే నిల్వపై లోడ్‌ను తగ్గించవచ్చు మరియు వైఫల్యం నిర్వహణ దృశ్యాల కోసం ప్రత్యేక నోడ్‌లను (ట్రాన్సియెంట్ రెప్లికా) ఉపయోగించండి.
నివేదిక సమయంలో మేము పరిశీలిస్తాము , ఉపయోగించిన ప్రతిరూపణ పథకం и , మరియు Apache Cassandra లో ఈ భావన అమలు అని పిలుస్తారు .
డిమిత్రి వ్యుకోవ్ -
డిమిత్రి అనేది C/C++ మరియు Go - Address/Memory/ThreadSanitizer మరియు Linux కెర్నల్ కోసం సారూప్య సాధనాల కోసం డైనమిక్ టెస్టింగ్‌పై పనిచేస్తున్న Googleలో డెవలపర్. గో స్కేలబుల్ గోరూటిన్ షెడ్యూలర్, నెట్‌వర్క్ పోలర్ మరియు సమాంతర చెత్త సేకరణకు సహకరించారు. అతను మల్టీథ్రెడింగ్‌లో నిపుణుడు, డజను కొత్త నాన్-బ్లాకింగ్ అల్గారిథమ్‌ల రచయిత మరియు యజమాని ఇంటెల్.
ఇప్పుడు నివేదిక గురించి కొంచెం. గో భాషకు గోరౌటిన్‌లు (లైట్ థ్రెడ్‌లు) మరియు ఛానెల్‌లు (FIFO క్యూలు) రూపంలో మల్టీథ్రెడింగ్‌కు స్థానిక మద్దతు ఉంది. ఈ మెకానిజమ్‌లు వినియోగదారులు ఆధునిక బహుళ-థ్రెడ్ అప్లికేషన్‌లను వ్రాయడం చాలా సులభం మరియు ఆనందించేలా చేస్తాయి మరియు ఇది మాయాజాలం వలె కనిపిస్తుంది. మేము అర్థం చేసుకున్నట్లుగా, ఇక్కడ మాయాజాలం లేదు. ఈ చర్చలో, డిమిత్రి గో షెడ్యూలర్ యొక్క చిక్కులను పరిశీలిస్తాడు మరియు ఈ “మేజిక్” అమలు యొక్క రహస్యాలను చూపుతుంది. మొదట, అతను షెడ్యూలర్ యొక్క ప్రధాన భాగాల యొక్క అవలోకనాన్ని ఇస్తాడు మరియు అది ఎలా పని చేస్తుందో మీకు తెలియజేస్తుంది. తర్వాత, మేము పార్కింగ్/అన్‌పార్కింగ్ వ్యూహం మరియు నిరోధించే సిస్టమ్ కాల్‌లను నిర్వహించడం వంటి వ్యక్తిగత అంశాలను నిశితంగా పరిశీలిస్తాము. చివరగా, షెడ్యూలర్‌కు సాధ్యమయ్యే మెరుగుదలల గురించి డిమిత్రి కొంచెం మాట్లాడతారు.
డిమిత్రి బుగైచెంకో -
డిమిత్రి విశ్వవిద్యాలయం మరియు శాస్త్రీయ సంఘంతో సంబంధాన్ని కోల్పోకుండా దాదాపు 9 సంవత్సరాలు అవుట్‌సోర్సింగ్‌లో పనిచేశాడు. Odnoklassnikiలో పెద్ద డేటా విశ్లేషణ అతనికి నిజమైన, డిమాండ్ ఉత్పత్తుల అభివృద్ధితో సైద్ధాంతిక శిక్షణ మరియు శాస్త్రీయ పునాదిని కలపడానికి ఒక ఏకైక అవకాశంగా మారింది.
పంపిణీ చేయబడిన గ్రాఫ్ విశ్లేషణ చాలా కష్టమైన పనిగా ఉంది: పొరుగున ఉన్న శీర్షం యొక్క కనెక్షన్‌ల గురించి సమాచారాన్ని పొందడం అవసరం అయినప్పుడు, డేటా తరచుగా యంత్రాల మధ్య బదిలీ చేయబడాలి, ఇది అమలు సమయం మరియు నెట్‌వర్క్ అవస్థాపనపై లోడ్ పెరుగుతుంది. ఈ చర్చలో, మీరు సంభావ్య డేటా నిర్మాణాలు లేదా సోషల్ నెట్‌వర్క్‌లోని స్నేహ గ్రాఫ్ యొక్క సమరూపత వంటి వాస్తవాలను ఉపయోగించడం ద్వారా గణనీయమైన ప్రాసెసింగ్ వేగాన్ని ఎలా పొందవచ్చో మేము చూస్తాము. అపాచీ స్పార్క్‌లోని కోడ్ ఉదాహరణలతో ఇవన్నీ వివరించబడ్డాయి.
డెనిస్ రిస్ట్సోవ్ -
డెనిస్ - డెవలపర్ , స్థిరత్వ నమూనాలు, ఏకాభిప్రాయ అల్గారిథమ్‌లు మరియు పంపిణీ చేయబడిన లావాదేవీలను తనిఖీ చేయడంలో నిపుణుడు. అతను ప్రస్తుతం మైక్రోసాఫ్ట్‌లో పనిచేస్తున్నాడు మరియు అంతకు ముందు అతను అమెజాన్ మరియు యాండెక్స్‌లో పంపిణీ వ్యవస్థలపై పనిచేశాడు.
ఈ చర్చలో, గత కొన్ని సంవత్సరాలుగా కనుగొనబడిన పంపిణీ చేయబడిన లావాదేవీ ప్రోటోకాల్‌లను మేము పరిశీలిస్తాము, ఇది షరతులతో కూడిన నవీకరణకు (పోల్చండి మరియు సెట్ చేయండి) మద్దతు ఇచ్చే ఏదైనా డేటా స్టోర్ పైన క్లయింట్ వైపు అమలు చేయవచ్చు. బాటమ్ లైన్ ఏమిటంటే, జీవితం రెండు-దశల కమిట్‌తో ముగియదు, ఏదైనా డేటాబేస్‌ల పైన లావాదేవీలను జోడించవచ్చు - అప్లికేషన్ స్థాయిలో, కానీ వేర్వేరు ప్రోటోకాల్‌లు (2PC, పెర్కోలేటర్, RAMP) వేర్వేరు ట్రేడ్‌ఆఫ్‌లను కలిగి ఉంటాయి మరియు అవి మాకు అందించబడవు. ఉచితంగా.
అలెక్సీ జినోవివ్ -
అలెక్సీ () దీర్ఘకాల వక్త మరియు ఇతర సమావేశాలలో ప్రోగ్రామ్ కమిటీల సభ్యుడు. EPAM సిస్టమ్స్‌లో ట్రైనర్‌ను ప్రాక్టీస్ చేస్తున్నారు మరియు 2012 నుండి హడూప్/స్పార్క్ మరియు ఇతర పెద్ద డేటాతో స్నేహితులుగా ఉన్నారు.
ఈ చర్చలో, Apache Spark ML, Apache Mahout, Apache Flink ML మరియు Apache Ignite MLని సృష్టించిన అనుభవం ఆధారంగా డిస్ట్రిబ్యూట్ మోడ్‌లో అమలు చేయడానికి క్లాసికల్ మెషిన్ లెర్నింగ్ అల్గారిథమ్‌లను స్వీకరించడంలో సమస్యల గురించి అలెక్సీ మాట్లాడతారు. అలెక్సీ ఈ ఫ్రేమ్‌వర్క్‌లలో పంపిణీ చేయబడిన ML అల్గారిథమ్‌ల అమలు గురించి కూడా మాట్లాడతారు.
చివరకు, Yandex డేటాబేస్ గురించి Yandex నుండి రెండు నివేదికలు.
వ్లాడిస్లావ్ కుజ్నెత్సోవ్ -
పంపిణీ చేయబడిన ప్లాట్‌ఫారమ్ సమూహంలో Yandexలో వ్లాడిస్లావ్ డెవలపర్. Yandex డేటాబేస్ అనేది డిస్క్‌లు, సర్వర్లు, రాక్‌లు మరియు డేటా సెంటర్‌ల వైఫల్యాన్ని నిలకడగా కోల్పోకుండా తట్టుకోగల క్షితిజ సమాంతరంగా స్కేలబుల్, జియో-డిస్ట్రిబ్యూటెడ్, ఫాల్ట్-టాలరెంట్ DBMS. తప్పు సహనాన్ని నిర్ధారించడానికి, పంపిణీ చేయబడిన ఏకాభిప్రాయాన్ని సాధించడానికి యాజమాన్య అల్గోరిథం ఉపయోగించబడుతుంది, అలాగే అనేక సాంకేతిక పరిష్కారాలు, నివేదికలో వివరంగా చర్చించబడ్డాయి. నివేదిక DBMS డెవలపర్‌లు మరియు DBMS ఆధారంగా అప్లికేషన్ సొల్యూషన్‌ల డెవలపర్‌లు ఇద్దరికీ ఆసక్తిని కలిగిస్తుంది.
సెమియోన్ చెచెరిండా -
సెమియోన్ YDB ఇన్‌స్టాలేషన్ యొక్క బహుళ-అద్దెదారుల ఉపయోగం యొక్క అవకాశంపై పని చేస్తూ, Yandex వద్ద పంపిణీ చేయబడిన ప్లాట్‌ఫారమ్ సమూహంలో డెవలపర్.
Yandex డేటాబేస్ OLTP ప్రశ్నల కోసం రూపొందించబడింది మరియు లావాదేవీ వ్యవస్థ కోసం ACID అవసరాలకు అనుగుణంగా ఉంటుంది. ఈ నివేదికలో, మేము YDB లావాదేవీ వ్యవస్థకు సంబంధించిన లావాదేవీల షెడ్యూల్ అల్గారిథమ్‌ను పరిశీలిస్తాము. లావాదేవీలలో ఏ ఎంటిటీలు పాల్గొంటాయి, లావాదేవీలకు గ్లోబల్ ఆర్డర్‌ను ఎవరు కేటాయిస్తారు, లావాదేవీల పరమాణుత్వం, విశ్వసనీయత మరియు ఖచ్చితమైన స్థాయి ఐసోలేషన్ ఎలా సాధించబడతాయో చూద్దాం. ఒక సాధారణ సమస్యను ఉదాహరణగా ఉపయోగించి, రెండు-దశల కమిట్‌లు మరియు నిర్ణయాత్మక లావాదేవీలను ఉపయోగించి లావాదేవీ అమలులను చూద్దాం. వారి విభేదాలను చర్చిద్దాం.
తరువాత ఏమిటి?
కాన్ఫరెన్స్ ప్రోగ్రామ్ కొత్త రిపోర్టులతో కొనసాగుతోంది. ముఖ్యంగా, మేము నుండి నివేదికను ఆశిస్తున్నాము నికితా కోవల్ () JetBrains నుండి మరియు ఒలేగ్ అనస్తాస్యేవ్ () ఓడ్నోక్లాస్నికి కంపెనీ నుండి. నికితా కోట్లిన్ బృందంలోని కొరోటీన్‌ల కోసం అల్గారిథమ్‌లపై పని చేస్తుంది మరియు ఒలెగ్ ఓడ్నోక్లాస్నికి ప్లాట్‌ఫారమ్‌లో అధిక-లోడ్ సిస్టమ్‌ల కోసం ఆర్కిటెక్చర్ మరియు పరిష్కారాలను అభివృద్ధి చేస్తుంది. అదనంగా, షరతులతో కూడిన మరో ఖాళీ స్లాట్ ఉంది, ప్రోగ్రామ్ కమిటీ ప్రస్తుతం అభ్యర్థులతో పని చేస్తోంది.
హైడ్రా సమావేశం జూలై 11-12 తేదీలలో సెయింట్ పీటర్స్బర్గ్లో జరుగుతుంది. టిక్కెట్లు అందుబాటులో ఉన్నాయి . దయచేసి ఆన్‌లైన్ టిక్కెట్‌ల లభ్యతపై శ్రద్ధ వహించండి - కొన్ని కారణాల వల్ల మీరు ఈ రోజుల్లో సెయింట్ పీటర్స్‌బర్గ్‌కు చేరుకోలేకపోతే.
హైడ్రాలో కలుద్దాం!
మూలం: www.habr.com