5.8 ሚሊዮን አይኦፒኤስ፡ ለምን ብዙ?

ሰላም ሀብር! የBig Data እና የማሽን መማሪያ የመረጃ ስብስቦች በከፍተኛ ደረጃ እያደጉ ናቸው እና ከእነሱ ጋር መቀጠል አለብን። በከፍተኛ አፈጻጸም ማስላት መስክ (HPC, High Performance Computing) ስለ ሌላ ፈጠራ ቴክኖሎጂ የኛ ልጥፍ በኪንግስተን ቡዝ በ ሱፐርኮምፒውተር-2019. ይህ የ Hi-End የውሂብ ማከማቻ ስርዓቶች (ኤስዲኤስ) በግራፊክ ማቀነባበሪያ ክፍሎች (ጂፒዩ) እና በጂፒዩዳይሬክት ማከማቻ አውቶቡስ ቴክኖሎጂ ውስጥ ባሉ አገልጋዮች ውስጥ መጠቀም ነው። በማከማቻ ስርዓቱ እና በጂፒዩ መካከል ቀጥተኛ የመረጃ ልውውጥ በመኖሩ ሲፒዩን በማለፍ መረጃን ወደ ጂፒዩ አፋጣኝ መጫን በትልልቅ ቅደም ተከተል ስለሚጣደፍ Big Data አፕሊኬሽኖች ጂፒዩዎች በሚያቀርቡት ከፍተኛ አፈጻጸም ይሰራሉ። በተራው፣ የHPC ስርዓት ገንቢዎች እንደ ኪንግስተን በተመረቱት ከፍተኛ የI/O ፍጥነት ባላቸው የማከማቻ ስርዓቶች ውስጥ እድገቶችን ይፈልጋሉ።

የጂፒዩ አፈጻጸም የውሂብ ጭነት ይበልጣል

CUDA በጂፒዩ ላይ የተመሰረተ ሃርድዌር እና ሶፍትዌር ትይዩ ኮምፒውቲንግ አርክቴክቸር ለአጠቃላይ አላማ አፕሊኬሽኖች ልማት በ2007 ከተፈጠረ ጀምሮ የጂፒዩዎች ሃርድዌር አቅም በሚገርም ሁኔታ አድጓል። ዛሬ፣ ጂፒዩዎች እንደ ቢግ ዳታ፣ የማሽን መማር (ML) እና ጥልቅ ትምህርት (ዲኤል) ባሉ የHPC መተግበሪያዎች ውስጥ በብዛት ጥቅም ላይ ይውላሉ።

የቃላቶቹ ተመሳሳይነት ቢኖርም የመጨረሻዎቹ ሁለቱ በአልጎሪዝም የተለያዩ ተግባራት መሆናቸውን ልብ ይበሉ። ኤም ኤል ኮምፒዩተሩን በተዋቀረ መረጃ ያሠለጥናል፣ ዲኤል ደግሞ ከነርቭ ኔትወርክ በሚሰጠው አስተያየት ኮምፒዩተሩን ያሰለጥናል። ልዩነቶቹን ለመረዳት የሚረዳ ምሳሌ በጣም ቀላል ነው. ኮምፒዩተሩ ከማከማቻ ስርዓቱ የተጫኑትን የድመት እና የውሻ ፎቶዎች መለየት አለበት ብለን እናስብ። ለኤምኤል፣ ብዙ መለያ ያላቸው የምስሎች ስብስብ ማስገባት አለቦት፣ እያንዳንዱም የእንስሳውን አንድ ባህሪ ይገልጻል። ለዲኤል፣ በጣም ብዙ ቁጥር ያላቸውን ምስሎች መስቀል በቂ ነው፣ ግን በአንድ መለያ ብቻ “ይህ ድመት ነው” ወይም “ይህ ውሻ ነው”። ዲኤል ትንንሽ ልጆችን እንዴት እንደሚያስተምሩ በጣም ተመሳሳይ ነው - እነሱ በመፅሃፍ እና በህይወት ውስጥ የውሾች እና ድመቶች ምስሎች በቀላሉ ይታያሉ (በጣም ብዙ ጊዜ ፣ ​​ዝርዝር ልዩነቱን እንኳን ሳይገልጹ) እና የልጁ አንጎል ራሱ የእንስሳትን አይነት መወሰን ይጀምራል ። ለማነፃፀር የተወሰኑ ወሳኝ የስዕሎች ብዛት (እንደ ግምቶች ፣ እየተነጋገርን ያለነው ገና በልጅነት ጊዜ ስለ አንድ መቶ ወይም ሁለት ትርኢቶች ብቻ ነው)። የዲኤል ስልተ ቀመሮች እስካሁን ፍፁም አይደሉም፡ የነርቭ ኔትወርክ እንዲሁ ምስሎችን በመለየት ላይ በተሳካ ሁኔታ እንዲሰራ በሚሊዮን የሚቆጠሩ ምስሎችን ወደ ጂፒዩ ማስገባት እና ማስኬድ አስፈላጊ ነው።

የመግቢያው ማጠቃለያ፡- በጂፒዩዎች ላይ በመመስረት በትልቁ ዳታ፣ኤምኤል እና ዲኤል መስክ የኤችፒሲ አፕሊኬሽኖችን መገንባት ይችላሉ፣ነገር ግን ችግር አለ - የመረጃ ስብስቦች በጣም ትልቅ ከመሆናቸው የተነሳ ከማከማቻ ስርዓቱ ወደ ጂፒዩ መረጃን በመጫን ጊዜ ያሳለፈው ጊዜ ነው። የመተግበሪያውን አጠቃላይ አፈፃፀም መቀነስ ይጀምራል. በሌላ አነጋገር ፈጣን ጂፒዩዎች ከሌሎች ንኡስ ስርዓቶች በሚመጡ ቀርፋፋ የI/O ውሂብ ምክንያት ጥቅም ላይ አልዋሉም። የጂፒዩ የI/O ፍጥነት እና የአውቶብስ ወደ ሲፒዩ/ማከማቻ ስርዓት ያለው ልዩነት የመጠን ቅደም ተከተል ሊሆን ይችላል።

GPUDirect Storage ቴክኖሎጂ እንዴት ይሰራል?

የ I/O ሂደት በሲፒዩ ቁጥጥር ስር ነው፣ እንደዚሁ ለቀጣይ ሂደት መረጃን ከማከማቻ ወደ ጂፒዩዎች የመጫን ሂደት ነው። ይህ በጂፒዩዎች እና በNVMe ድራይቮች መካከል በፍጥነት እርስ በርስ ለመግባባት ቀጥተኛ መዳረሻን የሚሰጥ የቴክኖሎጂ ጥያቄ አቀረበ። ኤንቪዲ እንዲህ ዓይነት ቴክኖሎጂን ያቀረበው የመጀመሪያው ሲሆን ጂፒዩዳይሬክት ማከማቻ ብሎ ጠራው። በእርግጥ ይህ ቀደም ብለው የገነቡት የጂፒዩዳይክት RDMA (የርቀት ቀጥታ ማህደረ ትውስታ አድራሻ) ቴክኖሎጂ ልዩነት ነው።

የNVDIA ዋና ሥራ አስፈፃሚ ጄንሰን ሁዋንግ የጂፒዩዳይሬክት ማከማቻን በ SC-19 ላይ እንደ GPUDirect RDMA ተለዋጭ ያቀርባል። ምንጭ፡ NVIDIA

በ GPUDirect RDMA እና GPUDirect Storage መካከል ያለው ልዩነት አድራሻው በሚካሄድባቸው መሳሪያዎች ውስጥ ነው። የጂፒዩዳይክት አርዲኤምኤ ቴክኖሎጂ መረጃን በፊት-መጨረሻ የአውታረ መረብ በይነገጽ ካርድ (NIC) እና በጂፒዩ ማህደረ ትውስታ መካከል ለማንቀሳቀስ እንደገና ታቅዷል፣ እና GPUDirect Storage እንደ NVMe ወይም NVMe በጨርቃ ጨርቅ (NVMe-oF) እና በአካባቢያዊ ወይም በርቀት ማከማቻ መካከል ቀጥተኛ የውሂብ መንገድ ያቀርባል። የጂፒዩ ማህደረ ትውስታ.

ሁለቱም GPUDirect RDMA እና GPUDirect Storage በሲፒዩ ማህደረ ትውስታ ውስጥ ባለው ቋት በኩል አላስፈላጊ የመረጃ እንቅስቃሴዎችን ያስወግዳሉ እና የቀጥታ ማህደረ ትውስታ መዳረሻ (ዲኤምኤ) ዘዴ ከአውታረ መረብ ካርድ ወይም ማከማቻ በቀጥታ ወደ ጂፒዩ ማህደረ ትውስታ ወይም ከጂፒዩ ማህደረ ትውስታ ለማንቀሳቀስ ያስችላሉ - ሁሉም በማዕከላዊ ሲፒዩ ላይ ሳይጫኑ። ለጂፒዩ ዳይሬክት ማከማቻ፣ የማከማቻው ቦታ ምንም ለውጥ አያመጣም፡ NVME ዲስክ በጂፒዩ ክፍል ውስጥ፣ በመደርደሪያ ውስጥ ወይም በኔትወርኩ እንደ NVMe-oF የተገናኘ ሊሆን ይችላል።

የጂፒዩዳይሬክት ማከማቻ ሥራ ዕቅድ። ምንጭ፡ NVIDIA

በNVMe ላይ ያሉ የ Hi-End ማከማቻ ስርዓቶች በHPC መተግበሪያ ገበያ ውስጥ ተፈላጊ ናቸው።

የጂፒዩዳይክት ማከማቻ መምጣት የትላልቅ ደንበኞች ፍላጎት የማከማቻ ስርዓቶችን ከጂፒዩው ፍጥነት ጋር በሚዛመድ I/O ፍጥነት ለማቅረብ እንደሚሳበው በ SC-19 ኤግዚቢሽን ኪንግስተን የስርዓተ ክወና ማሳያ አሳይቷል በNVMe ዲስኮች ላይ የተመሰረተ የማከማቻ ስርዓት እና ጂፒዩ ያለው አሃድ፣ በሺዎች የሚቆጠሩ የሳተላይት ምስሎችን በሰከንድ ተንትኗል። በ 10 DC1000M U.2 NVMe ድራይቮች ላይ በመመስረት ስለ እንደዚህ ያለ የማከማቻ ስርዓት አስቀድመን ጽፈናል ከሱፐር ኮምፒዩተር ኤግዚቢሽን በቀረበ ሪፖርት.

በ10 DC1000M U.2 NVMe አሽከርካሪዎች ላይ የተመሰረተ የማከማቻ ስርዓት ከግራፊክስ አፋጣኝ ጋር አገልጋይን በበቂ ሁኔታ ያሟላል። ምንጭ፡ ኪንግስተን

ይህ የማከማቻ ስርዓት እንደ 1U ወይም ተለቅ ያለ የሬክ አሃድ ተደርጎ የተነደፈ ሲሆን እንደ DC1000M U.2 NVMe ድራይቮች ብዛት ሊመዘን ይችላል፣ እያንዳንዱም 3.84-7.68 ቴባ። DC1000M የመጀመሪያው NVMe SSD ሞዴል በኪንግስተን የውሂብ ማዕከል አንጻፊዎች ውስጥ በ U.2 ቅጽ ምክንያት ነው። የፅናት ደረጃ አለው (DWPD፣ Drive በየቀኑ ይጽፋል)፣ ይህም ለተረጋገጠው የአሽከርካሪው ህይወት መረጃን በቀን አንድ ጊዜ በሙሉ አቅሙ እንደገና እንዲጽፍ ያስችለዋል።

በ fio v3.13 ፈተና በኡቡንቱ 18.04.3 LTS ኦፕሬቲንግ ሲስተም፣ ሊኑክስ ከርነል 5.0.0-31-አጠቃላይ፣ የኤግዚቢሽኑ ማከማቻ ናሙና የንባብ ፍጥነት (ዘላቂ ንባብ) 5.8 ሚሊዮን IOPS በዘላቂ የመተላለፊያ ይዘት (የቀጠለ ባንድዊድዝ) አሳይቷል። ) ከ 23.8 ጂቢቲ / ሰ

በኪንግስተን የኤስኤስዲ ስራ አስኪያጅ የሆኑት አሪኤል ፔሬዝ ስለ አዲሱ የማከማቻ ስርዓቶች እንዲህ ብለዋል፡- "በተለመደው ከማከማቻ ጋር የተያያዙ ብዙ የመረጃ ማስተላለፍ ማነቆዎችን ለማስወገድ ቀጣዩን ትውልድ አገልጋዮችን በ U.2 NVMe SSD መፍትሄዎች ለማስታጠቅ ተዘጋጅተናል። የNVMe SSD ድራይቮች እና የእኛ ፕሪሚየም የአገልጋይ ፕሪሚየር ድራም ጥምረት ኪንግስተንን ከኢንዱስትሪው በጣም አጠቃላይ ከጫፍ እስከ ጫፍ የውሂብ መፍትሄ አቅራቢዎች ያደርገዋል።

የ gfio v3.13 ሙከራ በDC23.8M U.1000 NVMe ድራይቮች ላይ ላለው የማሳያ ማከማቻ ስርዓት የ2 Gbps ፍሰት አሳይቷል። ምንጭ፡ ኪንግስተን

የጂፒዩዳይሬክት ማከማቻ ወይም ተመሳሳይ ቴክኖሎጂን በመጠቀም ለHPC መተግበሪያዎች የተለመደው ስርዓት ምን ይመስላል? ይህ በመደርደሪያ ውስጥ የተግባር አሃዶች አካላዊ መለያየት ያለው አርክቴክቸር ነው፡ አንድ ወይም ሁለት አሃዶች ለ RAM፣ ብዙ ተጨማሪ ለጂፒዩ እና ሲፒዩ ማስላት ኖዶች እና አንድ ወይም ከዚያ በላይ አሃዶች ለማከማቻ ስርዓቶች።

በጂፒዩዳይክት ማከማቻ ማስታወቂያ እና ተመሳሳይ ቴክኖሎጂዎች ከሌሎች የጂፒዩ አቅራቢዎች ብቅ ሊሉ በሚችሉበት ሁኔታ፣ የኪንግስተን ከፍተኛ አፈጻጸም ላለው ኮምፒውተር ለመጠቀም የተነደፉ የማከማቻ ስርዓቶች ፍላጎት እየሰፋ ነው። ጠቋሚው ከ40- ወይም 100-ጂቢቲ ኔትወርክ ካርዶች ከጂፒዩ ጋር ወደ ኮምፒውቲንግ አሃድ መግቢያ ላይ ካለው የፍጥነት መጠን ጋር በማነፃፀር ከማከማቻ ስርዓቱ መረጃን የማንበብ ፍጥነት ይሆናል። ስለዚህ፣ እጅግ በጣም ከፍተኛ ፍጥነት ያለው የማከማቻ ስርዓቶች፣ ውጫዊ NVMeን በጨርቅ በኩል ጨምሮ፣ ለHPC አፕሊኬሽኖች እንግዳ ከመሆን ወደ ዋናው ይሄዳሉ። ከሳይንስ እና ፋይናንሺያል ስሌቶች በተጨማሪ፣ በሴኮንድ በሚሊዮኖች የሚቆጠሩ HD ምስሎች እውቅና እና የመለየት ፍጥነት በሚያስፈልጉባቸው እንደ ሴፍ ከተማ ሜትሮፖሊታን ደረጃ ያሉ የደህንነት ስርዓቶች ወይም የትራንስፖርት ክትትል ማዕከላት ባሉ ሌሎች ተግባራዊ አካባቢዎች ተግባራዊ ይሆናሉ። ከፍተኛው የማጠራቀሚያ ስርዓት የገበያ ቦታ

ስለ ኪንግስተን ምርቶች ተጨማሪ መረጃ በ ላይ ይገኛል። ኦፊሴላዊ ድር ጣቢያ ኩባንያ

ምንጭ: hab.com