በኮምፒተር እይታ ውስጥ ያሉ አዝማሚያዎች። ICCV 2019 ዋና ዋና ዜናዎች

በኮምፒተር እይታ ውስጥ ያሉ የነርቭ አውታረ መረቦች በንቃት እያደጉ ናቸው, ብዙ ችግሮች አሁንም መፍትሄ ማግኘት አልቻሉም. በመስክዎ አዝማሚያ ላይ ለመሆን፣ በትዊተር ላይ ተጽእኖ ፈጣሪዎችን ብቻ ይከተሉ እና ተዛማጅ ጽሑፎችን በarXiv.org ላይ ያንብቡ። ነገር ግን ወደ ዓለም አቀፍ የኮምፒውተር ቪዥን (ICCV) 2019 የመሄድ እድል ነበረን በዚህ አመት በደቡብ ኮሪያ እየተካሄደ ነው። አሁን ያየነውንና የተማርነውን ለሀብር አንባቢዎች ማካፈል እንፈልጋለን።

ከ Yandex ብዙዎቻችን እዚያ ነበርን-የራስ-ነጂ መኪኖች ገንቢዎች ፣ ተመራማሪዎች እና በአገልግሎቶች ውስጥ የሲቪ ተግባራትን የሚቋቋሙ ሰዎች መጡ። አሁን ግን የቡድናችንን ትንሽ ተጨባጭ እይታ - የማሽን ኢንተለጀንስ ላብራቶሪ (Yandex MILAB) ማቅረብ እንፈልጋለን። ሌሎቹም ምናልባት ጉባኤውን በራሳቸው አቅጣጫ ሳይመለከቱት አልቀረም።

ላቦራቶሪ ምን ያደርጋል?ለመዝናኛ ዓላማ ምስሎችን እና ሙዚቃን ከማፍለቅ ጋር የተያያዙ የሙከራ ፕሮጀክቶችን እንሰራለን። በተለይ ከተጠቃሚው ይዘት እንዲቀይሩ የሚያስችልዎትን የነርቭ አውታረ መረቦች ላይ ፍላጎት አለን (ለፎቶዎች, ይህ ተግባር ምስልን ማቀናበር ይባላል). ለምሳሌ: ከYaC 2019 ኮንፈረንስ የሥራችን ውጤት።
ብዙ ሳይንሳዊ ኮንፈረንሶች አሉ, ነገር ግን ከፍተኛዎቹ ተለይተው የሚታወቁት, A * ኮንፈረንስ የሚባሉት, በጣም አስደሳች እና ጠቃሚ ቴክኖሎጂዎች ላይ ጽሑፎች ብዙውን ጊዜ የሚታተሙበት ነው. የ A * ኮንፈረንስ ትክክለኛ ዝርዝር የለም፣ ግምታዊ እና ያልተሟላ ዝርዝር ይኸውና፡ NeurIPS (የቀድሞ NIPS)፣ ICML፣ SIGIR፣ WWW፣ WSDM፣ KDD፣ ACL፣ CVPR፣ ICCV፣ ECCV። የመጨረሻዎቹ ሦስቱ በሲቪ ርዕሰ ጉዳይ ላይ ያተኮሩ ናቸው።

ICCV በጨረፍታ፡ ፖስተሮች፣ መማሪያዎች፣ ወርክሾፖች፣ መቆሚያዎች

ኮንፈረንሱ 1075 ወረቀቶችን ተቀብሏል, 7500 ተሳታፊዎች ነበሩ. 103 ሰዎች ከሩሲያ የመጡ ናቸው, ከ Yandex, Skoltech, Samsung AI ሴንተር ሞስኮ እና የሳማራ ዩኒቨርሲቲ ሰራተኞች መጣጥፎች ነበሩ. በዚህ ዓመት ብዙ ከፍተኛ ተመራማሪዎች አይሲሲቪን የጎበኟቸው አይደሉም፣ ነገር ግን፣ ለምሳሌ፣ አሌክሲ (አልዮሻ) ኤፍሮስ፣ ሁልጊዜ ብዙ ሰዎችን ይስባል፡-

ስታቲስቲክስ









በእንደዚህ ዓይነት ኮንፈረንሶች ሁሉ ጽሑፎች በፖስተሮች መልክ ይቀርባሉ (ተጨማሪ መረጃ ስለ ቅርጸቱ), እና ምርጦቹ እንዲሁ በአጫጭር ሪፖርቶች መልክ ቀርበዋል.

ከሩሲያ አንዳንድ ስራዎች እነኚሁና





በማጠናከሪያ ትምህርት ወደ አንድ የተወሰነ የትምህርት ክፍል ውስጥ ዘልቀው መግባት ይችላሉ፤ በዩኒቨርሲቲ ውስጥ የሚሰጠውን ንግግር የሚያስታውስ ነው። ብዙውን ጊዜ ስለ ተወሰኑ ሥራዎች ሳይናገር በአንድ ሰው ይነበባል። ጥሩ መማሪያ ምሳሌ (ማይክል ብራውን፣ የመረዳት ቀለም እና የካሜራ ውስጥ ምስል ማቀነባበሪያ ቧንቧ ለኮምፒውተር እይታ):

በአውደ ጥናቶች ላይ, በተቃራኒው, ስለ መጣጥፎች ይናገራሉ. ብዙውን ጊዜ እነዚህ በአንዳንድ ጠባብ አርእስቶች ውስጥ ያሉ ሥራዎች፣ የላብራቶሪ ኃላፊዎች ስለ ሁሉም የተማሪዎች የቅርብ ጊዜ ሥራዎች ወይም ለዋናው ጉባኤ ተቀባይነት የሌላቸው መጣጥፎች ናቸው።

ስፖንሰር ካምፓኒዎች ከቆመበት ጋር ወደ ICCV ይመጣሉ። በዚህ አመት ጎግል፣ ፌስቡክ፣ አማዞን እና ሌሎች በርካታ አለም አቀፍ ኩባንያዎች እንዲሁም በርካታ ጅምሮች - ኮሪያውያን እና ቻይናውያን መጥተዋል። በተለይ በመረጃ መለያ መስጠት ላይ የተካኑ ብዙ ጀማሪዎች ነበሩ። በመድረክ ላይ ትርኢቶች አሉ፣ ሸቀጥ ወስደህ ጥያቄዎችን መጠየቅ ትችላለህ። ለአደን ዓላማ፣ ስፖንሰር ሰጪ ኩባንያዎች ፓርቲዎች አሏቸው። ቀጣሪዎች ፍላጎት እንዳሎት እና ቃለ መጠይቅ ማለፍ እንደሚችሉ ካሳመኑ ወደ እነርሱ መግባት ይችላሉ። አንድ ጽሑፍ ካተሙ (ወይም በተጨማሪ ፣ ያቀረቡት) ፣ ፒኤችዲ ከጀመሩ ወይም እየጨረሱ ከሆነ ፣ ይህ ተጨማሪ ነው ፣ ግን አንዳንድ ጊዜ ለኩባንያው መሐንዲሶች አስደሳች ጥያቄዎችን በመጠየቅ በቆመበት መደራደር ይችላሉ።

አዝማሚያዎች

ኮንፈረንሱ ሙሉውን የሲቪ መስክ እንዲመለከቱ ያስችልዎታል. በአንድ የተወሰነ ርዕስ ላይ በፖስተሮች ብዛት, ርዕሱ ምን ያህል ሞቃት እንደሆነ መገምገም ይችላሉ. አንዳንድ መደምደሚያዎች በቁልፍ ቃላቶች ላይ በመመስረት እራሳቸውን ይጠቁማሉ-

ዜሮ-ምት ፣ አንድ-ምት ፣ ጥቂት-ተኩስ ፣ በራስ ቁጥጥር የሚደረግበት እና ከፊል ክትትል የሚደረግበት፡ ለረጅም ጊዜ የተማሩ ተግባራት አዲስ አቀራረቦች

ሰዎች ውሂብን በብቃት መጠቀምን እየተማሩ ነው። ለምሳሌ በ FUNIT በስልጠናው ስብስብ ውስጥ (በመተግበሪያው ውስጥ, በርካታ የማጣቀሻ ስዕሎችን በማቅረብ) የእንስሳትን የፊት ገጽታ መፍጠር ይቻላል. የቅድሚያ ጥልቅ ምስል ሀሳቦች ተዘጋጅተዋል, እና አሁን የ GAN አውታረ መረቦች በአንድ ምስል ላይ ሊሰለጥኑ ይችላሉ - ስለዚህ ጉዳይ ከዚህ በታች እንነጋገራለን. በድምቀቶች. ለቅድመ-ሥልጠና እራስን መቆጣጠር (የተጣጣሙ መረጃዎችን ማዋሃድ የምትችሉበትን ችግር መፍታት፣ ለምሳሌ የሥዕል መዞሪያን አንግል መተንበይ) ወይም ከተሰየመ እና ካልተሰየመ ውሂብ በተመሳሳይ ጊዜ መማር ይችላሉ። ከዚህ አንፃር ጽሑፉ የፍጥረት ዘውድ ተደርጎ ሊወሰድ ይችላል። S4L፡ በራስ የሚተዳደር ከፊል ክትትል የሚደረግበት ትምህርት. እና በ ImageNet ላይ የቅድመ-ስልጠናው እዚህ አለ። ሁልጊዜ አይደለም ይረዳል ፡፡

3D እና 360°

በአብዛኛው ለፎቶዎች (ክፍልፋይ, ማወቂያ) የተፈቱ ችግሮች ለ 3D ሞዴሎች እና ፓኖራሚክ ቪዲዮዎች ተጨማሪ ምርምር ያስፈልጋቸዋል. RGB እና RGB-D ወደ 3D ስለመቀየር ብዙ ጽሑፎችን አይተናል። እንደ የሰዎች አቀማመጥ ግምት ያሉ አንዳንድ ችግሮች ወደ 3 ዲ አምሳያዎች በመንቀሳቀስ የበለጠ በተፈጥሮ ሊፈቱ ይችላሉ። ግን የ XNUMX ዲ አምሳያዎችን በትክክል እንዴት እንደሚወክሉ እስካሁን ምንም መግባባት የለም - በሜሽ ፣ በነጥብ ደመና ፣ በቮክስልስ ወይም በኤስዲኤፍ መልክ። ሌላ አማራጭ ይኸውና፡-

በፓኖራማዎች፣ በሉሉ ላይ ያሉ ውዝግቦች በንቃት እያደጉ ናቸው (ይመልከቱ። በአይኮሳህድሮን ሉል ላይ አቀማመጥን የሚያውቅ የትርጉም ክፍል) እና በፍሬም ውስጥ ቁልፍ ነገሮችን ይፈልጉ.

የቦታ ማወቂያ እና የሰዎች እንቅስቃሴ ትንበያ

ቀደም ሲል በ2D ውስጥ ፖዝ ፈልጎ ማግኘት ላይ መሻሻሎች ነበሩ - አሁን ትኩረቱ ከብዙ ካሜራዎች ጋር እና በ3-ል መስራት ላይ ተቀይሯል። ለምሳሌ በሰው አካል ውስጥ በሚያልፉበት ጊዜ የዋይ ፋይ ሲግናል ለውጦችን በመከታተል በግድግዳ በኩል ያለውን አጽም ማወቅ ይችላሉ።

በእጅ ቁልፍ ነጥብ ማወቂያ መስክ ብዙ ስራ ተሰርቷል። በሁለት ሰዎች መካከል በሚደረጉ የውይይት ቪዲዮዎች ላይ የተመሰረቱትን ጨምሮ አዲስ የውሂብ ስብስቦች ታይተዋል - አሁን የእጅ ምልክቶችን ከንግግር ድምጽ ወይም ጽሑፍ መተንበይ ይችላሉ! በአይን ክትትል ተግባራት (የእይታ ግምት) ላይ ተመሳሳይ መሻሻል ተደርጓል።

እንዲሁም አንድ ሰው ከሰዎች እንቅስቃሴ ትንበያ ጋር የተዛመዱ ትላልቅ ስራዎችን መለየት ይችላል (ለምሳሌ ፣ የሰው እንቅስቃሴ ትንበያ በስፓቲዮ-ጊዜያዊ ቀለም መቀባት ወይም የተዋቀረ ትንበያ 3D የሰው እንቅስቃሴ ሞዴሊንግ ይረዳል). ተግባሩ አስፈላጊ ነው እና ከደራሲዎች ጋር በሚደረጉ ንግግሮች ላይ በመመስረት, በአብዛኛው ጥቅም ላይ የሚውለው በራስ ገዝ መኪና ውስጥ የእግረኞችን ባህሪ ለመተንተን ነው.

በፎቶዎች እና በቪዲዮዎች ውስጥ ከሰዎች ጋር የተደረጉ ማጭበርበሮች ፣ ምናባዊ ተስማሚ ክፍሎች

ዋናው አዝማሚያ በሚተረጎሙ መለኪያዎች መሰረት የፊት ምስሎችን መለወጥ ነው. ሀሳቦች፡ በአንድ ምስል ላይ የተመሰረተ ጥልቅ ሀሰተኛ፣ የፊት ገጽታ ላይ የተመሰረተ አነጋገር መቀየር (PuppetGAN) ፣ አስተያየቶች - መለኪያዎችን ይቀይሩ (ለምሳሌ ፣ ዕድሜ). የቅጥ ዝውውሮች ከርዕሱ ርዕስ ወደ ሥራው አተገባበር ተንቀሳቅሰዋል. ምናባዊ ተስማሚ ክፍሎች የተለያዩ ታሪኮች ናቸው, ሁልጊዜ ማለት ይቻላል ደካማ ይሰራሉ, አንድ ምሳሌ እዚህ አለ ማሳያዎች

ከሥዕሎች/ግራፎች ትውልድ

“ፍርግርግ ካለፈው ልምድ በመነሳት አንድ ነገር እንዲያመነጭ ይፍቀዱለት” የሚለው የሃሳብ እድገት ሌላ ሆነ፡ “የትኛውን አማራጭ እንደሚስብን ፍርግርግ እናሳየው።

SC-FEGAN የተመራ ቀለም እንዲሰሩ ይፈቅድልዎታል-ተጠቃሚው በስዕሉ ላይ በተሰረዘ ቦታ ላይ የፊት ክፍልን መሳል መጨረስ እና እንደ ማጠናቀቂያው ሁኔታ የተመለሰ ስዕል ማግኘት ይችላል።

ከ25 አዶቤ መጣጥፎች አንዱ ለICCV ሁለት GAN ን ያዋህዳል፡ አንደኛው ንድፉን ለተጠቃሚው ያጠናቅቃል፣ ሌላኛው ከስኬቱ የፎቶግራፍ እውነተኛ ምስል ይፈጥራል (የፕሮጀክት ገጽ).

ቀደም ሲል በምስል ማመንጨት ውስጥ ግራፎች አያስፈልጉም ነበር, አሁን ግን ስለ ቦታው የእውቀት መያዣ ተደርገዋል. በICCV ውጤት ላይ የተመሰረተው የምርጥ ወረቀት የክብር መጠቀስ ሽልማትም በአንቀጹ አሸንፏል በይነተገናኝ ትዕይንት ማመንጨት ውስጥ የነገር ባህሪያትን እና ግንኙነቶችን መግለጽ. በአጠቃላይ, በተለያዩ መንገዶች ሊጠቀሙባቸው ይችላሉ-ግራፎችን ከሥዕሎች, ወይም ከግራፎች ስዕሎችን እና ጽሑፎችን ይፍጠሩ.

የሰዎችን እና መኪናዎችን እንደገና መለየት፣ የህዝቡን ብዛት በመቁጠር (!)

ብዙ ጽሑፎች ሰዎችን ለመከታተል እና ሰዎችን እና ማሽኖችን እንደገና ለመለየት ያተኮሩ ናቸው። ነገር ግን ያስገረመን ብዙ መጣጥፎች ስለ ህዝብ ብዛት ሁሉም ከቻይና የመጡ ናቸው።

ፖስተሮች








ግን ፌስቡክ በተቃራኒው የፎቶውን ማንነት አይገልጽም. እና ይህንን በሚያስደንቅ ሁኔታ ያደርገዋል-የነርቭ ኔትወርክን ያሠለጥናል ያለ ልዩ ዝርዝሮች ፊትን እንዲያመነጭ ያሠለጥናል - ተመሳሳይ ነው ፣ ግን ተመሳሳይ አይደለም ፣ የፊት ለይቶ ማወቂያ ስርዓቶች በትክክል ሊታወቅ ይችላል።

ከጠላት ጥቃቶች ጥበቃ

በገሃዱ ዓለም ውስጥ የኮምፒዩተር እይታ አፕሊኬሽኖች (በራስ-መንዳት መኪኖች ውስጥ ፣ የፊት መታወቂያ) ሲፈጠሩ ፣ የእንደዚህ ዓይነቶቹ ስርዓቶች አስተማማኝነት ጥያቄ እየጨመረ ይሄዳል። ሲቪን ሙሉ በሙሉ ለመጠቀም ስርዓቱ የጠላት ጥቃቶችን የሚቋቋም መሆኑን እርግጠኛ መሆን አለብዎት - ለዚያም ነው ከጥቃቶቹ ራሳቸው ስለእነሱ ጥበቃን በተመለከተ ምንም ያነሱ ጽሑፎች አልነበሩም። የአውታረ መረብ ትንበያዎችን በማብራራት እና በውጤቱ ላይ እምነትን በመለካት ላይ ብዙ ስራዎች ተሰርተዋል።

የተጣመሩ ተግባራት

በአብዛኛዎቹ አንድ ዒላማ በተደረጉ ተግባራት ጥራትን የማሻሻል ዕድሎች በተጨባጭ ተዳክመዋል፤ ጥራትን ለመጨመር ከአዳዲስ አቅጣጫዎች ውስጥ አንዱ የነርቭ አውታረ መረቦች ብዙ ተመሳሳይ ችግሮችን በአንድ ጊዜ እንዲፈቱ ማስተማር ነው። ምሳሌዎች፡-
- የድርጊት ትንበያ + የኦፕቲካል ፍሰት ትንበያ ፣
- የቪዲዮ አቀራረብ + የቋንቋ አቀራረብ (ቪዲዮበርት),
- ልዕለ-ጥራት + HDR.

በተጨማሪም ስለ ክፍልፋይ፣ ፖዝ አወሳሰን እና የእንስሳትን እንደገና መለየት ላይ መጣጥፎች አሉ!

ድምቀቶች

ከሞላ ጎደል ሁሉም መጣጥፎች አስቀድሞ ይታወቃሉ፣ ጽሑፉ በarXiv.org ላይ ይገኛል። ስለዚህ እንደ ሁሉም ሰው ዳንስ Now ፣ FUNIT ፣ Image2StyleGAN ያሉ እንደዚህ ያሉ ስራዎች አቀራረብ በጣም እንግዳ ይመስላል - እነዚህ በጣም ጠቃሚ ስራዎች ናቸው ፣ ግን አዲስ አይደሉም። የሳይንሳዊ ህትመቶች ክላሲካል ሂደት እዚህ እየፈራረሰ ያለ ይመስላል - ሳይንስ በጣም በፍጥነት እየሄደ ነው።

ምርጥ ስራዎችን ለመወሰን በጣም አስቸጋሪ ነው - ብዙዎቹ አሉ, ርዕሰ ጉዳዩ የተለያዩ ናቸው. በርካታ መጣጥፎች ደርሰዋል ሽልማቶች እና መጠቀሶች.

ይህ የኛ ርዕሰ ጉዳይ ስለሆነ ከምስል ማጭበርበር እይታ ትኩረት የሚስቡ ስራዎችን ማጉላት እንፈልጋለን። እነሱ ለእኛ በጣም አዲስ እና አስደሳች ሆነውልናል (አላማ መስለን አንመስልም)።

SinGAN (ምርጥ የወረቀት ሽልማት) እና InGAN

ሲንጋን፡ የፕሮጀክት ገጽ, arXiv, ኮድ.
ኢንጋን የፕሮጀክት ገጽ, arXiv, ኮድ.

የጥልቅ ምስል እድገት ከዲሚትሪ ኡሊያኖቭ, አንድሪያ ቬዳልዲ እና ቪክቶር ሌምፒትስኪ ቀዳሚ ሀሳብ. GANን በውሂብ ስብስብ ላይ ከማሰልጠን ይልቅ አውታረ መረቦች በውስጡ ያለውን ስታቲስቲክስ ለማስታወስ ከተመሳሳይ ምስል ቁርጥራጮች ይማራሉ ። የሰለጠነ አውታረመረብ ፎቶዎችን (SingAN) እንዲያርትዑ እና እንዲያነሙ ወይም ከዋናው ምስል ሸካራማነቶች ውስጥ ማንኛውንም መጠን ያላቸውን አዲስ ምስሎች እንዲያመነጩ ይፈቅድልዎታል፣ ይህም የአካባቢን መዋቅር (InGAN) ይጠብቃል።

ሲንጋን፡

ኢንጋን

GAN የማይፈጥርውን ማየት

የፕሮጀክት ገጽ.

ምስሎችን የሚያመነጩ የነርቭ ኔትወርኮች ብዙውን ጊዜ የዘፈቀደ ድምጽን እንደ ግብአት ይወስዳሉ። በሰለጠነ አውታረመረብ ውስጥ, ብዙ የግብአት ቬክተሮች ክፍተት ይፈጥራሉ, ትናንሽ እንቅስቃሴዎች በምስሉ ላይ ወደ ትናንሽ ለውጦች ይመራሉ. ማመቻቸትን በመጠቀም የተገላቢጦሹን ችግር መፍታት ይችላሉ-ከእውነተኛው ዓለም ላለው ምስል ተስማሚ የሆነ የግቤት ቬክተር ያግኙ። ደራሲው እንደሚያሳየው በነርቭ አውታር ውስጥ ሙሉ ለሙሉ የሚዛመድ ምስል ማግኘት ፈጽሞ የማይቻል ነው. በምስሉ ላይ ያሉ አንዳንድ ነገሮች አልተፈጠሩም (በእነዚህ ነገሮች ትልቅ ልዩነት የተነሳ ይመስላል)።

ደራሲው GAN ሙሉውን የምስሎች ቦታ እንደማይሸፍን ይገልፃል, ነገር ግን እንደ አይብ ባሉ ጉድጓዶች የተሞላ አንዳንድ ንዑስ ስብስቦች ብቻ ናቸው. በውስጡ ካለው የገሃዱ አለም ፎቶዎችን ለማግኘት ስንሞክር ሁሌም እንወድቃለን ምክንያቱም GAN አሁንም ሙሉ በሙሉ እውነተኛ ፎቶዎችን አያመነጭም። በእውነተኛ እና በተፈጠሩ ስዕሎች መካከል ያሉ ልዩነቶች ሊወገዱ የሚችሉት የኔትወርክን ክብደት በመለወጥ ብቻ ነው, ማለትም ለተወሰነ ፎቶ እንደገና በማሰልጠን.

አውታረ መረቡ በተጨማሪ ለአንድ የተወሰነ ፎቶ ሲሰለጥን በዚህ ምስል የተለያዩ ማጭበርበሮችን መሞከር ይችላሉ። ከታች ባለው ምሳሌ, በፎቶው ላይ አንድ መስኮት ተጨምሯል, እና አውታረ መረቡ በተጨማሪ በኩሽና ክፍሉ ላይ ነጸብራቅ ፈጠረ. ይህ ማለት አውታረ መረቡ ፣ ለፎቶግራፍ ተጨማሪ ስልጠና ከወሰደ በኋላም ፣ በቦታው ላይ ባሉ ነገሮች መካከል ያለውን ግንኙነት የማየት ችሎታ አላጣም።

GANalyze፡ ወደ የግንዛቤ ምስል ባህሪያት ምስላዊ ፍቺዎች

የፕሮጀክት ገጽ, arXiv.

ከዚህ ሥራ ላይ ያለውን አቀራረብ በመጠቀም, የነርቭ አውታረመረብ የተማረውን በዓይነ ሕሊናህ መመልከት እና መተንተን ትችላለህ. ደራሲዎቹ GAN አውታረ መረቡ የተወሰኑ ትንበያዎችን የሚያመነጭባቸውን ስዕሎች እንዲፈጥር ለማሰልጠን ሐሳብ አቅርበዋል. ጽሁፉ የፎቶ ትውስታን የሚተነብይ ሜምኔትን ጨምሮ በርካታ አውታረ መረቦችን እንደ ምሳሌ ተጠቅሟል። ለተሻለ ትውስታ ፣ በፎቶው ውስጥ ያለው ነገር የሚከተሉትን ማድረግ አለበት ።

• ወደ መሃል ቅርብ ይሁኑ
• የበለጠ ክብ ወይም ካሬ ቅርፅ እና ቀላል መዋቅር ፣
• አንድ ወጥ ዳራ ላይ ይሁኑ ፣
• ገላጭ ዓይኖችን ይይዛል (ቢያንስ ለውሻ ፎቶዎች)
• የበለጠ ብሩህ ፣ የበለጠ የሞላ ፣ በአንዳንድ ሁኔታዎች ፣ ቀይ ይሁኑ።

Liquid Warping GAN፡ የተዋሃደ የሰው ልጅ እንቅስቃሴ ማስመሰል፣ የመልክ ሽግግር እና የልቦለድ እይታ ውህደት

የፕሮጀክት ገጽ, arXiv, ኮድ.

የሰዎችን ፎቶ በአንድ ጊዜ ለማመንጨት የቧንቧ መስመር። ደራሲዎቹ የአንድን ሰው እንቅስቃሴ ወደ ሌላ ሰው በማስተላለፍ, በሰዎች መካከል ልብሶችን በማስተላለፍ እና የሰውን አዲስ ማዕዘኖች በማፍለቅ ስኬታማ ምሳሌዎችን ያሳያሉ - ሁሉም ከአንድ ፎቶግራፍ. ከቀደምት ስራዎች በተለየ፣ እዚህ በ2D (pose) ላይ ቁልፍ ነጥቦችን ሳይሆን ሁኔታዎችን ለመፍጠር የሰውነት 3D mesh (pose + shape) እንጠቀማለን። ደራሲዎቹ መረጃን ከመጀመሪያው ምስል ወደ ተፈጠረው (ፈሳሽ ዋርፒንግ ብሎክ) እንዴት ማስተላለፍ እንደሚችሉ ገምግመዋል። ውጤቶቹ ጥሩ ይመስላሉ, ነገር ግን የውጤቱ ምስል ጥራት 256x256 ብቻ ነው. ለማነፃፀር ከአንድ አመት በፊት የወጣው ቪዲ2ቪድ በ2048x1024 ጥራት ማመንጨት የሚችል ቢሆንም እንደ ዳታ ስብስብ እስከ 10 ደቂቃ ቪዲዮ መቅዳት ይፈልጋል።

FSGAN፡ ርዕሰ ጉዳይ አግኖስቲክ ፊት መለዋወጥ እና እንደገና መፈጠር

የፕሮጀክት ገጽ, arXiv.

መጀመሪያ ላይ ምንም ያልተለመደ ነገር ያለ አይመስልም: ብዙ ወይም ያነሰ መደበኛ ጥራት ያለው ጥልቅ ውሸት. ነገር ግን የሥራው ዋና ስኬት ፊቶችን ከአንድ ምስል መተካት ነው. ከቀደምት ስራዎች በተለየ, በአንድ የተወሰነ ሰው ብዙ ፎቶግራፎች ላይ ስልጠና ያስፈልጋል. የቧንቧው መስመር አስቸጋሪ ሆኖ ተገኘ (እንደገና መቀላቀል እና መከፋፈል, የእይታ መስተጋብር, ማቅለም, ማደባለቅ) እና ብዙ ቴክኒካዊ ጠላፊዎች, ግን ውጤቱ ዋጋ ያለው ነው.

በምስል ሪሲንተሲስ በኩል ያልተጠበቀውን ማግኘት

arXiv.

ሰው አልባ አውሮፕላን በማንኛውም የትርጉም ክፍል ውስጥ የማይወድቅ ነገር በድንገት ከፊቱ እንደመጣ እንዴት ሊረዳ ይችላል? ብዙ ዘዴዎች አሉ ፣ ግን ደራሲዎቹ ከቀዳሚዎቹ በተሻለ ሁኔታ የሚሰራ አዲስ ፣ ሊታወቅ የሚችል ስልተ-ቀመር ያቀርባሉ። የትርጉም ክፍል ከግቤት የመንገድ ምስል ተንብዮአል። ወደ GAN (pix2pixHD) እንደ ግብአት ይመገባል፣ እሱም የመጀመሪያውን ምስል ከትርጉም ካርታ ብቻ ወደነበረበት ለመመለስ ይሞክራል። በማናቸውም ክፍሎች ውስጥ የማይወድቁ ያልተለመዱ ነገሮች በውጤቱ እና በተፈጠረው ምስል ላይ በእጅጉ ይለያያሉ. ሶስቱ ምስሎች (የመጀመሪያው፣ ክፍልፋዮች እና እንደገና የተገነቡ) ያልተለመዱ ነገሮችን ወደሚተነብይ ወደ ሌላ አውታረ መረብ ይመገባሉ። የዚህ መረጃ ስብስብ የመነጨው ከታዋቂው የCityscapes ዳታ ስብስብ ነው፣ ይህም የትርጓሜ ክፍል ክፍሎችን በዘፈቀደ በመቀየር ነው። የሚገርመው፣ በዚህ መቼት ውስጥ ውሻ በመንገዱ መሃል የቆመ፣ ግን በትክክል የተከፋፈለው (ይህ ማለት ለእሱ ክፍል አለ ማለት ነው)፣ ስርዓቱ ሊያውቀው ስለቻለ ያልተለመደ ነገር አይደለም።

መደምደሚያ

ከጉባኤው በፊት፣ የእርስዎ ሳይንሳዊ ፍላጎቶች ምን እንደሆኑ፣ ምን አይነት አቀራረቦች ላይ መገኘት እንደሚፈልጉ እና ከማን ጋር እንደሚነጋገሩ ማወቅ አስፈላጊ ነው። ከዚያ ሁሉም ነገር የበለጠ ውጤታማ ይሆናል.

ICCV በመጀመሪያ እና ከሁሉም በላይ, አውታረመረብ ነው. ከፍተኛ ተቋማት እና ከፍተኛ የሳይንስ ዲፓርትመንቶች እንዳሉ ተረድተዋል, ይህንን መረዳት ይጀምራሉ, ከሰዎች ጋር ይተዋወቁ. እና በ arXiv ላይ መጣጥፎችን ማንበብ ይችላሉ - እና በነገራችን ላይ እውቀትን ለማግኘት የትም መሄድ ሳያስፈልግህ በጣም ጥሩ ነው።

በተጨማሪም፣ በኮንፈረንሱ ላይ ወደ እርስዎ የማይቀርቡ ርዕሰ ጉዳዮችን በጥልቀት መዝለል እና አዝማሚያዎችን ማየት ይችላሉ። ደህና, ለማንበብ የጽሁፎችን ዝርዝር ጻፍ. ተማሪ ከሆንክ፣ ይህ ከመምህርነትህ ጋር ለመገናኘት እድሉ ነው፣ ከኢንዱስትሪው ከሆንክ፣ ከአዲስ አሰሪ ጋር፣ እና ኩባንያ ከሆነ፣ እራስህን ለማሳየት።

ይመዝገቡ @loss_function_ፖርን! ይህ የግል ፕሮጀክት ነው፡ አብረን እየመራነው ነው። ካርፍሊ. በጉባኤው ወቅት የወደድናቸውን ስራዎች በሙሉ እዚህ ለጥፈናል። @loss_function_live.

ምንጭ: hab.com