Pagpatuman sa usa ka sistema sa pagkat-on sa makina alang sa synthesis sa imahe base sa paghulagway sa teksto

Usa ka bukas nga pagpatuman sa sistema sa pagkat-on sa makina DALL-E 2, nga gisugyot sa OpenAI, gimantala ug nagtugot kanimo sa pag-synthesize sa realistiko nga mga hulagway ug mga dibuho base sa usa ka paghulagway sa teksto sa natural nga pinulongan, ingon man usab sa paggamit sa mga sugo sa natural nga pinulongan sa pag-edit sa mga hulagway ( pananglitan, pagdugang, pagtangtang o pagbalhin sa mga butang sa imahe). Ang orihinal nga DALL-E 2 nga mga modelo sa OpenAI wala gipatik, apan adunay usa ka papel nga nagdetalye sa pamaagi. Pinasukad sa kasamtangan nga paghulagway, ang mga independente nga tigdukiduki nag-andam usa ka alternatibo nga pagpatuman nga gisulat sa Python, gamit ang Pytorch framework ug giapod-apod sa ilawom sa lisensya sa MIT.

Pagpatuman sa usa ka sistema sa pagkat-on sa makina alang sa synthesis sa imahe base sa paghulagway sa tekstoPagpatuman sa usa ka sistema sa pagkat-on sa makina alang sa synthesis sa imahe base sa paghulagway sa teksto

Kung itandi sa kaniadto nga gipatik nga pagpatuman sa unang henerasyon sa DALL-E, ang bag-ong bersyon naghatag og mas tukma nga pagpares sa hulagway ngadto sa paghulagway, nagtugot sa mas dako nga photorealism ug nagpaposible sa pagmugna og mga hulagway sa mas taas nga mga resolusyon. Ang sistema nanginahanglan daghang mga kapanguhaan aron mabansay ang modelo; pananglitan, ang pagbansay sa orihinal nga bersyon sa DALL-E 2 nanginahanglan 100-200 ka libo nga oras sa pag-compute sa GPU, i.e. mahitungod sa 2-4 ka semana sa mga kalkulasyon uban sa 256 NVIDIA Tesla V100 GPUs.

Pagpatuman sa usa ka sistema sa pagkat-on sa makina alang sa synthesis sa imahe base sa paghulagway sa teksto

Ang sama nga tagsulat nagsugod usab sa paghimo sa usa ka gipalawig nga bersyon - DALLE2 Video, nga gitumong sa pag-synthesize sa video gikan sa usa ka paghulagway sa teksto. Sa tagsa-tagsa, atong mamatikdan ang ru-dalle nga proyekto nga gimugna sa Sberbank, nga adunay bukas nga pagpatuman sa unang henerasyon nga DALL-E, nga gipahaum alang sa pag-ila sa mga paghulagway sa Russian.

Source: opennet.ru

Idugang sa usa ka comment