Implimentazzjoni ta' sistema ta' tagħlim bil-magni għal sinteżi ta' immaġni bbażata fuq deskrizzjoni tat-test

Implimentazzjoni miftuħa tas-sistema ta' tagħlim tal-magni DALL-E 2, proposta minn OpenAI, ġiet ippubblikata u tippermettilek tisintetizza immaġini u pitturi realistiċi bbażati fuq deskrizzjoni ta' test f'lingwa naturali, kif ukoll tapplika kmandi bil-lingwa naturali biex teditja immaġini ( pereżempju, żid, ħassar jew iċċaqlaq oġġetti fl-immaġini). Il-mudelli DALL-E 2 oriġinali ta' OpenAI mhumiex ippubblikati, iżda hija disponibbli karta li tagħti dettalji dwar il-metodu. Abbażi tad-deskrizzjoni eżistenti, riċerkaturi indipendenti ħejjew implimentazzjoni alternattiva miktuba f'Python, bl-użu tal-qafas Pytorch u mqassma taħt il-liċenzja MIT.

Implimentazzjoni ta' sistema ta' tagħlim bil-magni għal sinteżi ta' immaġni bbażata fuq deskrizzjoni tat-testImplimentazzjoni ta' sistema ta' tagħlim bil-magni għal sinteżi ta' immaġni bbażata fuq deskrizzjoni tat-test

Meta mqabbel mal-implimentazzjoni ppubblikata qabel tal-ewwel ġenerazzjoni ta 'DALL-E, il-verżjoni l-ġdida tipprovdi tqabbil aktar preċiż tal-immaġni mad-deskrizzjoni, tippermetti fotorealiżmu akbar u tagħmilha possibbli li jiġu ġġenerati immaġini f'riżoluzzjonijiet ogħla. Is-sistema teħtieġ riżorsi kbar biex tħarreġ il-mudell, pereżempju, it-taħriġ tal-verżjoni oriġinali ta 'DALL-E 2 jeħtieġ 100-200 elf siegħa ta' kompjuters fuq il-GPU, i.e. madwar 2-4 ġimgħat ta 'kalkoli b'256 GPU NVIDIA Tesla V100.

Implimentazzjoni ta' sistema ta' tagħlim bil-magni għal sinteżi ta' immaġni bbażata fuq deskrizzjoni tat-test

L-istess awtur beda wkoll jiżviluppa verżjoni estiża - DALLE2 Video, immirat biex jissintetizza vidjo minn deskrizzjoni test. Separatament, nistgħu ninnotaw il-proġett ru-dalle żviluppat minn Sberbank, b'implimentazzjoni miftuħa tal-ewwel ġenerazzjoni DALL-E, adattat għar-rikonoxximent ta 'deskrizzjonijiet bir-Russu.

Sors: opennet.ru

Żid kumment