Недавно представленная нейросеть DALL-E 2 уже успела поразить программистов и обычных людей по всему миру: она очень качественно генерирует изображения по любому текстовому запросу, даже если указываются не существующие в реальности вещи. Однако у неё есть ограничение: нейросеть не умеет работать с текстом, поэтому, когда вводят запрос на генерацию диалога или реплики, она вместо слов рисует тарабарщину. Однако исследователи выяснили, что это вовсе не бессмысленный набор букв, как казалось ранее — это полноценный язык, который DALL-E 2 понимает.
К примеру, по запросу «Два фермера говорят об овощах, с субтитрами» нейросеть генерирует следующую картинку:
Если взять текст из этого изображения («Vicootes») и ввести его как запрос на генерацию новой картинки, DALL-E 2 создаст изображения с овощами:
Это не случайность: к примеру, при генерации изображений по запросу «Два кита говорят о еде, с субтитрами» нейросеть генерирует совсем другую фразу — если ввести их как запрос, то создадутся картинки с морепродуктами.
Более того, DALL-E 2 понимает скомбинированные запросы из английского и придуманного ею языка. К примеру, исследователи выяснили, что «Apoploe vesrreaitais» — это птицы, а «Contarra ccetnxniams luryca tanniounons» — это насекомые. По запросу «Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounons» нейросеть создала картинки птиц, которые едят насекомых.
