Meta ha presentado CM3leon, una herramienta de IA generativa para la creación de textos a partir de imágenes y viceversa que se caracteriza, según explica la compañía. por ofrecer unos resultados de alta calidad a pesar de haber sido entrenada y desarrollada con cinco veces menos fuerza computacional que otros métodos de transformación basados en inteligencia artificial.
CM3leon (que ha de pronunciarse como la palabra inglesa chameleon, según explica la compañía), es “el primer modelo de lenguaje multimodal entrenado con una receta adaptada a partir de modelos lingüísticos que usan solo texto”, según explica Meta en un comunicado.
La compañía propietaria de Instagram y WhatsApp destaca asimismo en su información que la tecnología de CM3leon puede generar texto e imágenes a partir de secuencias arbitrarias de otros contenidos formados a su vez por textos e imágenes. “Esto amplía en gran medida la funcionalidad de modelos previos, que son solo texto a imagen o imagen a texto”, explica Meta.
Las funciones que puede desarrollar CM3leon son la creación de una imagen a partir de un texto, y Meta ilustra su comunicado con la imagen generada a partir del prompt “Un pequeño cactus que lleva un sombrero de paja y gafas reflectantes en el desierto del Sahara”.
El sistema también puede editar una imagen preexistente a partir de una indicación de texto, y en este caso Meta usa como ejemplo modificaciones hechas en el famoso cuadro de Vermeer “La joven de la perla” a partir de sugerencias de texto como «¿Qué aspecto tendría si fuera un hombre con barba?» o «Ponle unas gafas de sol».
CM3leon también puede, según informa Meta, describir imágenes mediante texto o contestar, igualmente con un texto, a preguntas sobre lo que aparece en una imagen, así como interpretar la estructura y aspecto de una imagen, de manera que las modificaciones de la misma con coherentes con el contexto general También es capaz de segmentar una parte de una imagen y generar otra en su lugar.