Estudio de Meta Shares sobre Meta 3D Gen, un sistema de IA generativa para crear activos 3D a partir de indicaciones de texto

Meta ha compartido un nuevo artículo de investigación sobre modelos de inteligencia artificial generativa (IA) que pueden generar activos 3D. Apodado Meta 3D Gen, el modelo de IA genera modelos 3D de alta calidad a partir de comandos de texto en menos de un minuto. La compañía destacó que el modelo de IA puede crear mapas de texturas y materiales de alta resolución de un extremo a otro utilizando una combinación de técnicas de texturizado y texto a malla desarrolladas íntegramente internamente. En particular, este enfoque difiere del adoptado por Tencent y Stability AI, que lanzaron modelos de imagen a 3D.

Compartiendo su investigación papelque actualmente está alojado en el sitio web Meta, la compañía afirma que sus modelos 3D Gen pueden representar modelos 3D con alta precisión y garantizar una alta calidad. También se dice que el modelo admite renderizado basado físicamente (PBR), lo que permite volver a iluminar el modelo resultante en una variedad de aplicaciones del mundo real. En particular, el artículo de investigación no fue verificado por pares, por lo que algunas de las afirmaciones realizadas pueden ser exageradas. No hay forma de saberlo a menos que el modelo se haga público.

Este artículo también describe el enfoque utilizado para desarrollar el modelo de IA. Meta ha desarrollado dos sistemas internos: Meta 3D AssetGen y Meta 3D TextureGen. AssetGen es responsable de generar objetos 3D a partir de comandos de texto determinados. En la Fase I, renderiza el modelo 3D utilizando su comprensión del comando, y en la Fase II refina aún más el modelo 3D para conciliar texturas basadas en vistas y partes completas que no son visibles en ninguna vista. TextureGen es responsable de encontrar y aplicar la textura adecuada al modelo.

Este método de creación de modelos 3D tiene varios beneficios para los activos 3D resultantes. Por ejemplo, debido a que utiliza comandos de texto, no se requieren imágenes de referencia y los usuarios pueden crear modelos completamente únicos. La compatibilidad con PBR también significa que estos modelos se pueden sacar del sistema e implementar directamente en otros entornos. Este artículo afirma que el resultado de estos modelos también es realista.

Meta dice que el modelo de IA 3D de Gen tiene una tasa de ganancia del 68 por ciento en una sola etapa, lo que significa que 68 de cada 100 veces, la IA puede generar los activos 3D correctos basándose en comandos de texto. La compañía afirma además que el modelo supera varios estándares de la industria en términos de precisión de comando y calidad visual para comandos complejos.