NVIDIA simplifica la implantación de MetaHuman basada en IA con nuevos plugins ACE y microservicios

Hoy comienza Unreal Fest Seattle 2024, y NVIDIA ha anunciado la publicación de nuevos plugins para NVIDIA ACE en Unreal Engine 5, que agilizan la creación e implementación de personajes MetaHuman basados en IA en PC con Windows. Adjuntamos la entrada de blog completa para su consulta.

Aspectos destacados:

Nuevos plugins ACE de Unreal Engine 5:

• Plugin Audio2Face-3D: Permite la sincronización labial y la animación facial con IA directamente en Unreal Engine 5.
• Plugin de instrucciones Nemotron-Mini 4B: Proporciona generación de respuestas para diálogos interactivos de personajes.
• Plugin Retrieval Augmented Generation (RAG): Proporciona información contextual para mejorar las interacciones de los personajes.

Plugin Audio2Face-3D para Autodesk Maya:

• Facilita animaciones faciales de alta calidad basadas en audio en Maya.
• Incluye el código fuente para su personalización e integración con otras herramientas de creación de contenidos digitales.
• Agiliza el flujo de trabajo entre Maya y Unreal Engine 5.

Unreal Engine 5 Renderer Microservice con Pixel Streaming:

• Aprovecha la tecnología Unreal Pixel Streaming de Epic.
• Ahora es compatible con el microservicio NVIDIA ACE Animation Graph y el sistema operativo Linux en acceso anticipado.
• Permite a los desarrolladores transmitir personajes MetaHuman de alta fidelidad a cualquier dispositivo a través de Web Real-Time Communication (WebRTC).

Ventajas para los desarrolladores:

• Simplifica la integración de humanos digitales potenciados por IA en juegos y aplicaciones.
• Optimiza los microservicios para una baja latencia y un uso mínimo de la memoria en PC con Windows.
• Mejora la escalabilidad para el despliegue de humanos digitales basado en la nube.
• Proporciona herramientas personalizables y código fuente para necesidades de desarrollo a medida.

Los desarrolladores podrán solicitar acceso anticipado para descargar el microservicio de renderizado de Unreal Engine 5 compatible con el microservicio Animation Graph y el sistema operativo Linux. El plugin Maya ACE está disponible para su descarga en GitHub.