SERVIDOR DE INFERENCIA NVIDIA TRITON

Compatibilidad con Diversos Frameworks

El Servidor de Inferencia Triton es compatible con todos los principales frameworks como TensorFlow, NVIDIA® TensorRT™, PyTorch, MXNet, Python, ONNX, RAPIDS FIL (para XGBoost, scikit-learn, etc.), OpenVINO, C++ personalizado y más.

Inferencia de Alto Rendimiento

Triton es compatible con todas las inferencias basadas en CPU NVIDIA GPU, x86 y ARM®. Ofrece funciones como procesamiento por lotes dinámico, ejecución concurrente, configuración óptima del modelo, conjunto de modelos y entradas de transmisión para maximizar el rendimiento y la utilización.

Diseñado para DevOps y MLOps

Triton se integra con Kubernetes para orquestación y escalado, exporta métricas de Prometheus para monitoreo, admite actualizaciones de modelos en vivo y se puede usar en todas las principales plataformas de IA en el Cloud y Kubernets. También está integrado en muchas soluciones de software MLOPS.

Simplifique la Implementación de IA a Escala

Simplifique la implementación de modelos de IA a escala en producción. Aprenda cómo Triton enfrenta los desafíos de implementar modelos de IA y revise los pasos para comenzar.

Ver Sesiones on Demand

Ver sesiones on demand en Servidor de Inferencia Triton de NVIDIA GTC.

Implemente Modelos de Deep Learning de IA

Obtén las últimas noticias y actualizaciones, y obtén más información sobre los beneficios clave en el Blog Técnico de NVIDIA.

Leer la Documentación del Producto

Vea las novedades y obtenga más información sobre las funciones más recientes en las notas de la versión de Triton.

El Servidor de Inferencia NVIDIA Triton ofrece un alto rendimiento de inferencia:

Triton ejecuta múltiples modelos del mismo o diferentes frameworks al mismo tiempo en una sola GPU o CPU. En un servidor multi-GPU, Triton crea automáticamente una instancia de cada modelo en cada GPU para aumentar la utilización.

También optimiza el servicio para la inferencia en tiempo real bajo estrictas restricciones de latencia, admite la inferencia por lotes para maximizar la utilización de GPU y CPU, y la inferencia de streaming con soporte integrado para entrada de streaming de audio y video. Triton admite conjuntos de modelos para casos de uso que requieren múltiples modelos para realizar inferencias de un extremo a otro, como la IA conversacional.

Los modelos se pueden actualizar en vivo en producción sin reiniciar Triton o la aplicación. Triton permite la inferencia de múltiples GPU y múltiples nodos en modelos muy grandes que no caben en una sola memoria de GPU.

El Servidor de Inferencia NVIDIA Triton ofrece una inferencia altamente escalable:

También disponible como contenedor Docker, Triton se integra con Kubernetes para orquestación, métricas y escalado automático. Triton también se integra con Kubeflow y pipelines de Kubeflow para un workflow de IA de extremo a extremo y exporta métricas de Prometheus para monitorear la utilización de GPU, la latencia, el uso de memoria y el rendimiento de inferencia. Admite la interfaz HTTP/gRPC estándar para conectarse con otras aplicaciones, como balanceadores de carga, y puede escalar fácilmente a cualquier cantidad de servidores para manejar cargas de inferencia crecientes para cualquier modelo.

Triton puede servir decenas o cientos de modelos a través de una API de control de modelos. Los modelos se pueden cargar y descargar dentro y fuera del servidor de inferencia en función de los cambios para que quepan en la memoria de la GPU o la CPU. La compatibilidad con un clúster heterogéneo con GPU y CPU ayuda a estandarizar la inferencia entre plataformas y escala dinámicamente a cualquier CPU o GPU para manejar las cargas máximas.