Buoyant ha presentado Kinference, una herramienta de código abierto en fase alfa (v0.1.0-alpha.7) diseñada para actuar como una capa de control en la inferencia de modelos vLLM dentro de clústeres de Kubernetes. El sistema coordina el flujo de solicitudes hacia los motores de inferencia, aplicando políticas de enrutamiento y balanceo basadas en el estado de la caché KV y la carga de los servidores.
Arquitectura y control de tráfico
La solución se estructura mediante una puerta de enlace y un manejador de inferencia que utiliza la interfaz gRPC. Kinference integra el componente dynamo-kv-router de NVIDIA para supervisar eventos de caché y métricas de los motores, permitiendo que el sistema estime el tiempo hasta el primer token (TTFT) antes de asignar una solicitud a un trabajador específico. La configuración se gestiona a través de cinco recursos personalizados de Kubernetes, incluyendo InferencePolicy e InferencePool, lo que permite a los operadores definir reglas declarativas para el manejo de peticiones según el modelo, el inquilino o la disponibilidad de recursos.
Resultados y limitaciones de rendimiento
En pruebas internas realizadas con el modelo Qwen3.8-27B-FP8, Buoyant reportó una reducción significativa en la latencia cuando las consultas compartían prefijos, logrando que la mediana del TTFT descendiera de 6,88 a 0,31 segundos. Asimismo, la capacidad de procesamiento, medida como solicitudes por minuto que cumplen los objetivos de nivel de servicio, superó en 7,4 veces al balanceo aleatorio de Kubernetes Service en escenarios de prefijos compartidos. No obstante, la compañía advierte que estos resultados son preliminares y que, en situaciones sin contexto compartido, la mejora en la mediana del tiempo de respuesta no resultó significativa. La herramienta, distribuida bajo licencia Apache 2.0, se encuentra en una etapa temprana de desarrollo y requiere validación en entornos de producción específicos.
