Hunty plataforma de reclutamiento masivo basada en inteligencia artificial

Acerca de

Hunty, una plataforma de reclutamiento masivo basada en inteligencia artificial, enfrentaba un reto estratégico: reducir la dependencia que su sistema de agentes de IA tenian de un solo proveedor de modelos LLM y, al mismo tiempo, asegurar la calidad de sus servicios de automatización con evaluaciones consistencia comparando el performance de diferentes modelos de lenguaje sobre un mismo dataset privado y curado de sus casos de uso con usuarios. En alianza con Clouxter y aprovechando la infraestructura de AWS, Hunty diseñó e implementó una estrategia para diversificar su infraestructura de IA, mejorar la escalabilidad y optimizar costos.

Desafío del cliente

La fuerte dependencia de Hunty en un único proveedor de modelos de lenguaje (OpenAI) implicaba:

• Altos costos tecnológicos por cada interacción procesada.
• Falta de flexibilidad para elegir modelos alternativos según el caso de uso y falta de backups en caso de caída de servicio del proveedor principal. 
• Limitaciones en la escalabilidad, al entrar en nuevos mercados internacionales

Para sostener su crecimiento, Hunty necesitaba una arquitectura de IA más diversificada, escalable y costo-eficiente.

Hunty enfrenta importantes desafíos técnicos relacionados con la evaluación y el control de calidad de las entrevistas automatizadas realizadas por diferentes modelos de lenguaje ya que cuando se considera tener un mecanismo de backup con diferentes modelos de lenguaje es preciso garantizar que diferentes modelos se comportan adecuadamente bajo las mismas circunstancias contextuales en una conversación con un candidato buscando empleo. La compañía carecía de un marco estandarizado para evaluar el rendimiento y la consistencia de diferentes modelos generativos, lo que creó dificultades para seleccionar el modelo más adecuado para escenarios de reclutamiento y selección específicos. 

Si no se abordaban, estos desafíos habrían seguido afectando la capacidad de Hunty para garantizar la equidad, la coherencia y la confiabilidad en las evaluaciones de los candidatos. Exponiendo a la empresa a riesgos de reputación, reduciría la confianza del cliente en las decisiones automatizadas y aumentaría los costos a largo plazo debido a la necesidad de intervención manual y reelaboración.

En la práctica el cliente tuvo que desarrollar un sistema que actuaba como un “load balancer” de modelos LLM según las peticiones que le llegaban de diferentes agentes del ecosistema interno de Hunty, cada uno de ellos con diferentes instrucciones y casos de uso. A este sistema se le llamó Resolver-API (o agent resolver internamente).

Solución del socio

Para abordar la necesidad de Hunty de un mecanismo de garantía de calidad auditable, escalable y automatizado para entrevistas basadas en LLM, AWS Partner Clouxter diseñó e implementó una solución basada en un plan de tres fases sobre Amazon Bedrock y servicios complementarios de AWS:

Fase 1 – Despliegue en Bedrock

• Conexión del resolver-API de Hunty para conectarse con endpoints de Bedrock habilitando el uso de los modelos LLM disponibles en la nube de AWS.
• Integración con BigQuery para recopilar métricas en tiempo real.
• Primeras pruebas con modelos de Anthropic (como substituto de GPT en varios casos) y Cohere (para embeddings)

Fase 2 – Experimentación de Modelos

• Evaluación comparativa entre Anthropic y OpenAI  
• Ejecución del proyecto conjunto LLM Eval para medir desempeño en screening de candidatos y tareas multilingües.
• Diseño de la lógica para balanceo dinámico de tráfico entre distintos modelos.

Fase 3 – Fine-Tuning

• Entrenamiento con datos propios de Hunty para personalizar modelos según sectores específicos (salud, retail, etc.)
• Optimización para mejorar precisión en entrevistas automatizadas.

En el núcleo de la solución está Amazon Bedrock, que ejecuta modelos de Anthropic como Claude sonnet en sus últimas versiones 3.5, 3.7 y 4.0 para analizar conversaciones múltiples y emitir evaluaciones automatizadas basadas en dimensiones de calidad predefinidas. El sistema Resolver-API se conecta a través de Amazon API Gateway, que expone un punto final seguro (/process-hty) protegido por una clave API e integrada con los planes de uso para garantizar la gestión de las cuotas.

Así también, para el sistema de evaluaciones y poder comparar diferentes modelos se usaron benchmarks internos de datos privados de Hunty consumiendo el API de Bedrock y haciendo la analítica de datos internamente con métricas relevantes para los casos de uso del cliente. 

Durante el compromiso, Clouxter proporcionó soporte completo del ciclo de vida: desde la evaluación inicial del sistema y el diseño de la solución, hasta la implementación, las pruebas y la capacitación posterior al despliegue. El socio aseguró el acceso seguro al operar a través de usuarios de IAM controlados por Hunty, siguiendo las estrictas prácticas de gestión de identidad y acceso. Aunque Hunty retuvo la propiedad total de su entorno AWS, Clouxter colaboró activamente durante la implementación y proporcionó un aviso técnico continuo alineado con las mejores prácticas de AWS.

Resultados y beneficios

Reducción proyectada de costos al migrar parte de las cargas a modelos en AWS Bedrock.

Mayor flexibilidad para elegir el modelo más adecuado según cliente, idioma o caso de uso.

Escalabilidad garantizada, con infraestructura lista para soportar miles de interacciones concurrentes y con arquitectura de failover entre diferentes proveedores y modelos.

Base sólida para entrenamientos futuros, alineada con la estrategia de expansión internacional de Hunty.

La solución también permitió la trazabilidad y la responsabilidad completa en los procesos automatizados de toma de decisiones, lo que refuerza el compromiso de Hunty con las prácticas responsables de IA. Con la capacidad de almacenar registros de auditoría estructurados, generar informes y monitorear el rendimiento en tiempo real, Hunty obtuvo las herramientas necesarias para mejorar continuamente los agentes de sus entrevistas y cumplir con los estándares de calidad internos en sus flujos de trabajo de reclutamiento.

Sobre el socio

Clouxter es un socio de consultoría de nivel avanzado de AWS y un proveedor de soluciones con sede en América Latina, con un historial comprobado de guiar más de 600 proyectos de adopción y consolidación de la nube y más de 70 certificaciones técnicas de AWS entre sus arquitectos, ingenieros de DevOps y operadores. La compañía posee la competencia de servicios de AWS DevOps, demostrando su experiencia en la implementación de las culturas DevOps/DevSecops y la automatización segura. Clouxter también ofrece servicios extensos en migraciones en la nube y modernización, apoyando a los clientes a través de las siete estrategias de migración (Rehost, Refactor, Reconstruye o Reemplazar, anunciando las mejores prácticas de automatización, seguridad y gobernanza en AWS. Con especializaciones en servicios clave de AWS como Lambda, API Gateway, DynamoDB, Aurora, Sagemaker, Bedrock y más, Clouxter atiende a clientes en atención médica, fintech, sector público e ISVS, lo que proporciona la implementación de extremo a extremo y los servicios administrados 24/7. La compañía está buscando activamente la competencia de IA generativa de AWS.