¿Cómo ver más pasos completados en Amazon EMR en EC2?
Si usas Amazon EMR en EC2 para ejecutar tus proyectos de macrodatos, análisis o machine learning en la nube, sabes lo importante que es poder ver el estado de los pasos que envías a tus clústeres. Los pasos son unidades de trabajo que especifican qué hacer con los datos, como ejecutar un script, una consulta o una aplicación. Ver los pasos completados te ayuda a supervisar el progreso de tu flujo de trabajo, verificar que se hayan ejecutado correctamente y depurar posibles errores.
Pero, ¿qué pasa si tienes muchos pasos cortos que se ejecutan rápidamente? ¿Cómo puedes verlos todos sin perder ninguno? Hasta ahora, las API DescribeStep y ListStep de Amazon EMR en EC2 te permitían ver hasta 1000 pasos completados en los últimos dos meses. Esto podía ser insuficiente para algunos casos de uso, especialmente si tenías un alto volumen de pasos o querías ver pasos más antiguos.
Por eso, Amazon EMR en EC2 ha anunciado una mejora en estas API, que ahora te permiten ver hasta 10 000 pasos completados en los últimos 7 días. Esto significa que puedes ver más pasos y más recientes, lo que te da una mayor visibilidad y control sobre tu flujo de trabajo. Además, el servicio sigue siendo compatible con la recuperación de 1000 pasos de los últimos dos meses, por si necesitas ver pasos más antiguos.
Esta mejora es compatible con todas las versiones de EMR y está disponible en todas las regiones de AWS en las que está disponible Amazon EMR. No tienes que hacer nada para empezar a usarla, solo activar el servicio en tu consola de AWS y enviar tus pasos como de costumbre. Para ver los pasos completados, puedes usar la consola de AWS, la CLI de AWS o las API de EMR.
Ten en cuenta que si tu clúster recibe más de 10 000 pasos en un período de 7 días, los pasos inactivos enviados por el usuario en los estados COMPLETADO, CANCELADO o CON ERROR se eliminarán en orden cronológico, empezando por los más antiguos. Esto es para optimizar el rendimiento y la escalabilidad del servicio. Si quieres conservar los pasos eliminados, puedes usar la API GetStepOutput para obtener la salida de los pasos y almacenarla en otro lugar, como Amazon S3.
Para saber más sobre esta mejora y cómo ver los pasos, consulta la documentación de Amazon EMR en EC2 y suscríbete al blog de AWS para recibir las últimas noticias y actualizaciones.
Aprovecha esta mejora para ver más pasos completados en Amazon EMR en EC2, la plataforma de macrodatos en la nube que te ofrece flexibilidad y escalabilidad.
