Automatizar una tarea es sencillo. Automatizar decenas de tareas que dependen unas de otras es un problema completamente distinto. Cuando un proyecto pasa de juguete a monstruo, el desafío deja de ser escribir código y pasa a ser coordinar ejecuciones, gestionar dependencias, controlar errores y saber en qué punto ha fallado un proceso.
Prefect es el orquestador que utilizo actualmente para resolver ese problema. Permite definir flujos de trabajo en Python, programar su ejecución y monitorizar cada paso del pipeline. Conceptos como Flow, Task, State y Scheduler son la base sobre la que organiza procesos complejos sin convertirlos en un caos.
Enlaces de interés: https://docs.prefect.io/