diff --git a/pipelines/datasets/br_stf_corte_aberta/schedules.py b/pipelines/datasets/br_stf_corte_aberta/schedules.py index 309ab5640..a14d57105 100644 --- a/pipelines/datasets/br_stf_corte_aberta/schedules.py +++ b/pipelines/datasets/br_stf_corte_aberta/schedules.py @@ -3,25 +3,25 @@ Schedules for br_stf_corte_aberta """ -from datetime import datetime, timedelta +from datetime import datetime from prefect.schedules import Schedule -from prefect.schedules.clocks import IntervalClock +from prefect.schedules.clocks import CronClock from pipelines.constants import constants every_day_stf = Schedule( clocks=[ - IntervalClock( - interval=timedelta(weeks=2), + CronClock( + cron="0 12 * * *", # Irá rodar todos os dias meio dia start_date=datetime(2021, 1, 1), labels=[ - constants.BASEDOSDADOS_DEV_AGENT_LABEL.value, + constants.BASEDOSDADOS_PROD_AGENT_LABEL.value, ], parameter_defaults={ "dataset_id": "br_stf_corte_aberta", "table_id": "decisoes", - "materialization_mode": "dev", + "materialization_mode": "prod", "materialize_after_dump": True, "dbt_alias": True, "update_metadata": True, diff --git a/pipelines/datasets/br_stf_corte_aberta/tasks.py b/pipelines/datasets/br_stf_corte_aberta/tasks.py index 5e9c5ebe9..fba15990a 100644 --- a/pipelines/datasets/br_stf_corte_aberta/tasks.py +++ b/pipelines/datasets/br_stf_corte_aberta/tasks.py @@ -33,14 +33,14 @@ def check_for_updates(dataset_id, table_id): dataset_id=dataset_id, table_id=table_id, date_format="yy-mm-dd", - billing_project_id="basedosdados-dev", + billing_project_id="basedosdados", data="data_decisao", ) # Registra a data mais recente do site log(f"Última data no site do STF: {data_obj}") log(f"Última data no site da BD: {data_bq_obj}") # Compara as datas para verificar se há atualizações - if data_obj == data_bq_obj: + if data_obj > data_bq_obj: return True # Há atualizações disponíveis else: return False # Não há novas atualizações disponíveis