From 0544086e67709315af2e8f62c316978e9f15bbb7 Mon Sep 17 00:00:00 2001 From: uiro-bi Date: Wed, 13 Nov 2024 15:57:03 -0300 Subject: [PATCH] reinsert br_me_cnpj default incremental logic --- models/br_me_cnpj/br_me_cnpj__empresas.sql | 2 +- models/br_me_cnpj/br_me_cnpj__estabelecimentos.sql | 3 +-- models/br_me_cnpj/br_me_cnpj__socios.sql | 3 +-- 3 files changed, 3 insertions(+), 5 deletions(-) diff --git a/models/br_me_cnpj/br_me_cnpj__empresas.sql b/models/br_me_cnpj/br_me_cnpj__empresas.sql index e46b7311..798a9815 100644 --- a/models/br_me_cnpj/br_me_cnpj__empresas.sql +++ b/models/br_me_cnpj/br_me_cnpj__empresas.sql @@ -28,4 +28,4 @@ with ) select * from cnpj_empresas -{% if is_incremental() %} where data in ('2024-09-18', '2024-10-16') {% endif %} +{% if is_incremental() %} where data > (select max(data) from {{ this }}) {% endif %} diff --git a/models/br_me_cnpj/br_me_cnpj__estabelecimentos.sql b/models/br_me_cnpj/br_me_cnpj__estabelecimentos.sql index 4b39b167..ec08e88a 100644 --- a/models/br_me_cnpj/br_me_cnpj__estabelecimentos.sql +++ b/models/br_me_cnpj/br_me_cnpj__estabelecimentos.sql @@ -8,7 +8,6 @@ "data_type": "date", }, cluster_by="sigla_uf", - incremental_strategy="insert_overwrite", pre_hook="DROP ALL ROW ACCESS POLICIES ON {{ this }}", ) }} @@ -60,4 +59,4 @@ with ) select * from cnpj_estabelecimentos -{% if is_incremental() %} where data in ('2024-09-18', '2024-10-16') {% endif %} +{% if is_incremental() %} where data > (select max(data) from {{ this }}) {% endif %} diff --git a/models/br_me_cnpj/br_me_cnpj__socios.sql b/models/br_me_cnpj/br_me_cnpj__socios.sql index a6a3a683..cc0f5d5d 100644 --- a/models/br_me_cnpj/br_me_cnpj__socios.sql +++ b/models/br_me_cnpj/br_me_cnpj__socios.sql @@ -8,7 +8,6 @@ "data_type": "date", }, pre_hook="DROP ALL ROW ACCESS POLICIES ON {{ this }}", - incremental_strategy="insert_overwrite", ) }} with @@ -33,4 +32,4 @@ with ) select * from cnpj_socios -{% if is_incremental() %} where data in ('2024-09-18', '2024-10-16') {% endif %} +{% if is_incremental() %} where data > (select max(data) from {{ this }}) {% endif %}