From 86ef04efe57757a1b685fe328e7c9a5f2cf6f2be Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Fri, 15 Sep 2023 20:08:14 -0300 Subject: [PATCH 1/3] feat: removing br_me_comex_atualizado tables --- .../br_me_comex_stat/municipio_exportacao.sql | 13 ++- .../municipio_exportacao_atualizado.sql | 27 ----- .../br_me_comex_stat/municipio_importacao.sql | 15 ++- .../municipio_importacao_atualizado.sql | 27 ----- models/br_me_comex_stat/ncm_exportacao.sql | 13 ++- .../ncm_exportacao_atualizado.sql | 29 ----- models/br_me_comex_stat/ncm_importacao.sql | 14 ++- .../ncm_importacao_atualizado.sql | 33 ------ models/br_me_comex_stat/schema.yml | 100 ------------------ 9 files changed, 42 insertions(+), 229 deletions(-) delete mode 100644 models/br_me_comex_stat/municipio_exportacao_atualizado.sql delete mode 100644 models/br_me_comex_stat/municipio_importacao_atualizado.sql delete mode 100644 models/br_me_comex_stat/ncm_exportacao_atualizado.sql delete mode 100644 models/br_me_comex_stat/ncm_importacao_atualizado.sql diff --git a/models/br_me_comex_stat/municipio_exportacao.sql b/models/br_me_comex_stat/municipio_exportacao.sql index 74d5e884..2785e7c2 100644 --- a/models/br_me_comex_stat/municipio_exportacao.sql +++ b/models/br_me_comex_stat/municipio_exportacao.sql @@ -11,7 +11,16 @@ "interval": 1} }, cluster_by = ["mes", "sigla_uf"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}) + labels = {'project_id': 'basedosdados', 'tema': 'economia'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -23,5 +32,3 @@ SAFE_CAST(id_municipio AS STRING) id_municipio, SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar FROM basedosdados-staging.br_me_comex_stat_staging.municipio_exportacao AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_me_comex_stat/municipio_exportacao_atualizado.sql b/models/br_me_comex_stat/municipio_exportacao_atualizado.sql deleted file mode 100644 index 682770ee..00000000 --- a/models/br_me_comex_stat/municipio_exportacao_atualizado.sql +++ /dev/null @@ -1,27 +0,0 @@ -{{ - config( - schema='br_me_comex_stat', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 1997, - "end": 2023, - "interval": 1} - }, - cluster_by = ["mes", "sigla_uf"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(id_sh4 AS STRING) id_sh4, -SAFE_CAST(id_pais AS STRING) id_pais, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(id_municipio AS STRING) id_municipio, -SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, -SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar -FROM basedosdados-staging.br_me_comex_stat_staging.municipio_exportacao AS t \ No newline at end of file diff --git a/models/br_me_comex_stat/municipio_importacao.sql b/models/br_me_comex_stat/municipio_importacao.sql index 61ff5418..29518eaa 100644 --- a/models/br_me_comex_stat/municipio_importacao.sql +++ b/models/br_me_comex_stat/municipio_importacao.sql @@ -11,7 +11,16 @@ "interval": 1} }, cluster_by = ["mes","sigla_uf"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}) + labels = {'project_id': 'basedosdados', 'tema': 'economia'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)']) }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -22,6 +31,4 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(id_municipio AS STRING) id_municipio, SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar -FROM basedosdados-staging.br_me_comex_stat_staging.municipio_importacao AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file +FROM basedosdados-staging.br_me_comex_stat_staging.municipio_importacao AS t \ No newline at end of file diff --git a/models/br_me_comex_stat/municipio_importacao_atualizado.sql b/models/br_me_comex_stat/municipio_importacao_atualizado.sql deleted file mode 100644 index e734fb22..00000000 --- a/models/br_me_comex_stat/municipio_importacao_atualizado.sql +++ /dev/null @@ -1,27 +0,0 @@ -{{ - config( - schema='br_me_comex_stat', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 1997, - "end": 2023, - "interval": 1} - }, - cluster_by = ["mes","sigla_uf"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(id_sh4 AS STRING) id_sh4, -SAFE_CAST(id_pais AS STRING) id_pais, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(id_municipio AS STRING) id_municipio, -SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, -SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar -FROM basedosdados-staging.br_me_comex_stat_staging.municipio_importacao AS t \ No newline at end of file diff --git a/models/br_me_comex_stat/ncm_exportacao.sql b/models/br_me_comex_stat/ncm_exportacao.sql index 37172ed1..68bf8869 100644 --- a/models/br_me_comex_stat/ncm_exportacao.sql +++ b/models/br_me_comex_stat/ncm_exportacao.sql @@ -10,7 +10,16 @@ "interval": 1} }, cluster_by = ["mes","sigla_uf_ncm"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'} + labels = {'project_id': 'basedosdados', 'tema': 'economia'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT @@ -26,5 +35,3 @@ SAFE_CAST(quantidade_estatistica AS INT64) quantidade_estatistica, SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar FROM basedosdados-staging.br_me_comex_stat_staging.ncm_exportacao AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_me_comex_stat/ncm_exportacao_atualizado.sql b/models/br_me_comex_stat/ncm_exportacao_atualizado.sql deleted file mode 100644 index f354c6ad..00000000 --- a/models/br_me_comex_stat/ncm_exportacao_atualizado.sql +++ /dev/null @@ -1,29 +0,0 @@ -{{ config( - schema='br_me_comex_stat', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 1997, - "end": 2023, - "interval": 1} - }, - cluster_by = ["mes","sigla_uf_ncm"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(id_ncm AS STRING) id_ncm, -SAFE_CAST(id_unidade AS STRING) id_unidade, -SAFE_CAST(id_pais AS STRING) id_pais, -SAFE_CAST(sigla_uf_ncm AS STRING) sigla_uf_ncm, -SAFE_CAST(id_via AS STRING) id_via, -SAFE_CAST(id_urf AS STRING) id_urf, -SAFE_CAST(quantidade_estatistica AS INT64) quantidade_estatistica, -SAFE_CAST(peso_liquido_kg AS INT64) peso_liquido_kg, -SAFE_CAST(valor_fob_dolar AS INT64) valor_fob_dolar -FROM basedosdados-staging.br_me_comex_stat_staging.ncm_exportacao AS t \ No newline at end of file diff --git a/models/br_me_comex_stat/ncm_importacao.sql b/models/br_me_comex_stat/ncm_importacao.sql index fbd71fe0..759afb49 100644 --- a/models/br_me_comex_stat/ncm_importacao.sql +++ b/models/br_me_comex_stat/ncm_importacao.sql @@ -10,7 +10,17 @@ "interval": 1} }, cluster_by = ["mes","sigla_uf_ncm"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}) + labels = {'project_id': 'basedosdados', 'tema': 'economia'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] + ) }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -27,5 +37,3 @@ SAFE_CAST(valor_fob_dolar AS FLOAT64) valor_fob_dolar, SAFE_CAST(valor_frete AS FLOAT64) valor_frete, SAFE_CAST(valor_seguro AS FLOAT64) valor_seguro FROM basedosdados-staging.br_me_comex_stat_staging.ncm_importacao AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_me_comex_stat/ncm_importacao_atualizado.sql b/models/br_me_comex_stat/ncm_importacao_atualizado.sql deleted file mode 100644 index 3ab05b59..00000000 --- a/models/br_me_comex_stat/ncm_importacao_atualizado.sql +++ /dev/null @@ -1,33 +0,0 @@ -{{ config( - schema='br_me_comex_stat', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 1997, - "end": 2023, - "interval": 1} - }, - cluster_by = ["mes","sigla_uf_ncm"], - labels = {'project_id': 'basedosdados', 'tema': 'economia'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} - - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(id_ncm AS STRING) id_ncm, -SAFE_CAST(id_unidade AS STRING) id_unidade, -SAFE_CAST(id_pais AS STRING) id_pais, -SAFE_CAST(sigla_uf_ncm AS STRING) sigla_uf_ncm, -SAFE_CAST(id_via AS STRING) id_via, -SAFE_CAST(id_urf AS STRING) id_urf, -SAFE_CAST(quantidade_estatistica AS FLOAT64) quantidade_estatistica, -SAFE_CAST(peso_liquido_kg AS FLOAT64) peso_liquido_kg, -SAFE_CAST(valor_fob_dolar AS FLOAT64) valor_fob_dolar, -SAFE_CAST(valor_frete AS FLOAT64) valor_frete, -SAFE_CAST(valor_seguro AS FLOAT64) valor_seguro -FROM basedosdados-staging.br_me_comex_stat_staging.ncm_importacao AS t diff --git a/models/br_me_comex_stat/schema.yml b/models/br_me_comex_stat/schema.yml index 8f463b15..a03c7181 100644 --- a/models/br_me_comex_stat/schema.yml +++ b/models/br_me_comex_stat/schema.yml @@ -20,27 +20,6 @@ models: description: Peso Líquido - name: valor_fob_dolar description: Valor Livre a Bordo - - - name: municipio_exportacao_atualizado - description: Base de dados detalhada por município da empresa exportadora e Posição do Sistema Harmonizado (SH4) - columns: - - name: ano - description: Ano - - name: mes - description: Mês - - name: id_sh4 - description: ID Sistema Harmonizado - - name: id_pais - description: ID País - - name: sigla_uf - description: Sigla da Unidade da Federação - - name: id_municipio - description: ID Município - IBGE 7 Dígitos - - name: peso_liquido_kg - description: Peso Líquido - - name: valor_fob_dolar - description: Valor Livre a Bordo - - name: municipio_importacao description: Base de dados detalhada por município da empresa importadora e Posição do Sistema Harmonizado (SH4) columns: @@ -60,27 +39,6 @@ models: description: Peso Líquido - name: valor_fob_dolar description: Valor Livre a Bordo - - - name: municipio_importacao_atualizado - description: Base de dados detalhada por município da empresa importadora e Posição do Sistema Harmonizado (SH4) - columns: - - name: ano - description: Ano - - name: mes - description: Mês - - name: id_sh4 - description: ID Sistema Harmonizado - - name: id_pais - description: ID País - - name: sigla_uf - description: Sigla da Unidade da Federação - - name: id_municipio - description: ID Município - IBGE 7 Dígitos - - name: peso_liquido_kg - description: Peso Líquido - - name: valor_fob_dolar - description: Valor Livre a Bordo - - name: ncm_importacao description: Base de dados dos produtos importados pelo Brasil segundo a Nomenclatura Comum do Mercosul columns: @@ -110,37 +68,6 @@ models: description: Valor do Frete - name: valor_seguro description: Valor do Seguro - - - name: ncm_importacao_atualizado - description: Base de dados dos produtos importados pelo Brasil segundo a Nomenclatura Comum do Mercosul - columns: - - name: ano - description: Ano - - name: mes - description: Mês - - name: id_ncm - description: ID Produto - Nomenclatura Comum do Mercosul - - name: id_unidade - description: ID Unidade - - name: id_pais - description: ID País - - name: sigla_uf_ncm - description: Sigla da Unidade da Federação - Nomenclatura Comum do Mercosu - - name: id_via - description: ID Via de Transporte - - name: id_urf - description: ID da URF de embarque/desembarque - - name: quantidade_estatistica - description: Quantidade Estatística - - name: peso_liquido_kg - description: Peso Líquido - - name: valor_fob_dolar - description: Valor Livre a Bordo - - name: valor_frete - description: Valor do Frete - - name: valor_seguro - description: Valor do Seguro - - name: ncm_exportacao description: Base de dados detalhada de exportação por NCM. Os arquivos auxiliares com todos os dicionários e valores de variáveis se encontram em https://storage.googleapis.com/basedosdados/auxiliary_files/br_me_comex_stat.zip. columns: @@ -166,33 +93,6 @@ models: description: Peso Líquido - name: valor_fob_dolar description: Valor Livre a Bordo - - - name: ncm_exportacao_atualizado - description: Base de dados detalhada de exportação por NCM. Os arquivos auxiliares com todos os dicionários e valores de variáveis se encontram em https://storage.googleapis.com/basedosdados/auxiliary_files/br_me_comex_stat.zip. - columns: - - name: ano - description: Ano - - name: mes - description: Mês - - name: id_ncm - description: ID Produto - Nomenclatura Comum do Mercosul - - name: id_unidade - description: ID Unidade - - name: id_pais - description: ID País - - name: sigla_uf_ncm - description: Sigla da Unidade da Federação - Nomenclatura Comum do Mercosu - - name: id_via - description: ID Via de Transporte - - name: id_urf - description: ID da URF de embarque/desembarque - - name: quantidade_estatistica - description: Quantidade Estatística - - name: peso_liquido_kg - description: Peso Líquido - - name: valor_fob_dolar - description: Valor Livre a Bordo - - name: dicionario description: Dicionário de dados. columns: From 8d8484494f9588407c85def74b992a0623744b2a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Fri, 22 Sep 2023 17:47:16 -0300 Subject: [PATCH 2/3] feat: changing anatel models --- ...natel_banda_larga_fixa__densidade_brasil.sql | 15 ++++++++++++--- ...el_banda_larga_fixa__densidade_municipio.sql | 17 +++++++++++++---- ...br_anatel_banda_larga_fixa__densidade_uf.sql | 15 ++++++++++++--- .../br_anatel_banda_larga_fixa__microdados.sql | 17 +++++++++++++---- ...anatel_telefonia_movel__densidade_brasil.sql | 14 +++++++++++--- ...tel_telefonia_movel__densidade_municipio.sql | 14 +++++++++++--- .../br_anatel_telefonia_movel__densidade_uf.sql | 17 ++++++++++++----- .../br_anatel_telefonia_movel__microdados.sql | 14 +++++++++++--- 8 files changed, 95 insertions(+), 28 deletions(-) diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql index 9c2ca683..bd8411a3 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql @@ -1,9 +1,18 @@ -{{ config(alias='densidade_brasil', schema='br_anatel_banda_larga_fixa') }} +{{ config(alias='densidade_brasil', schema='br_anatel_banda_larga_fixa', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR + DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql index 91d64756..d64b9653 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql @@ -1,6 +1,17 @@ {{ config( alias='densidade_municipio', - schema='br_anatel_banda_larga_fixa') + schema='br_anatel_banda_larga_fixa', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR + DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT @@ -9,6 +20,4 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(id_municipio AS STRING) id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql index 2c026f5c..400ef1aa 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql @@ -1,4 +1,15 @@ -{{ config(alias='densidade_uf', schema='br_anatel_banda_larga_fixa') }} +{{ config(alias='densidade_uf', schema='br_anatel_banda_larga_fixa', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR + DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -6,5 +17,3 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql index 6c299859..2158504d 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql @@ -11,7 +11,18 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) + labels = {'project_id': 'basedosdados'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 OR + DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) < 0)'] ) }} SELECT @@ -27,6 +38,4 @@ SAFE_CAST(transmissao AS STRING) transmissao, SAFE_CAST(velocidade AS STRING) velocidade, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql index 27a13430..7c4acc1a 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql @@ -1,9 +1,17 @@ -{{ config(alias='densidade_brasil', schema='br_anatel_telefonia_movel') }} +{{ config(alias='densidade_brasil', schema='br_anatel_telefonia_movel', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) <= 6)'] ) }} SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade - FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql index 1597f95e..b06b08ac 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql @@ -1,4 +1,13 @@ -{{ config(alias='densidade_municipio', schema='br_anatel_telefonia_movel') }} +{{ config(alias='densidade_municipio', schema='br_anatel_telefonia_movel', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) <= 6)']) }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -6,6 +15,5 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade - FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql index c276bce5..eefca888 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql @@ -1,10 +1,17 @@ -{{ config(alias='densidade_uf', schema='br_anatel_telefonia_movel') }} - +{{ config(alias='densidade_uf', schema='br_anatel_telefonia_movel', + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) <= 6)']) }} + SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 \ No newline at end of file +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index 43c5dff9..5907ef23 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -11,7 +11,16 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) + labels = {'project_id': 'basedosdados'}, + post_hook = [ + 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) <= 6)']) }} @@ -30,6 +39,5 @@ SAFE_CAST(modalidade AS STRING) modalidade, SAFE_CAST(pessoa AS STRING) pessoa, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos - FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + From 28a69a6092fc4ff5ed08d5866413a0a15069f475 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Fri, 22 Sep 2023 17:51:06 -0300 Subject: [PATCH 3/3] feat: removing atualizado tables --- ...arga_fixa__densidade_brasil_atualizado.sql | 11 ------ ...a_fixa__densidade_municipio_atualizado.sql | 15 -------- ...da_larga_fixa__densidade_uf_atualizado.sql | 11 ------ ...anda_larga_fixa__microdados_atualizado.sql | 34 ------------------ ...nia_movel__densidade_brasil_atualizado.sql | 11 ------ ..._movel__densidade_municipio_atualizado.sql | 14 -------- ...lefonia_movel__densidade_uf_atualizado.sql | 11 ------ ...telefonia_movel__microdados_atualizado.sql | 36 ------------------- 8 files changed, 143 deletions(-) delete mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql delete mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql delete mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql delete mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql delete mode 100644 models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql delete mode 100644 models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql delete mode 100644 models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql delete mode 100644 models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql deleted file mode 100644 index cf276511..00000000 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql +++ /dev/null @@ -1,11 +0,0 @@ -{{ config(alias='densidade_brasil_atualizado', schema='br_anatel_banda_larga_fixa', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t - diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql deleted file mode 100644 index e803e138..00000000 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql +++ /dev/null @@ -1,15 +0,0 @@ -{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_banda_larga_fixa', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - - -SELECT - -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, -SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t - diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql deleted file mode 100644 index 8a96cc43..00000000 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql +++ /dev/null @@ -1,11 +0,0 @@ -{{ config(alias='densidade_uf_atualizado', schema='br_anatel_banda_larga_fixa', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t - diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql deleted file mode 100644 index 4b929c57..00000000 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql +++ /dev/null @@ -1,34 +0,0 @@ -{{ config( - alias='microdados_atualizado', - schema='br_anatel_banda_larga_fixa', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2007, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} - - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(id_municipio AS STRING) id_municipio, -SAFE_CAST(cnpj AS STRING) cnpj, -SAFE_CAST(empresa AS STRING) empresa, -SAFE_CAST(porte_empresa AS STRING) porte_empresa, -SAFE_CAST(tecnologia AS STRING) tecnologia, -SAFE_CAST(transmissao AS STRING) transmissao, -SAFE_CAST(velocidade AS STRING) velocidade, -SAFE_CAST(produto AS STRING) produto, -SAFE_CAST(acessos AS INT64) acessos - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql deleted file mode 100644 index 50dee8b6..00000000 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql +++ /dev/null @@ -1,11 +0,0 @@ -{{ config(alias='densidade_brasil_atualizado', schema='br_anatel_telefonia_movel', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t - diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql deleted file mode 100644 index 94f0ffd1..00000000 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql +++ /dev/null @@ -1,14 +0,0 @@ -{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_telefonia_movel', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - -SELECT - -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, -SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t - diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql deleted file mode 100644 index fe074d43..00000000 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql +++ /dev/null @@ -1,11 +0,0 @@ -{{ config(alias='densidade_uf_atualizado', schema='br_anatel_telefonia_movel', - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t - diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql deleted file mode 100644 index 13022c6a..00000000 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql +++ /dev/null @@ -1,36 +0,0 @@ -{{ config( - alias='microdados_atualizado', - schema='br_anatel_telefonia_movel', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2019, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}, - post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} - - -SELECT -SAFE_CAST(ano AS INT64) ano, -SAFE_CAST(mes AS INT64) mes, -SAFE_CAST(sigla_uf AS STRING) sigla_uf, -SAFE_CAST(ddd AS STRING) ddd, -SAFE_CAST(id_municipio AS STRING) id_municipio, -SAFE_CAST(cnpj AS STRING) cnpj, -SAFE_CAST(empresa AS STRING) empresa, -SAFE_CAST(porte_empresa AS STRING) porte_empresa, -SAFE_CAST(tecnologia AS STRING) tecnologia, -SAFE_CAST(sinal AS STRING) sinal, -SAFE_CAST(modalidade AS STRING) modalidade, -SAFE_CAST(pessoa AS STRING) pessoa, -SAFE_CAST(produto AS STRING) produto, -SAFE_CAST(acessos AS INT64) acessos - -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t