Merge pull request #574 from basedosdados/create_dict

Create all dictionaries

dbt_project.yml

@@ -42,9 +42,6 @@ models:
     columns: true
   basedosdados:
     # Config indicated by + and applies to all files under models/example/
-    example:
-      +materialized: table  # Materialization type (table, table or incremental)
-      +schema: example  # Overrides the default schema (defaults to what is set on profiles.yml)
     br_anatel_banda_larga_fixa:
       +materialized: table
       +schema: br_anatel_banda_larga_fixa
@@ -150,12 +147,15 @@ models:
     br_geobr_mapas:
       +materialized: table
       +schema: br_geobr_mapas
+    br_ibge_censo_2022:
+      +materialized: table
+      +schema: br_ibge_censo_2022
     br_ibge_censo_demografico:
       +materialized: table
       +schema: br_ibge_censo_demografico
-    br_ibge_censo_2022:
+    br_ibge_estadic:
       +materialized: table
-      +schema: br_ibge_censo_2022
+      +schema: br_ibge_estadic
     br_ibge_inpc:
       +materialized: table
       +schema: br_ibge_inpc
@@ -174,12 +174,24 @@ models:
     br_ibge_pib:
       +materialized: table
       +schema: br_ibge_pib
+    br_ibge_pnad:
+      +materialized: table
+      +schema: br_ibge_pnad
+    br_ibge_pnad_covid:
+      +materialized: table
+      +schema: br_ibge_pnad_covid
     br_ibge_pnadc:
       +materialized: table
       +schema: br_ibge_pnadc
+    br_ibge_pof:
+      +materialized: table
+      +schema: br_ibge_pof
     br_ibge_ppm:
       +materialized: table
       +schema: br_ibge_ppm
+    br_inep_ana:
+      +materialized: table
+      +schema: br_inep_ana
     br_inep_censo_educacao_superior:
       +materialized: table
       +schema: br_inep_censo_educacao_superior
@@ -192,6 +204,12 @@ models:
     br_inep_enem:
       +materialized: table
       +schema: br_inep_enem
+    br_inep_formacao_docente:
+      +materialized: table
+      +schema: br_inep_formacao_docente
+    br_inep_indicador_nivel_socioeconomico:
+      +materialized: table
+      +schema: br_inep_indicador_nivel_socioeconomico
     br_inep_indicadores_educacionais:
       +materialized: table
       +schema: br_inep_indicadores_educacionais
@@ -219,12 +237,24 @@ models:
     br_me_caged:
       +materialized: table
       +schema: br_me_caged
+    br_me_cno:
+      +materialized: table
+      +schema: br_me_cno
     br_me_cnpj:
       +materialized: table
       +schema: br_me_cnpj
     br_me_comex_stat:
       +materialized: table
       +schema: br_me_comex_stat
+    br_me_rais:
+      +materialized: table
+      +schema: br_me_rais
+    br_me_sic:
+      +materialized: table
+      +schema: br_me_sic
+    br_mec_prouni:
+      +materialized: table
+      +schema: br_mec_prouni
     br_mercadolivre_ofertas:
       +materialized: table
       +schema: br_mercadolivre_ofertas
@@ -234,9 +264,6 @@ models:
     br_mg_belohorizonte_smfa_iptu:
       +materialized: table
       +schema: br_mg_belohorizonte_smfa_iptu
-      +post-hook:
-        - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"
-        - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:[email protected]"
     br_mme_consumo_energia_eletrica:
       +materialized: table
       +schema: br_mme_consumo_energia_eletrica
@@ -261,6 +288,9 @@ models:
     br_ms_sinasc:
       +materialized: table
       +schema: br_ms_sinasc
+    br_ms_vacinacao_covid19:
+      +materialized: table
+      +schema: br_ms_vacinacao_covid19
     br_ons_avaliacao_operacao:
       +materialized: table
       +schema: br_ons_avaliacao_operacao
@@ -270,6 +300,9 @@ models:
     br_poder360_pesquisas:
       +materialized: table
       +schema: br_poder360_pesquisas
+    br_rf_cafir:
+      +materialized: table
+      +schema: br_rf_cafir
     br_rj_isp_estatisticas_seguranca:
       +materialized: table
       +schema: br_rj_isp_estatisticas_seguranca
@@ -285,27 +318,33 @@ models:
     br_stf_corte_aberta:
       +materialized: table
       +schema: br_stf_corte_aberta
+    br_trase_supply_chain:
+      +materialized: table
+      +schema: br_trase_supply_chain
     br_tse_eleicoes:
       +materialized: table
       +schema: br_tse_eleicoes
     br_tse_eleicoes_2022:
       +materialized: table
       +schema: br_tse_eleicoes_2022
-    br_trase_supply_chain:
-      +materialized: table
-      +schema: br_trase_supply_chain
-    br_rf_cafir:
-      +materialized: table
-      +schema: br_rf_cafir
+    example:
+      +materialized: table  # Materialization type (table, table or incremental)
+      +schema: example  # Overrides the default schema (defaults to what is set on profiles.yml)
     fundacao_lemann:
       +materialized: table
       +schema: fundacao_lemann
+    mundo_bm_wdi:
+      +materialized: table
+      +schema: mundo_bm_wdi
     mundo_transfermarkt_competicoes:
       +materialized: table
       +schema: mundo_transfermarkt_competicoes
     mundo_transfermarkt_competicoes_internacionais:
       +materialized: table
       +schema: mundo_transfermarkt_competicoes_internacionais
+    test_dataset:
+      +materialized: table
+      +schema: test_dataset
     world_ampas_oscar:
       +materialized: table
       +schema: world_ampas_oscar
@@ -324,8 +363,5 @@ models:
     world_wwf_hydrosheds:
       +materialized: table
       +schema: world_wwf_hydrosheds
-    test_dataset:
-      +materialized: table
-      +schema: test_dataset
   elementary:
     +schema: elementary

models/br_bcb_estban/br_bcb_estban__dicionario.sql

@@ -0,0 +1,8 @@
+{{ config(alias="dicionario", schema="br_bcb_estban") }}
+select
+    safe_cast(id_tabela as string) id_tabela,
+    safe_cast(nome_coluna as string) nome_coluna,
+    safe_cast(chave as string) chave,
+    safe_cast(cobertura_temporal as string) cobertura_temporal,
+    safe_cast(valor as string) valor,
+from `basedosdados-staging.br_bcb_estban_staging.dicionario` as t

models/br_bcb_estban/schema.yml

@@ -133,3 +133,27 @@ models:
                 where: __most_recent_year_month__
       - name: valor
         description: Valores
+  - name: br_bcb_estban__dicionario
+    description: Dicionário para tradução dos códigos do conjunto br_bcb_estban. Para
+      taduzir códigos compartilhados entre instituições, como id_municipio, buscar
+      por diretórios
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - id_tabela
+            - nome_coluna
+            - chave
+            - cobertura_temporal
+      - not_null_proportion_multiple_columns:
+          at_least: 0.95
+    columns:
+      - name: id_tabela
+        description: ID Tabela
+      - name: nome_coluna
+        description: Nome da coluna
+      - name: chave
+        description: Chave
+      - name: cobertura_temporal
+        description: Cobertura Temporal
+      - name: valor
+        description: Valor

models/br_bcb_sicor/br_bcb_sicor__dicionario.sql

@@ -1,14 +1,8 @@
-{{
-    config(
-        alias="dicionario",
-        schema="br_bcb_sicor",
-        materialized="table",
-    )
-}}
+{{ config(alias="dicionario", schema="br_bcb_sicor") }}
 select
     safe_cast(id_tabela as string) id_tabela,
     safe_cast(nome_coluna as string) nome_coluna,
     safe_cast(chave as string) chave,
     safe_cast(cobertura_temporal as string) cobertura_temporal,
-    safe_cast(valor as string) valor
+    safe_cast(valor as string) valor,
 from `basedosdados-staging.br_bcb_sicor_staging.dicionario` as t

models/br_bcb_sicor/schema.yml

@@ -1,19 +1,6 @@
 ---
 version: 2
 models:
-  - name: br_bcb_sicor__dicionario
-    description: Dicionário
-    columns:
-      - name: id_tabela
-        description: ID Tabela
-      - name: nome_coluna
-        description: Nome da coluna
-      - name: chave
-        description: Chave
-      - name: cobertura_temporal
-        description: Cobertura temporal
-      - name: valor
-        description: Valor
   - name: br_bcb_sicor__microdados_operacao
     description: A tabela de Operações contém os microdados das contratações de crédito
       de cada estado brasileiro. Nela, estão presentes principais informações (categoria
@@ -289,3 +276,27 @@ models:
         description: Tipo da pessoa jurídica
       - name: valor_parcela
         description: Valor da parcela de crédito do cooperado
+  - name: br_bcb_sicor__dicionario
+    description: Dicionário para tradução dos códigos do conjunto br_bcb_sicor. Para
+      taduzir códigos compartilhados entre instituições, como id_municipio, buscar
+      por diretórios
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - id_tabela
+            - nome_coluna
+            - chave
+            - cobertura_temporal
+      - not_null_proportion_multiple_columns:
+          at_least: 0.05
+    columns:
+      - name: id_tabela
+        description: ID Tabela
+      - name: nome_coluna
+        description: Nome da coluna
+      - name: chave
+        description: Chave
+      - name: cobertura_temporal
+        description: Cobertura Temporal
+      - name: valor
+        description: Valor

models/br_cnpq_bolsas/br_cnpq_bolsas__dicionario.sql

@@ -0,0 +1,8 @@
+{{ config(alias="dicionario", schema="br_cnpq_bolsas") }}
+select
+    safe_cast(id_tabela as string) id_tabela,
+    safe_cast(nome_coluna as string) nome_coluna,
+    safe_cast(chave as string) chave,
+    safe_cast(cobertura_temporal as string) cobertura_temporal,
+    safe_cast(valor as string) valor,
+from `basedosdados-staging.br_cnpq_bolsas_staging.dicionario` as t

models/br_cnpq_bolsas/schema.yml

@@ -67,3 +67,27 @@ models:
         description: Ação Plano Plurianual
       - name: valor
         description: Valor pago da bolsa
+  - name: br_cnpq_bolsas__dicionario
+    description: Dicionário para tradução dos códigos do conjunto br_cnpq_bolsas.
+      Para taduzir códigos compartilhados entre instituições, como id_municipio, buscar
+      por diretórios
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - id_tabela
+            - nome_coluna
+            - chave
+            - cobertura_temporal
+      - not_null_proportion_multiple_columns:
+          at_least: 0.05
+    columns:
+      - name: id_tabela
+        description: ID Tabela
+      - name: nome_coluna
+        description: Nome da coluna
+      - name: chave
+        description: Chave
+      - name: cobertura_temporal
+        description: Cobertura Temporal
+      - name: valor
+        description: Valor

models/br_ibge_censo_2022/br_ibge_censo_2022__dicionario.sql

@@ -1,10 +1,8 @@
 {{ config(alias="dicionario", schema="br_ibge_censo_2022") }}
-
 select
     safe_cast(id_tabela as string) id_tabela,
     safe_cast(nome_coluna as string) nome_coluna,
     safe_cast(chave as string) chave,
     safe_cast(cobertura_temporal as string) cobertura_temporal,
-    safe_cast(valor as string) valor
-
+    safe_cast(valor as string) valor,
 from `basedosdados-staging.br_ibge_censo_2022_staging.dicionario` as t

models/br_ibge_censo_2022/schema.yml

@@ -553,19 +553,6 @@ models:
         description: Longitude da Coordenada de Localização da Espécie do Endereço
       - name: ponto
         description: Ponto geográfico criado a partir das colunas longitude e latitude.
-  - name: br_ibge_censo_2022__dicionario
-    description: Dicionário
-    columns:
-      - name: id_tabela
-        description: ID Tabela
-      - name: nome_coluna
-        description: Nome da coluna
-      - name: chave
-        description: Chave
-      - name: cobertura_temporal
-        description: Cobertura temporal
-      - name: valor
-        description: Valor
   - name: br_ibge_censo_2022__domicilio_quantidade_esgotamento_sanitario_municipio
     description: Domicílios particulares permanentes ocupados, por existência de banheiro
       ou sanitário e número de banheiros de uso exclusivo do domicílio e por tipo
@@ -908,3 +895,27 @@ models:
           DPO imputados / Total DPO)
       - name: domicilios_particulares_ocupados
         description: Total de Domicílios Particulares Ocupados (DPPO + DPIO)
+  - name: br_ibge_censo_2022__dicionario
+    description: Dicionário para tradução dos códigos do conjunto br_ibge_censo_2022.
+      Para taduzir códigos compartilhados entre instituições, como id_municipio, buscar
+      por diretórios
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - id_tabela
+            - nome_coluna
+            - chave
+            - cobertura_temporal
+      - not_null_proportion_multiple_columns:
+          at_least: 0.05
+    columns:
+      - name: id_tabela
+        description: ID Tabela
+      - name: nome_coluna
+        description: Nome da coluna
+      - name: chave
+        description: Chave
+      - name: cobertura_temporal
+        description: Cobertura Temporal
+      - name: valor
+        description: Valor

models/br_ibge_censo_demografico/br_ibge_censo_demografico__dicionario.sql

@@ -1,14 +1,8 @@
-{{
-    config(
-        alias="dicionario",
-        schema="br_ibge_censo_demografico",
-        materialized="table",
-    )
-}}
+{{ config(alias="dicionario", schema="br_ibge_censo_demografico") }}
 select
     safe_cast(id_tabela as string) id_tabela,
     safe_cast(nome_coluna as string) nome_coluna,
     safe_cast(replace(chave, ".0", "") as string) chave,
     safe_cast(cobertura_temporal as string) cobertura_temporal,
-    safe_cast(valor as string) valor
+    safe_cast(valor as string) valor,
 from `basedosdados-staging.br_ibge_censo_demografico_staging.dicionario` as t