From b2a248e826be86bd504e2b42df9b2f9da6115468 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Mon, 8 Jan 2024 19:36:33 -0300 Subject: [PATCH 1/4] feat(models): models for the 4 new censo tables --- ...dice_envelhecimento_cor_raca_municipio.sql | 10 ++ ...igenas_indice_envelhecimento_municipio.sql | 10 ++ ...igenas_populacao_grupo_idade_municipio.sql | 9 + ...populacao_residente_cor_raca_municipio.sql | 10 ++ models/br_ibge_censo_2022/schema.yml | 169 +++++++++++++++++- 5 files changed, 207 insertions(+), 1 deletion(-) create mode 100644 models/br_ibge_censo_2022/br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio.sql create mode 100644 models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql create mode 100644 models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql create mode 100644 models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio.sql new file mode 100644 index 00000000..dbd61198 --- /dev/null +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio.sql @@ -0,0 +1,10 @@ +{{ config(alias='indice_envelhecimento_cor_raca_municipio',schema='br_ibge_censo_2022') }} +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(cod_ AS STRING) id_municipio, +SAFE_CAST(cor_ou_raca AS STRING) cor_raca, +SAFE_CAST(REPLACE(indice_de_envelhecimento_idosos_60_anos_ou_mais_de_idade_razao_, ",", ".") AS FLOAT64) indice_envelhecimento, +SAFE_CAST(idade_mediana_anos_ AS INT64) idade_mediana, +SAFE_CAST(REPLACE(razao_de_sexo_razao_, ",", ".") AS FLOAT64) razao_sexo, +FROM basedosdados-staging.br_ibge_censo_2022_staging.indice_envelhecimento_cor_raca_municipio AS t + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql new file mode 100644 index 00000000..e4a68f61 --- /dev/null +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql @@ -0,0 +1,10 @@ +{{ config(alias='indigenas_indice_envelhecimento_municipio',schema='br_ibge_censo_2022') }} +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(cod_ AS STRING) id_municipio, +SAFE_CAST(quesito_de_declaracao_indigena AS STRING) quesito_declaracao_indigena, +SAFE_CAST(REPLACE(indice_de_envelhecimento_da_populacao_indigena_idosos_60_anos_ou_mais_de_idade_razao_, ",", ".") AS FLOAT64) indice_envelhecimento, +SAFE_CAST(idade_mediana_da_populacao_indigena_anos_ AS INT64) idade_mediana, +SAFE_CAST(REPLACE(razao_de_sexo_da_populacao_indigena_razao_, ",", ".") AS FLOAT64) razao_sexo, +FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_indice_envelhecimento_municipio AS t + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql new file mode 100644 index 00000000..14875ac5 --- /dev/null +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql @@ -0,0 +1,9 @@ +{{ config(alias='indigenas_populacao_grupo_idade_municipio',schema='br_ibge_censo_2022') }} +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(cod_ AS STRING) id_municipio, +SAFE_CAST(grupo_de_idade AS STRING) grupo_idade, +SAFE_CAST(sexo AS STRING) sexo, +SAFE_CAST(pessoas_indigenas_pessoas_ AS INT64) populacao_residente, +FROM basedosdados-dev.br_ibge_censo_2022_staging.indigenas_populacao_grupo_idade_municipio AS t + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql new file mode 100644 index 00000000..f4bcc725 --- /dev/null +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql @@ -0,0 +1,10 @@ +{{ config(alias='populacao_residente_cor_raca_municipio',schema='br_ibge_censo_2022') }} +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(cod_ AS STRING) id_municipio, +SAFE_CAST(idade AS STRING) grupo_idade, +SAFE_CAST(sexo AS STRING) sexo, +SAFE_CAST(cor_ou_raca AS STRING) cor_raca, +SAFE_CAST(populacao_residente_pessoas_ AS INT64) populacao_residente, +FROM basedosdados-dev.br_ibge_censo_2022_staging.populacao_residente_cor_raca_municipio AS t + diff --git a/models/br_ibge_censo_2022/schema.yml b/models/br_ibge_censo_2022/schema.yml index b9533ea2..e9a2bde2 100644 --- a/models/br_ibge_censo_2022/schema.yml +++ b/models/br_ibge_censo_2022/schema.yml @@ -2,7 +2,7 @@ version: 2 models: - name: br_ibge_censo_2022__quilombolas_domicilio_morador_municipio - description: Domicílios particulares permanentes ocupados e Moradores, total e quilombolas, em domicílios particulares permanentes, segundo localização do domicílio. + description: Domicílios particulares permanentes ocupados e Moradores, total e quilombolas, em domicílios particulares permanentes, segundo localização do domicílio. tests: - dbt_utils.unique_combination_of_columns: combination_of_columns: @@ -613,3 +613,170 @@ models: tests: - dbt_utils.not_null_proportion: at_least: 0.05 + - name: br_ibge_censo_2022__indigenas_indice_envelhecimento_grupo_idade_municipio + description: teste + tests: + - dbt_utils.unique_combination_of_columns: + combination_of_columns: + - ano + - id_municipio + - quesito_declaracao_indigena + columns: + - name: ano + description: Ano + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: id_municipio + description: ID Município IBGE 7 dígitos + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id + - name: quesito_declaracao_indigena + description: Quesito de declaração indígena + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: indice_envelhecimento + description: Índice de envelhecimento da população indígena + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: idade_mediana + description: Idade mediana da população indígena + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: razao_sexo + description: Razão de sexo da população indígena + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio + description: teste + tests: + - dbt_utils.unique_combination_of_columns: + combination_of_columns: + - ano + - id_municipio + - grupo_idade + - sexo + columns: + - name: ano + description: Ano + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: id_municipio + description: ID Município IBGE 7 dígitos + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id + - name: grupo_idade + description: Grupo de Idade + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: sexo + description: Sexo + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: populacao_residente + description: População Residentne + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio + description: teste + here + tests: + - dbt_utils.unique_combination_of_columns: + combination_of_columns: + - ano + - id_municipio + - cor_raca + columns: + - name: ano + description: Ano + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: id_municipio + description: ID Município IBGE 7 dígitos + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id + - name: cor_raca + description: Cor ou Raça + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: indice_envelhecimento + description: 'Índice de envelhecimento (Idosos: 60 anos ou mais de idade)' + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: idade_mediana + description: Idade mediana + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: razao_sexo + description: Razão de sexo + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: br_ibge_censo_2022__populacao_residente_cor_raca_municipio + description: teste + tests: + - dbt_utils.unique_combination_of_columns: + combination_of_columns: + - ano + - id_municipio + - grupo_idade + - sexo + - cor_raca + columns: + - name: ano + description: Ano + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: id_municipio + description: ID Município IBGE 7 dígitos + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id + - name: grupo_idade + description: Grupo de Idade + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: sexo + description: Sexo + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: cor_raca + description: Cor ou Raça + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 + - name: populacao_residente + description: População + tests: + - dbt_utils.not_null_proportion: + at_least: 0.05 From f4038284a60b275573165cd1ed67d4ad0747fa4b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Mon, 8 Jan 2024 19:44:29 -0300 Subject: [PATCH 2/4] feat(schema): adding description --- models/br_ibge_censo_2022/schema.yml | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/models/br_ibge_censo_2022/schema.yml b/models/br_ibge_censo_2022/schema.yml index e9a2bde2..7ee38bbb 100644 --- a/models/br_ibge_censo_2022/schema.yml +++ b/models/br_ibge_censo_2022/schema.yml @@ -614,7 +614,7 @@ models: - dbt_utils.not_null_proportion: at_least: 0.05 - name: br_ibge_censo_2022__indigenas_indice_envelhecimento_grupo_idade_municipio - description: teste + description: Índice de envelhecimento, idade mediana e razão de sexo da população indígena, por quesito de declaração indígena tests: - dbt_utils.unique_combination_of_columns: combination_of_columns: @@ -656,7 +656,7 @@ models: - dbt_utils.not_null_proportion: at_least: 0.05 - name: br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio - description: teste + description: População indígena, por grupos de idade e sexo tests: - dbt_utils.unique_combination_of_columns: combination_of_columns: @@ -694,7 +694,7 @@ models: - dbt_utils.not_null_proportion: at_least: 0.05 - name: br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio - description: teste + description: Índice de envelhecimento, idade mediana e razão de sexo, por cor ou raça here tests: - dbt_utils.unique_combination_of_columns: @@ -737,7 +737,7 @@ models: - dbt_utils.not_null_proportion: at_least: 0.05 - name: br_ibge_censo_2022__populacao_residente_cor_raca_municipio - description: teste + description: População residente, por cor ou raça, segundo o sexo e a idade tests: - dbt_utils.unique_combination_of_columns: combination_of_columns: From f330f8330158afbc1cf1799dd06aa754934d02e9 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Mon, 8 Jan 2024 21:18:08 -0300 Subject: [PATCH 3/4] fix(idade column): fixing idade columns --- ..._censo_2022__indigenas_populacao_grupo_idade_municipio.sql | 4 ++-- .../br_ibge_censo_2022__populacao_grupo_idade_uf.sql | 1 + ...bge_censo_2022__populacao_residente_cor_raca_municipio.sql | 3 ++- .../br_ibge_censo_2022__populacao_residente_municipio.sql | 1 + 4 files changed, 6 insertions(+), 3 deletions(-) diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql index 14875ac5..76af53d1 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql @@ -5,5 +5,5 @@ SAFE_CAST(cod_ AS STRING) id_municipio, SAFE_CAST(grupo_de_idade AS STRING) grupo_idade, SAFE_CAST(sexo AS STRING) sexo, SAFE_CAST(pessoas_indigenas_pessoas_ AS INT64) populacao_residente, -FROM basedosdados-dev.br_ibge_censo_2022_staging.indigenas_populacao_grupo_idade_municipio AS t - +FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_grupo_idade_municipio AS t +where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql index a1725131..58cbd725 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql @@ -6,6 +6,7 @@ SAFE_CAST(`população` AS INT64) populacao, FROM basedosdados-staging.br_ibge_censo_2022_staging.populacao_grupo_idade_uf AS t left join `basedosdados.br_bd_diretorios_brasil.uf` t2 on t.unidade_da_federacao = t2.nome +where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql index f4bcc725..30edbbf5 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql @@ -6,5 +6,6 @@ SAFE_CAST(idade AS STRING) grupo_idade, SAFE_CAST(sexo AS STRING) sexo, SAFE_CAST(cor_ou_raca AS STRING) cor_raca, SAFE_CAST(populacao_residente_pessoas_ AS INT64) populacao_residente, -FROM basedosdados-dev.br_ibge_censo_2022_staging.populacao_residente_cor_raca_municipio AS t +FROM basedosdados-staging.br_ibge_censo_2022_staging.populacao_residente_cor_raca_municipio AS t +where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql index 70fe2ab9..dda8c1e9 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql @@ -13,3 +13,4 @@ select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf) from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 on ibge.municipio = t2.municipio +where (idade LIKE '% a %' or idade LIKE '100 anos ou mais') \ No newline at end of file From 8c03bc5dcddebd66d37aa75028156a1aa502d7c3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Arthur=20Gusm=C3=A3o?= Date: Tue, 9 Jan 2024 14:44:34 -0300 Subject: [PATCH 4/4] feat(queries): adding changes to table approve --- ...nso_2022__indigenas_domicilio_morador_municipio.sql | 2 ++ ...022__indigenas_domicilio_morador_terra_indigena.sql | 4 +++- ...icilio_pelo_menos_um_morador_indigena_municipio.sql | 3 +++ ...o_pelo_menos_um_morador_indigena_terra_indigena.sql | 2 ++ ...2022__indigenas_indice_envelhecimento_municipio.sql | 2 ++ ...2022__indigenas_populacao_grupo_idade_municipio.sql | 2 +- ...o_2022__indigenas_populacao_residente_municipio.sql | 3 ++- ...2__indigenas_populacao_residente_terra_indigena.sql | 4 +++- .../br_ibge_censo_2022__populacao_grupo_idade_uf.sql | 1 - ...so_2022__populacao_residente_cor_raca_municipio.sql | 1 - ..._ibge_censo_2022__populacao_residente_municipio.sql | 1 - ...o_2022__quilombolas_domicilio_morador_municipio.sql | 2 ++ ...ombolas_domicilio_morador_territorio_quilombola.sql | 9 +++++++-- ...ilio_pelo_menos_um_morador_quilombola_municipio.sql | 2 ++ ...nos_um_morador_quilombola_territorio_quilombola.sql | 7 ++++++- ...2022__quilombolas_populacao_residente_municipio.sql | 3 ++- ...bolas_populacao_residente_territorio_quilombola.sql | 10 ++++++++-- 17 files changed, 45 insertions(+), 13 deletions(-) diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_municipio.sql index 94d6b873..169b4fea 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_municipio.sql @@ -19,3 +19,5 @@ on ibge.municipio = t2.municipio + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_terra_indigena.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_terra_indigena.sql index 59d9d414..ebaa9cce 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_terra_indigena.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_morador_terra_indigena.sql @@ -12,4 +12,6 @@ SAFE_CAST(domicilios_particulares_permanentes_ocupados_localizados_em_terras_ind SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_localizados_em_terras_indigenas_pessoas_ AS INT64) moradores, SAFE_CAST(moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_localizados_em_terras_indigenas_pessoas_ AS INT64) moradores_indigenas, #SAFE_CAST(REPLACE(media_de_moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_localizados_em_terras_indigenas_pessoas_, ",", ".") AS FLOAT64) media_moradores_indigenas_domicilios_terras_indigenas, -FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_morador_terra_indigena AS t \ No newline at end of file +FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_morador_terra_indigena AS t + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_municipio.sql index 47b30445..80877dd5 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_municipio.sql @@ -16,3 +16,6 @@ from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 on ibge.municipio = t2.municipio + + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena.sql index 8e5fca99..3bfb9513 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena.sql @@ -8,3 +8,5 @@ SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_com_pelo_men SAFE_CAST(moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_pessoas_ AS INT64) moradores_indigenas, #SAFE_CAST(REPLACE(media_de_moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_pessoas_, ",", ".") AS FLOAT64) media_moradores_indigenas_domicilios_terras_indigenas_pelo_menos_um, FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena AS t + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql index e4a68f61..f94b7ead 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_indice_envelhecimento_municipio.sql @@ -8,3 +8,5 @@ SAFE_CAST(idade_mediana_da_populacao_indigena_anos_ AS INT64) idade_mediana, SAFE_CAST(REPLACE(razao_de_sexo_da_populacao_indigena_razao_, ",", ".") AS FLOAT64) razao_sexo, FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_indice_envelhecimento_municipio AS t + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql index 76af53d1..beb7055e 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio.sql @@ -6,4 +6,4 @@ SAFE_CAST(grupo_de_idade AS STRING) grupo_idade, SAFE_CAST(sexo AS STRING) sexo, SAFE_CAST(pessoas_indigenas_pessoas_ AS INT64) populacao_residente, FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_grupo_idade_municipio AS t -where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_municipio.sql index a0ecec07..28c8be81 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_municipio.sql @@ -12,4 +12,5 @@ FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residen select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf) from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 -on ibge.municipio = t2.municipio \ No newline at end of file +on ibge.municipio = t2.municipio + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_terra_indigena.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_terra_indigena.sql index 67a08e33..0855f63d 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_terra_indigena.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__indigenas_populacao_residente_terra_indigena.sql @@ -11,4 +11,6 @@ SAFE_CAST(TRIM(REGEXP_EXTRACT(terra_indigena_por_unidade_da_federacao, r'([^\(]+ SAFE_CAST(pessoas_residentes_em_terras_indigenas_pessoas_ AS INT64) populacao_residente, SAFE_CAST(pessoas_indigenas_residentes_em_terras_indigenas_pessoas_ AS INT64) pessoas_indigenas, SAFE_CAST(quesito_de_declaracao_indigena AS STRING) quesito_declaracao_indigena, -FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residente_terra_indigena AS t \ No newline at end of file +FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residente_terra_indigena AS t + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql index 58cbd725..a1725131 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_grupo_idade_uf.sql @@ -6,7 +6,6 @@ SAFE_CAST(`população` AS INT64) populacao, FROM basedosdados-staging.br_ibge_censo_2022_staging.populacao_grupo_idade_uf AS t left join `basedosdados.br_bd_diretorios_brasil.uf` t2 on t.unidade_da_federacao = t2.nome -where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql index 30edbbf5..af0ee66a 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_cor_raca_municipio.sql @@ -7,5 +7,4 @@ SAFE_CAST(sexo AS STRING) sexo, SAFE_CAST(cor_ou_raca AS STRING) cor_raca, SAFE_CAST(populacao_residente_pessoas_ AS INT64) populacao_residente, FROM basedosdados-staging.br_ibge_censo_2022_staging.populacao_residente_cor_raca_municipio AS t -where (grupo_idade LIKE '% a %' or grupo_idade LIKE '100 anos ou mais') diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql index dda8c1e9..70fe2ab9 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__populacao_residente_municipio.sql @@ -13,4 +13,3 @@ select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf) from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 on ibge.municipio = t2.municipio -where (idade LIKE '% a %' or idade LIKE '100 anos ou mais') \ No newline at end of file diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_municipio.sql index c7f91150..f64eb5c3 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_municipio.sql @@ -15,3 +15,5 @@ select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf) from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 on ibge.municipio = t2.municipio + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_territorio_quilombola.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_territorio_quilombola.sql index ed638692..6be98984 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_territorio_quilombola.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_morador_territorio_quilombola.sql @@ -1,8 +1,13 @@ {{ config(alias='quilombolas_domicilio_morador_territorio_quilombola',schema='br_ibge_censo_2022') }} SELECT -SAFE_CAST(cod_ AS STRING) id_territorio_quilombola, +SAFE_CAST(cod_ as STRING) id_territorio_quilombola, SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola, -SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf, + CASE + WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN + SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING) + ELSE + SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING) + END AS sigla_uf, SAFE_CAST(domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_domicilios_ AS STRING) domicilios, SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_pessoas_ AS INT64) moradores, SAFE_CAST(moradores_quilombolas_em_domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_pessoas_ AS INT64) moradores_quilombolas, diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_municipio.sql index 976fb847..a6177e4a 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_municipio.sql @@ -16,3 +16,5 @@ from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 on ibge.municipio = t2.municipio + + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_territorio_quilombola.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_territorio_quilombola.sql index 88aace2a..c3b503d3 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_territorio_quilombola.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_domicilio_pelo_menos_um_morador_quilombola_territorio_quilombola.sql @@ -2,7 +2,12 @@ SELECT SAFE_CAST(cod_ as STRING) id_territorio_quilombola, SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola, -SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf, + CASE + WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN + SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING) + ELSE + SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING) + END AS sigla_uf, SAFE_CAST(domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_domicilios_ AS STRING) domicilios, SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_pessoas_ AS INT64) moradores, SAFE_CAST(moradores_quilombolas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_pessoas_ AS INT64) moradores_quilombolas, diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_municipio.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_municipio.sql index 368e509c..d0c8d778 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_municipio.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_municipio.sql @@ -11,4 +11,5 @@ FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_resid select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf) from ibge left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2 -on ibge.municipio = t2.municipio \ No newline at end of file +on ibge.municipio = t2.municipio + diff --git a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_territorio_quilombola.sql b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_territorio_quilombola.sql index d4a8e404..412e9c1b 100644 --- a/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_territorio_quilombola.sql +++ b/models/br_ibge_censo_2022/br_ibge_censo_2022__quilombolas_populacao_residente_territorio_quilombola.sql @@ -1,7 +1,13 @@ {{ config(alias='quilombolas_populacao_residente_territorio_quilombola',schema='br_ibge_censo_2022') }} SELECT +SAFE_CAST(cod_ as STRING) id_territorio_quilombola, SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola, -SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf, + CASE + WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN + SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING) + ELSE + SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING) + END AS sigla_uf, SAFE_CAST(pessoas_quilombolas_residentes_em_territorios_quilombolas_pessoas_ AS INT64) pessoas_quilombolas, SAFE_CAST(pessoas_residentes_em_territorios_quilombolas_pessoas_ AS INT64) populacao_residente, -FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_residente_territorio_quilombola AS t \ No newline at end of file +FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_residente_territorio_quilombola AS t