Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[dbt]: br_censo_2022 novas tabelas #393

Merged
merged 4 commits into from
Jan 9, 2024
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
@@ -0,0 +1,10 @@
{{ config(alias='indice_envelhecimento_cor_raca_municipio',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(ano AS INT64) ano,
SAFE_CAST(cod_ AS STRING) id_municipio,
SAFE_CAST(cor_ou_raca AS STRING) cor_raca,
SAFE_CAST(REPLACE(indice_de_envelhecimento_idosos_60_anos_ou_mais_de_idade_razao_, ",", ".") AS FLOAT64) indice_envelhecimento,
SAFE_CAST(idade_mediana_anos_ AS INT64) idade_mediana,
SAFE_CAST(REPLACE(razao_de_sexo_razao_, ",", ".") AS FLOAT64) razao_sexo,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indice_envelhecimento_cor_raca_municipio AS t

Original file line number Diff line number Diff line change
Expand Up @@ -19,3 +19,5 @@ on ibge.municipio = t2.municipio





Original file line number Diff line number Diff line change
Expand Up @@ -12,4 +12,6 @@ SAFE_CAST(domicilios_particulares_permanentes_ocupados_localizados_em_terras_ind
SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_localizados_em_terras_indigenas_pessoas_ AS INT64) moradores,
SAFE_CAST(moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_localizados_em_terras_indigenas_pessoas_ AS INT64) moradores_indigenas,
#SAFE_CAST(REPLACE(media_de_moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_localizados_em_terras_indigenas_pessoas_, ",", ".") AS FLOAT64) media_moradores_indigenas_domicilios_terras_indigenas,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_morador_terra_indigena AS t
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_morador_terra_indigena AS t


Original file line number Diff line number Diff line change
Expand Up @@ -16,3 +16,6 @@ from ibge
left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2
on ibge.municipio = t2.municipio




Original file line number Diff line number Diff line change
Expand Up @@ -8,3 +8,5 @@ SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_com_pelo_men
SAFE_CAST(moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_pessoas_ AS INT64) moradores_indigenas,
#SAFE_CAST(REPLACE(media_de_moradores_indigenas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_indigena_pessoas_, ",", ".") AS FLOAT64) media_moradores_indigenas_domicilios_terras_indigenas_pelo_menos_um,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_domicilio_pelo_menos_um_morador_indigena_terra_indigena AS t


Original file line number Diff line number Diff line change
@@ -0,0 +1,12 @@
{{ config(alias='indigenas_indice_envelhecimento_municipio',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(ano AS INT64) ano,
SAFE_CAST(cod_ AS STRING) id_municipio,
SAFE_CAST(quesito_de_declaracao_indigena AS STRING) quesito_declaracao_indigena,
SAFE_CAST(REPLACE(indice_de_envelhecimento_da_populacao_indigena_idosos_60_anos_ou_mais_de_idade_razao_, ",", ".") AS FLOAT64) indice_envelhecimento,
SAFE_CAST(idade_mediana_da_populacao_indigena_anos_ AS INT64) idade_mediana,
SAFE_CAST(REPLACE(razao_de_sexo_da_populacao_indigena_razao_, ",", ".") AS FLOAT64) razao_sexo,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_indice_envelhecimento_municipio AS t



Original file line number Diff line number Diff line change
@@ -0,0 +1,9 @@
{{ config(alias='indigenas_populacao_grupo_idade_municipio',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(ano AS INT64) ano,
SAFE_CAST(cod_ AS STRING) id_municipio,
SAFE_CAST(grupo_de_idade AS STRING) grupo_idade,
SAFE_CAST(sexo AS STRING) sexo,
SAFE_CAST(pessoas_indigenas_pessoas_ AS INT64) populacao_residente,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_grupo_idade_municipio AS t

Original file line number Diff line number Diff line change
Expand Up @@ -12,4 +12,5 @@ FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residen
select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf)
from ibge
left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2
on ibge.municipio = t2.municipio
on ibge.municipio = t2.municipio

Original file line number Diff line number Diff line change
Expand Up @@ -11,4 +11,6 @@ SAFE_CAST(TRIM(REGEXP_EXTRACT(terra_indigena_por_unidade_da_federacao, r'([^\(]+
SAFE_CAST(pessoas_residentes_em_terras_indigenas_pessoas_ AS INT64) populacao_residente,
SAFE_CAST(pessoas_indigenas_residentes_em_terras_indigenas_pessoas_ AS INT64) pessoas_indigenas,
SAFE_CAST(quesito_de_declaracao_indigena AS STRING) quesito_declaracao_indigena,
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residente_terra_indigena AS t
FROM basedosdados-staging.br_ibge_censo_2022_staging.indigenas_populacao_residente_terra_indigena AS t


Original file line number Diff line number Diff line change
@@ -0,0 +1,10 @@
{{ config(alias='populacao_residente_cor_raca_municipio',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(ano AS INT64) ano,
SAFE_CAST(cod_ AS STRING) id_municipio,
SAFE_CAST(idade AS STRING) grupo_idade,
SAFE_CAST(sexo AS STRING) sexo,
SAFE_CAST(cor_ou_raca AS STRING) cor_raca,
SAFE_CAST(populacao_residente_pessoas_ AS INT64) populacao_residente,
FROM basedosdados-staging.br_ibge_censo_2022_staging.populacao_residente_cor_raca_municipio AS t

Original file line number Diff line number Diff line change
Expand Up @@ -15,3 +15,5 @@ select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf)
from ibge
left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2
on ibge.municipio = t2.municipio


Original file line number Diff line number Diff line change
@@ -1,8 +1,13 @@
{{ config(alias='quilombolas_domicilio_morador_territorio_quilombola',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(cod_ AS STRING) id_territorio_quilombola,
SAFE_CAST(cod_ as STRING) id_territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf,
CASE
WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING)
ELSE
SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING)
END AS sigla_uf,
SAFE_CAST(domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_domicilios_ AS STRING) domicilios,
SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_pessoas_ AS INT64) moradores,
SAFE_CAST(moradores_quilombolas_em_domicilios_particulares_permanentes_ocupados_localizados_em_territorios_quilombolas_pessoas_ AS INT64) moradores_quilombolas,
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -16,3 +16,5 @@ from ibge
left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2
on ibge.municipio = t2.municipio



Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,12 @@
SELECT
SAFE_CAST(cod_ as STRING) id_territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf,
CASE
WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING)
ELSE
SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING)
END AS sigla_uf,
SAFE_CAST(domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_domicilios_ AS STRING) domicilios,
SAFE_CAST(moradores_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_pessoas_ AS INT64) moradores,
SAFE_CAST(moradores_quilombolas_em_domicilios_particulares_permanentes_ocupados_com_pelo_menos_um_morador_quilombola_pessoas_ AS INT64) moradores_quilombolas,
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -11,4 +11,5 @@ FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_resid
select t2.cod as id_municipio, ibge.* except(municipio, nome_municipio,sigla_uf)
from ibge
left join `basedosdados-dev.br_ibge_censo_2022_staging.auxiliary_table` t2
on ibge.municipio = t2.municipio
on ibge.municipio = t2.municipio

Original file line number Diff line number Diff line change
@@ -1,7 +1,13 @@
{{ config(alias='quilombolas_populacao_residente_territorio_quilombola',schema='br_ibge_censo_2022') }}
SELECT
SAFE_CAST(cod_ as STRING) id_territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'([^\(]+)')) AS STRING) territorio_quilombola,
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\(([^)]+)\)')) AS STRING) sigla_uf,
CASE
WHEN REGEXP_CONTAINS(territorio_quilombola_por_unidade_da_federacao, r'\(\w{2}\)') THEN
SAFE_CAST(TRIM(REGEXP_EXTRACT(territorio_quilombola_por_unidade_da_federacao, r'\((\w{2})\)')) AS STRING)
ELSE
SAFE_CAST(TRIM(SPLIT(SPLIT(territorio_quilombola_por_unidade_da_federacao, '(')[SAFE_OFFSET(2)], ')')[SAFE_OFFSET(0)]) AS STRING)
END AS sigla_uf,
SAFE_CAST(pessoas_quilombolas_residentes_em_territorios_quilombolas_pessoas_ AS INT64) pessoas_quilombolas,
SAFE_CAST(pessoas_residentes_em_territorios_quilombolas_pessoas_ AS INT64) populacao_residente,
FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_residente_territorio_quilombola AS t
FROM basedosdados-staging.br_ibge_censo_2022_staging.quilombolas_populacao_residente_territorio_quilombola AS t
169 changes: 168 additions & 1 deletion models/br_ibge_censo_2022/schema.yml
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@ version: 2

models:
- name: br_ibge_censo_2022__quilombolas_domicilio_morador_municipio
description: Domicílios particulares permanentes ocupados e Moradores, total e quilombolas, em domicílios particulares permanentes, segundo localização do domicílio.
description: Domicílios particulares permanentes ocupados e Moradores, total e quilombolas, em domicílios particulares permanentes, segundo localização do domicílio.
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
Expand Down Expand Up @@ -613,3 +613,170 @@ models:
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: br_ibge_censo_2022__indigenas_indice_envelhecimento_grupo_idade_municipio
description: Índice de envelhecimento, idade mediana e razão de sexo da população indígena, por quesito de declaração indígena
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
- ano
- id_municipio
- quesito_declaracao_indigena
columns:
- name: ano
description: Ano
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: id_municipio
description: ID Município IBGE 7 dígitos
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- relationships:
to: ref('br_bd_diretorios_brasil__municipio')
field: id
- name: quesito_declaracao_indigena
description: Quesito de declaração indígena
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: indice_envelhecimento
description: Índice de envelhecimento da população indígena
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: idade_mediana
description: Idade mediana da população indígena
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: razao_sexo
description: Razão de sexo da população indígena
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: br_ibge_censo_2022__indigenas_populacao_grupo_idade_municipio
description: População indígena, por grupos de idade e sexo
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
- ano
- id_municipio
- grupo_idade
- sexo
columns:
- name: ano
description: Ano
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: id_municipio
description: ID Município IBGE 7 dígitos
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- relationships:
to: ref('br_bd_diretorios_brasil__municipio')
field: id
- name: grupo_idade
description: Grupo de Idade
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: sexo
description: Sexo
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: populacao_residente
description: População Residentne
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: br_ibge_censo_2022__indice_envelhecimento_cor_raca_municipio
description: Índice de envelhecimento, idade mediana e razão de sexo, por cor ou raça
here
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
- ano
- id_municipio
- cor_raca
columns:
- name: ano
description: Ano
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: id_municipio
description: ID Município IBGE 7 dígitos
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- relationships:
to: ref('br_bd_diretorios_brasil__municipio')
field: id
- name: cor_raca
description: Cor ou Raça
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: indice_envelhecimento
description: 'Índice de envelhecimento (Idosos: 60 anos ou mais de idade)'
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: idade_mediana
description: Idade mediana
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: razao_sexo
description: Razão de sexo
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: br_ibge_censo_2022__populacao_residente_cor_raca_municipio
description: População residente, por cor ou raça, segundo o sexo e a idade
tests:
- dbt_utils.unique_combination_of_columns:
combination_of_columns:
- ano
- id_municipio
- grupo_idade
- sexo
- cor_raca
columns:
- name: ano
description: Ano
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: id_municipio
description: ID Município IBGE 7 dígitos
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- relationships:
to: ref('br_bd_diretorios_brasil__municipio')
field: id
- name: grupo_idade
description: Grupo de Idade
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: sexo
description: Sexo
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: cor_raca
description: Cor ou Raça
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
- name: populacao_residente
description: População
tests:
- dbt_utils.not_null_proportion:
at_least: 0.05
Loading