Merge branch 'main' into br_cnj_improbidade_administrativa.condenacao

dbt_project.yml

@@ -103,6 +103,9 @@ models:
     br_cgu_beneficios_cidadao:
       +materialized: incremental
       +schema: br_cgu_beneficios_cidadao
+    br_cgu_dados_abertos:
+      +materialized: table
+      +schema: br_cgu_dados_abertos
     br_cgu_pessoal_executivo_federal:
       +materialized: table
       +schema: br_cgu_pessoal_executivo_federal
@@ -163,6 +166,9 @@ models:
     br_inep_censo_escolar:
       +materialized: table
       +schema: br_inep_censo_escolar
+    br_inep_indicadores_educacionais:
+      +materialized: table
+      +schema: br_inep_indicadores_educacionais
     br_inep_saeb:
       +materialized: table
       +schema: br_inep_saeb
@@ -202,6 +208,9 @@ models:
     br_ms_cnes:
       +materialized: table
       +schema: br_ms_cnes
+    br_ms_sia:
+      +materialized: table
+      +schema: br_ms_sia
     br_ms_sim:
       +materialized: table
       +schema: br_ms_sim
@@ -259,5 +268,8 @@ models:
     world_wb_mides:
       +materialized: table
       +schema: world_wb_mides
+    world_ampas_oscar:
+      +materialized: table
+      +schema: world_ampas_oscar
   elementary:
     +schema: elementary

models/br_bd_diretorios_brasil/br_bd_diretorios_brasil__cid_10.sql

@@ -0,0 +1,18 @@
+{{
+    config(
+        alias="cid_10",
+        schema="br_bd_diretorios_brasil",
+        materialized="table",
+    )
+}}
+
+select
+    safe_cast(subcategoria as string) subcategoria,
+    safe_cast(descricao_subcategoria as string) descricao_subcategoria,
+    safe_cast(categoria as string) categoria,
+    safe_cast(descricao_categoria as string) descricao_categoria,
+    safe_cast(capitulo as string) capitulo,
+    safe_cast(descricao_capitulo as string) descricao_capitulo,
+    safe_cast(causa_violencia as int64) causa_violencia,
+    safe_cast(causa_overdose as int64) causa_overdose,
+from `basedosdados-dev.br_bd_diretorios_brasil_staging.cid_10` as t

models/br_bd_diretorios_brasil/br_bd_diretorios_brasil__natureza_juridica.sql

@@ -0,0 +1,12 @@
+{{
+    config(
+        alias="natureza_juridica",
+        schema="br_bd_diretorios_brasil",
+        materialized="table",
+    )
+}}
+select
+    safe_cast(id_natureza_juridica as string) as id_natureza_juridica,
+    safe_cast(descricao as string) as descricao,
+    safe_cast(escopo as string) as escopo
+from `basedosdados-dev.br_bd_diretorios_brasil_staging.natureza_juridica` as t

models/br_bd_diretorios_brasil/schema.yml

@@ -428,3 +428,38 @@ models:
         description: Unidade da Federação
       - name: regiao
         description: Região
+  - name: br_bd_diretorios_brasil__cid_10
+    description: Diretório da Classificação Internacional de Doenças (CID) 10.
+    columns:
+      - name: subcategoria
+        description: Subcategoria da CID-10
+      - name: descricao_subcategoria
+        description: Descrição da Subcategoria da CID-10
+      - name: categoria
+        description: Categoria da CID-10
+      - name: descricao_categoria
+        description: Descrição da Categoria da CID-10
+      - name: capitulo
+        description: Capítulo da CID-10
+      - name: descricao_capitulo
+        description: Descrição do Capítulo da CID-10
+      - name: causa_violencia
+        description: Causa - Violência (Categorias W32 W33 W34 X85 X86 X87 X88 X89
+          X90 X91 X92 X93 X94 X95 X96 X97 X98 X99 Y00 Y01 Y02 Y03 Y04 Y05 Y06 Y07
+          Y08 Y09 Y10 Y11 Y12 Y13 Y14 Y15 Y16 Y17 Y18 Y19 Y20 Y21 Y22 Y23 Y24 Y25
+          Y26 Y27 Y28 Y29 Y30 Y31 Y32 Y33 Y34 Y35 Y87 Y89)
+      - name: causa_overdose
+        description: Causa - Overdose (Categorias F10 F11 F12 F14 F16 F19 T40 T41
+          T42 T43 T44 T45 T46 T47 T48 T49 T50 X42 X43 X44 X45 X46 X47 X48 X49 X60
+          X61 X62 X63 X64 X65 X66 X67 X68 X69 Y12 Y13 Y14 Y15 Y16 Y49 Y50 Y51 Z64
+          Z65)
+  - name: br_bd_diretorios_brasil__natureza_juridica
+    description: A tabela reúne as naturezas jurídicas conforme a Comissão Nacional
+      de Classificação (Concla)
+    columns:
+      - name: id_natureza_juridica
+        description: ID da Natureza Jurídica
+      - name: descricao
+        description: Descrição da natureza jurídica
+      - name: escopo
+        description: Propósito da natureza jurídica

models/br_camara_dados_abertos/br_camara_dados_abertos__despesa.sql

@@ -0,0 +1,46 @@
+{{ config(alias="despesa", schema="br_camara_dados_abertos") }}
+select distinct
+    safe_cast(initcap(txnomeparlamentar) as string) nome_parlamentar,
+    safe_cast(replace(cpf, ".0", "") as string) cpf,
+    safe_cast(replace(idecadastro, ".0", "") as string) id_deputado,
+    safe_cast(nulegislatura as int64) ano_legislatura,
+    safe_cast(sguf as string) sigla_uf,
+    safe_cast(sgpartido as string) sigla_partido,
+    safe_cast(codlegislatura as string) id_legislatura,
+    safe_cast(txtdescricao as string) categoria_despesa,
+    safe_cast(txtdescricaoespecificacao as string) subcategoria_despesa,
+    safe_cast(txtfornecedor as string) fornecedor,
+    safe_cast(txtcnpjcpf as string) cnpj_cpf_fornecedor,
+    safe_cast(txtnumero as string) numero_documento_fiscal,
+    case
+        when indtipodocumento = '0'
+        then 'Nota fiscal'
+        when indtipodocumento = '1'
+        then 'Recibo ou outros'
+        when indtipodocumento = '2'
+        then 'Documento emitido no exterior'
+        when indtipodocumento = '3'
+        then 'Despesa do Parlasul'
+        when indtipodocumento = '4'
+        then 'Nota fiscal eletrônica'
+        when indtipodocumento = '5'
+        then 'Nota fiscal eletrônica'
+        else indtipodocumento
+    end as tipo_documento,
+    safe_cast(numano as int64) as ano_competencia,
+    safe_cast(nummes as int64) as mes_competencia,
+    safe_cast(
+        split(format_timestamp('%Y-%m-%dT%H:%M:%E*S', timestamp(datemissao)), 'T')[
+            offset(0)
+        ] as date
+    ) data_emissao,
+    safe_cast(vlrdocumento as float64) valor_documento,
+    safe_cast(vlrglosa as float64) valor_retido,
+    safe_cast(vlrliquido as float64) valor_liquido,
+    safe_cast(numparcela as int64) numero_parcela,
+    safe_cast(txtpassageiro as string) nome_passageiro,
+    safe_cast(txttrecho as string) descricao_passagem_aerea,
+    safe_cast(datpagamentorestituicao as datetime) data_pagamento_restituicao,
+    safe_cast(vlrrestituicao as float64) valor_restituicao,
+    safe_cast(urldocumento as string) url_documento,
+from `basedosdados-dev.br_camara_dados_abertos_staging.despesa` as t

models/br_camara_dados_abertos/br_camara_dados_abertos__frente_deputado.sql

@@ -1,9 +1,8 @@
 {{ config(alias="frente_deputado", schema="br_camara_dados_abertos") }}
 select distinct
     safe_cast(id as string) id_frente,
-    safe_cast(titulo as string) titulo,
+    safe_cast(titulo as string) titulo_deputado,
     safe_cast(replace(id_deputado, ".0", "") as string) id_deputado,
     initcap(nome_deputado) nome_deputado,
-    safe_cast(titulo_deputado as string) titulo_deputado,
     safe_cast(url_foto_deputado as string) url_foto_deputado,
 from `basedosdados-dev.br_camara_dados_abertos_staging.frente_deputado` as t

models/br_camara_dados_abertos/br_camara_dados_abertos__orgao.sql

@@ -4,7 +4,6 @@ select
     safe_cast(nome as string) nome,
     safe_cast(apelido as string) apelido,
     safe_cast(sigla as string) sigla,
-    safe_cast(uri as string) url_orgao,
     safe_cast(tipoorgao as string) tipo_orgao,
     safe_cast(
         split(format_timestamp('%Y-%m-%dT%H:%M:%E*S', timestamp(datainicio)), 'T')[

models/br_camara_dados_abertos/br_camara_dados_abertos__orgao_deputado.sql

@@ -3,12 +3,10 @@ select distinct
     regexp_extract(uriorgao, r'/orgaos/(\d+)') as id_orgao,
     safe_cast(nomeorgao as string) nome,
     safe_cast(siglaorgao as string) sigla,
-    safe_cast(uriorgao as string) url,
     safe_cast(nomedeputado as string) nome_deputado,
     safe_cast(cargo as string) cargo,
     safe_cast(siglauf as string) sigla_uf,
     safe_cast(datainicio as date) data_inicio,
     safe_cast(datafim as date) data_final,
     safe_cast(siglapartido as string) sigla_partido,
-    safe_cast(urideputado as string) url_deputado
 from `basedosdados-dev.br_camara_dados_abertos_staging.orgao_deputado` as t

models/br_camara_dados_abertos/schema.yml

@@ -823,8 +823,13 @@ models:
       existentes ou já extintos na Câmara dos Deputados.
     tests:
       - dbt_utils.unique_combination_of_columns:
-          combination_of_columns: [url_orgao]
+          combination_of_columns: [id_orgao]
     columns:
+      - name: id_orgao
+        description: ID do orgão
+        tests:
+          - dbt_utils.not_null_proportion:
+              at_least: 0.05
       - name: nome
         description: Nome do orgão
         tests:
@@ -840,11 +845,6 @@ models:
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: url_orgao
-        description: URL do orgão
-        tests:
-          - dbt_utils.not_null_proportion:
-              at_least: 0.05
       - name: tipo_orgao
         description: Tipo do orgão
         tests:
@@ -903,18 +903,18 @@ models:
             - data_final
             - sigla_partido
     columns:
-      - name: nome
-        description: Nome do orgão
+      - name: id_orgao
+        description: ID do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: sigla
-        description: Sigla do orgão
+      - name: nome
+        description: Nome do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: url
-        description: URL do orgão
+      - name: sigla
+        description: Sigla do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
@@ -957,11 +957,6 @@ models:
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: url_deputado
-        description: URL do deputado
-        tests:
-          - dbt_utils.not_null_proportion:
-              at_least: 0.05
   - name: br_camara_dados_abertos__evento
     description: Lista com identificadores e informações diversas sobre as reuniões,
       sessões, audiências, seminários e outros eventos realizados pelos diversos órgãos
@@ -1186,8 +1181,8 @@ models:
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: titulo
-        description: Título
+      - name: titulo_deputado
+        description: Título do deputado
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
@@ -1201,11 +1196,6 @@ models:
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: titulo_deputado
-        description: Título do deputado
-        tests:
-          - dbt_utils.not_null_proportion:
-              at_least: 0.05
       - name: url_foto_deputado
         description: URL da foto do deputado
         tests:
@@ -1292,8 +1282,8 @@ models:
       - not_null_proportion_multiple_columns:
           at_least: 0.05
     columns:
-      - name: ano
-        description: Ano
+      - name: ano_licitacao
+        description: Ano da licitação
         tests:
           - relationships:
               to: ref('br_bd_diretorios_data_tempo__ano')
@@ -1364,7 +1354,7 @@ models:
           at_least: 0.05
     columns:
       - name: ano_licitacao
-        description: Ano
+        description: Ano da licitação
         tests:
           - relationships:
               to: ref('br_bd_diretorios_data_tempo__ano')
@@ -1617,3 +1607,99 @@ models:
           - relationships:
               to: ref('br_bd_diretorios_data_tempo__dia')
               field: ref('dia.dia')
+  - name: br_camara_dados_abertos__despesa
+    description: Dados sobre as despesas cobertas pela Cota para Exercício da Atividade
+      Parlamentar de cada deputado desde 2008
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - nome_parlamentar
+            - id_legislatura
+            - categoria_despesa
+            - subcategoria_despesa
+            - fornecedor
+            - cnpj_cpf_fornecedor
+            - numero_documento_fiscal
+            - tipo_documento
+            - ano_competencia
+            - mes_competencia
+            - data_emissao
+            - valor_retido
+            - valor_liquido
+            - nome_passageiro
+            - descricao_passagem_aerea
+            - data_pagamento_restituicao
+            - url_documento
+    columns:
+      - name: nome_parlamentar
+        description: Nome do parlamentar
+      - name: cpf
+        description: Cadastro de Pessoa Física (CPF) do parlamentar
+      - name: id_deputado
+        description: ID do deputado
+      - name: ano_legislatura
+        description: Ano de início da legislatura
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__ano')
+              field: ano.ano
+      - name: id_legislatura
+        description: Número identificador da legislatura
+      - name: sigla_uf
+        description: Sigla da unidade da federação por qual o respectivo parlamentar
+          foi eleito
+      - name: sigla_partido
+        description: Sigla do partido ao qual o parlamentar é/era filiado
+      - name: categoria_despesa
+        description: Título da categoria de despesa à qual seja pertinente o registro
+      - name: subcategoria_despesa
+        description: Título descritivo da subcategoria de despesa
+      - name: fornecedor
+        description: Nome da pessoa física ou empresa fornecedora do serviço ou produto
+          ao qual se refere o registro de despesa
+      - name: cnpj_cpf_fornecedor
+        description: CNPJ ou CPF do fornecedor
+      - name: numero_documento_fiscal
+        description: O número de face do documento fiscal comprovante da despesa
+      - name: tipo_documento
+        description: Indicador numérico do tipo de documento fiscal associado à despesa
+      - name: ano_competencia
+        description: Ano da competência financeira do documento comprobatório da despesa
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__ano')
+              field: ref('ano.ano')
+      - name: mes_competencia
+        description: Mês de competência financeira do documento comprobatório da despesa
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__mes')
+              field: ref('mes.mes')
+      - name: data_emissao
+        description: Data de emissão do documento comprobatório da despesa a que se
+          refere o registro.
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__data')
+              field: data.data
+      - name: valor_documento
+        description: Valor de face do documento comprobatório da despesa
+      - name: valor_retido
+        description: Valor retido
+      - name: valor_liquido
+        description: Valor da despesa efetivamente debitado da Cota Parlamentar
+      - name: numero_parcela
+        description: Valor numérico diferente de 0 quando a despesa cadastrada é reembolsada
+          pela CEAP de forma parcelada
+      - name: nome_passageiro
+        description: Nos registros referentes a passagens aéreas, o campo traz o nome
+          da pessoa para quem foi emitida a passagem.
+      - name: descricao_passagem_aerea
+        description: Descrição dos trechos de viagem do bilhete
+      - name: data_pagamento_restituicao
+        description: Data e hora, em formato ISO 8601, de quando o parlamentar realizou
+          a restituição à Câmara de valores referentes à despesa citada no registro
+      - name: valor_restituicao
+        description: Valor que o parlamentar devolveu à Câmara
+      - name: url_documento
+        description: URL do documento