Merge pull request #449 from basedosdados/staging/register-camara

[dbt] br_camara_dados_abertos.despesa

models/br_camara_dados_abertos/br_camara_dados_abertos__despesa.sql

@@ -0,0 +1,44 @@
+{{ config(alias="despesa", schema="br_camara_dados_abertos") }}
+select distinct
+    safe_cast(initcap(txnomeparlamentar) as string) nome_parlamentar,
+    safe_cast(replace(cpf, ".0", "") as string) cpf,
+    safe_cast(replace(idecadastro, ".0", "") as string) id_deputado,
+    safe_cast(nulegislatura as int64) ano_legislatura,
+    safe_cast(sguf as string) sigla_uf,
+    safe_cast(sgpartido as string) sigla_partido,
+    safe_cast(codlegislatura as string) id_legislatura,
+    safe_cast(txtdescricao as string) categoria_despesa,
+    safe_cast(txtdescricaoespecificacao as string) subcategoria_despesa,
+    safe_cast(txtfornecedor as string) fornecedor,
+    safe_cast(txtcnpjcpf as string) cnpj_cpf_fornecedor,
+    safe_cast(txtnumero as string) numero_documento_fiscal,
+    case
+        when indtipodocumento = '0'
+        then 'Nota fiscal'
+        when indtipodocumento = '1'
+        then 'Recibo ou outros'
+        when indtipodocumento = '2'
+        then 'Documento emitido no exterior'
+        when indtipodocumento = '3'
+        then 'Despesa do Parlasul'
+        when indtipodocumento = '4'
+        then 'Nota fiscal eletrônica'
+        when indtipodocumento = '5'
+        then 'Nota fiscal eletrônica'
+        else indtipodocumento
+    end as tipo_documento,
+    safe_cast(
+        split(format_timestamp('%Y-%m-%dT%H:%M:%E*S', timestamp(datemissao)), 'T')[
+            offset(0)
+        ] as date
+    ) data_emissao,
+    safe_cast(vlrdocumento as float64) valor_documento,
+    safe_cast(vlrglosa as float64) valor_retido,
+    safe_cast(vlrliquido as float64) valor_liquido,
+    safe_cast(numparcela as int64) numero_parcela,
+    safe_cast(txtpassageiro as string) nome_passageiro,
+    safe_cast(txttrecho as string) descricao_passagem_aerea,
+    safe_cast(datpagamentorestituicao as datetime) data_pagamento_restituicao,
+    safe_cast(vlrrestituicao as float64) valor_restituicao,
+    safe_cast(urldocumento as string) url_documento,
+from `basedosdados-dev.br_camara_dados_abertos_staging.despesa` as t

models/br_camara_dados_abertos/br_camara_dados_abertos__orgao.sql

@@ -4,7 +4,6 @@ select
     safe_cast(nome as string) nome,
     safe_cast(apelido as string) apelido,
     safe_cast(sigla as string) sigla,
-    safe_cast(uri as string) url_orgao,
     safe_cast(tipoorgao as string) tipo_orgao,
     safe_cast(
         split(format_timestamp('%Y-%m-%dT%H:%M:%E*S', timestamp(datainicio)), 'T')[

models/br_camara_dados_abertos/br_camara_dados_abertos__orgao_deputado.sql

@@ -3,12 +3,10 @@ select distinct
     regexp_extract(uriorgao, r'/orgaos/(\d+)') as id_orgao,
     safe_cast(nomeorgao as string) nome,
     safe_cast(siglaorgao as string) sigla,
-    safe_cast(uriorgao as string) url,
     safe_cast(nomedeputado as string) nome_deputado,
     safe_cast(cargo as string) cargo,
     safe_cast(siglauf as string) sigla_uf,
     safe_cast(datainicio as date) data_inicio,
     safe_cast(datafim as date) data_final,
     safe_cast(siglapartido as string) sigla_partido,
-    safe_cast(urideputado as string) url_deputado
 from `basedosdados-dev.br_camara_dados_abertos_staging.orgao_deputado` as t

models/br_camara_dados_abertos/schema.yml

@@ -823,8 +823,13 @@ models:
       existentes ou já extintos na Câmara dos Deputados.
     tests:
       - dbt_utils.unique_combination_of_columns:
-          combination_of_columns: [url_orgao]
+          combination_of_columns: [id_orgao]
     columns:
+      - name: id_orgao
+        description: ID do orgão
+        tests:
+          - dbt_utils.not_null_proportion:
+              at_least: 0.05
       - name: nome
         description: Nome do orgão
         tests:
@@ -903,18 +908,18 @@ models:
             - data_final
             - sigla_partido
     columns:
-      - name: nome
-        description: Nome do orgão
+      - name: id_orgao
+        description: ID do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: sigla
-        description: Sigla do orgão
+      - name: nome
+        description: Nome do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: url
-        description: URL do orgão
+      - name: sigla
+        description: Sigla do órgão
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
@@ -957,11 +962,6 @@ models:
         tests:
           - dbt_utils.not_null_proportion:
               at_least: 0.05
-      - name: url_deputado
-        description: URL do deputado
-        tests:
-          - dbt_utils.not_null_proportion:
-              at_least: 0.05
   - name: br_camara_dados_abertos__evento
     description: Lista com identificadores e informações diversas sobre as reuniões,
       sessões, audiências, seminários e outros eventos realizados pelos diversos órgãos
@@ -1617,3 +1617,85 @@ models:
           - relationships:
               to: ref('br_bd_diretorios_data_tempo__dia')
               field: ref('dia.dia')
+  - name: br_camara_dados_abertos__despesa
+    description: Dados sobre as despesas cobertas pela Cota para Exercício da Atividade
+      Parlamentar de cada deputado desde 2008
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - nome_parlamentar
+            - id_legislatura
+            - categoria_despesa
+            - subcategoria_despesa
+            - fornecedor
+            - cnpj_cpf_fornecedor
+            - numero_documento_fiscal
+            - tipo_documento
+            - data_emissao
+            - valor_retido
+            - valor_liquido
+            - nome_passageiro
+            - descricao_passagem_aerea
+            - data_pagamento_restituicao
+            - url_documento
+    columns:
+      - name: nome_parlamentar
+        description: Nome do parlamentar
+      - name: cpf
+        description: Cadastro de Pessoa Física (CPF) do parlamentar
+      - name: id_deputado
+        description: ID do deputado
+      - name: ano_legislatura
+        description: Ano de início da legislatura
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__ano')
+              field: ano.ano
+      - name: codigo_legislatura
+        description: Número identificador da legislatura
+      - name: sigla_uf
+        description: Sigla da unidade da federação por qual o respectivo parlamentar
+          foi eleito
+      - name: sigla_partido
+        description: Sigla do partido ao qual o parlamentar é/era filiado
+      - name: categoria_despesa
+        description: Título da categoria de despesa à qual seja pertinente o registro
+      - name: subcategoria_despesa
+        description: Título descritivo da subcategoria de despesa
+      - name: fornecedor
+        description: Nome da pessoa física ou empresa fornecedora do serviço ou produto
+          ao qual se refere o registro de despesa
+      - name: cnpj_cpf_fornecedor
+        description: CNPJ ou CPF do fornecedor
+      - name: numero_documento_fiscal
+        description: O número de face do documento fiscal comprovante da despesa
+      - name: tipo_documento
+        description: Indicador numérico do tipo de documento fiscal associado à despesa
+      - name: data_emissao
+        description: Data de emissão do documento comprobatório da despesa a que se
+          refere o registro.
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__data')
+              field: data.data
+      - name: valor_documento
+        description: Valor de face do documento comprobatório da despesa
+      - name: valor_retido
+        description: Valor retido
+      - name: valor_liquido
+        description: Valor da despesa efetivamente debitado da Cota Parlamentar
+      - name: numero_parcela
+        description: Valor numérico diferente de 0 quando a despesa cadastrada é reembolsada
+          pela CEAP de forma parcelada
+      - name: nome_passageiro
+        description: Nos registros referentes a passagens aéreas, o campo traz o nome
+          da pessoa para quem foi emitida a passagem.
+      - name: descricao_passagem_aerea
+        description: Descrição dos trechos de viagem do bilhete
+      - name: data_pagamento_restituicao
+        description: Data e hora, em formato ISO 8601, de quando o parlamentar realizou
+          a restituição à Câmara de valores referentes à despesa citada no registro
+      - name: valor_restituicao
+        description: Valor que o parlamentar devolveu à Câmara
+      - name: url_documento
+        description: URL do documento