Merge pull request #257 from basedosdados/world_wb_mides_continuation

`world_wb_mides`

models/world_wb_mides/dicionario.sql

@@ -0,0 +1,13 @@
+{{
+  config(
+    schema = "world_wb_mides",
+    materialized = "table"
+  )
+ }}
+SELECT 
+SAFE_CAST(id_tabela AS STRING) id_tabela,
+SAFE_CAST(coluna AS STRING) coluna,
+SAFE_CAST(chave AS STRING) chave,
+SAFE_CAST(cobertura_temporal AS STRING) cobertura_temporal,
+SAFE_CAST(valor AS STRING) valor
+FROM basedosdados-staging.world_wb_mides_staging.dicionario AS t

models/world_wb_mides/licitacao.sql

@@ -1,3 +1,19 @@
+{{
+  config(
+    schema = "world_wb_mides",
+    materialized = "table",
+    partition_by = {
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2009,
+        "end": 2021,
+        "interval": 1}
+    },
+    cluster_by = ["mes", "sigla_uf"],
+    labels = {"project_id": "basedosdados", "tema": "economia"}
+  )
+ }}
 SELECT
     SAFE_CAST(ano AS INT64) ano,
     SAFE_CAST(mes AS INT64) mes,

models/world_wb_mides/licitacao_item.sql

@@ -1,3 +1,19 @@
+{{
+  config(
+    schema = "world_wb_mides",
+    materialized = "table",
+    partition_by = {
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2009,
+        "end": 2022,
+        "interval": 1}
+    },
+    cluster_by = ["sigla_uf"],
+    labels = {"project_id": "basedosdados", "tema": "economia"}
+  )
+ }}
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,

models/world_wb_mides/licitacao_participante.sql

@@ -1,3 +1,19 @@
+{{
+  config(
+    schema = "world_wb_mides",
+    materialized = "table",
+    partition_by = {
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2009,
+        "end": 2021,
+        "interval": 1}
+    },
+    cluster_by = ["sigla_uf"],
+    labels = {"project_id": "basedosdados", "tema": "economia"}
+  )
+ }}
 SELECT
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,

models/world_wb_mides/orgao_unidade_gestora.sql

@@ -0,0 +1,18 @@
+{{
+  config(
+    schema = "world_wb_mides",
+    materialized = "table",
+    cluster_by = ["sigla_uf"],
+    labels = {"project_id": "basedosdados", "tema": "economia"}
+  )
+ }}
+SELECT 
+SAFE_CAST(ano AS STRING) ano,
+SAFE_CAST(sigla_uf AS STRING) sigla_uf,
+SAFE_CAST(id_municipio AS STRING) id_municipio,
+SAFE_CAST(orgao AS STRING) orgao,
+SAFE_CAST(nome_orgao AS STRING) nome_orgao,
+SAFE_CAST(id_unidade_gestora AS STRING) id_unidade_gestora,
+SAFE_CAST(nome_unidade_gestora AS STRING) nome_unidade_gestora,
+SAFE_CAST(esfera AS STRING) esfera
+FROM basedosdados-staging.world_wb_mides_staging.orgao_unidade_gestora AS t

models/world_wb_mides/pagamento.sql

@@ -305,7 +305,7 @@ pago_pb AS (
     FROM `basedosdados-staging.world_wb_mides_staging.raw_despesa_rs` AS c
     LEFT JOIN `basedosdados-staging.world_wb_mides_staging.aux_orgao_rs` AS a ON c.cd_orgao = a.cd_orgao
     LEFT JOIN `basedosdados.br_bd_diretorios_brasil.municipio` m ON m.id_municipio = a.id_municipio
-    WHERE tipo_operacao = 'P' AND (SAFE_CAST(vl_liquidacao AS FLOAT64) >= 0)
+    WHERE tipo_operacao = 'P' AND (SAFE_CAST(vl_pagamento AS FLOAT64) >= 0)
     GROUP BY 2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22
 ),
   estorno_rs AS (
@@ -315,7 +315,7 @@ pago_pb AS (
     FROM `basedosdados-staging.world_wb_mides_staging.raw_despesa_rs` AS c
     LEFT JOIN `basedosdados-staging.world_wb_mides_staging.aux_orgao_rs` AS a ON c.cd_orgao = a.cd_orgao
     LEFT JOIN `basedosdados.br_bd_diretorios_brasil.municipio` m ON m.id_municipio = a.id_municipio
-    WHERE tipo_operacao = 'P' AND (SAFE_CAST(vl_liquidacao AS FLOAT64) < 0)
+    WHERE tipo_operacao = 'P' AND (SAFE_CAST(vl_pagamento AS FLOAT64) < 0)
     GROUP BY 1
 ),
   frequencia_rs AS (

models/world_wb_mides/schema.yml

@@ -44,7 +44,8 @@ models :
       - name: subfuncao
         description: Descrição da subfunção orçamentária.
       - name: valor_ajuste
-        description: Valor de correção entre o valor final e valor inicial na ausência da identificação da despesa
+        description: Valor de correção entre o valor final e valor inicial na ausência
+          da identificação da despesa
       - name: valor_anulacao
         description: Valor da anulação, caso haja deduções
       - name: valor_final
@@ -53,6 +54,19 @@ models :
         description: Valor bruto do empenho
       - name: valor_reforco
         description: Valor do reforço, caso haja incrementos
+  - name: dicionario
+    description: Dicionário
+    columns:
+      - name: chave
+        description: Chave
+      - name: cobertura_temporal
+        description: Cobertura Temporal
+      - name: coluna
+        description: Coluna
+      - name: id_tabela
+        description: ID Tabela
+      - name: valor
+        description: Valor
   - name: licitacao
     description: Dados a nível de licitação.
     columns:
@@ -103,7 +117,8 @@ models :
       - name: orgao
         description: Órgão
       - name: preferencia_micro_pequena
-        description: Preferência de contratação para as microempresas e empresas de pequeno porte
+        description: Preferência de contratação para as microempresas e empresas de
+          pequeno porte
       - name: quantidade_convidados
         description: Número de convidados (modalidade convite)
       - name: sigla_uf
@@ -208,108 +223,23 @@ models :
         description: PF ou PJ
       - name: vencedor
         description: Participante Vencedor
-  - name: liquidacao
-    description: Dados a nível de liquidação.
-    columns:
-      - name: ano
-        description: Ano
-      - name: data
-        description: Data
-      - name: documento_responsavel
-        description: Número do documento do liquidante
-      - name: id_empenho
-        description: Sequencial identificador do empenho
-      - name: id_empenho_bd
-        description: Código único de identificação do empenho
-      - name: id_liquidacao
-        description: Sequencial identificador da liquidação
-      - name: id_liquidacao_bd
-        description: Código único de identificação da liquidação
-      - name: id_municipio
-        description: ID Município - IBGE 7 Dígitos
-      - name: id_unidade_gestora
-        description: ID Unidade Gestora
-      - name: indicador_restos_pagar
-        description: Indica se o pagamento é realizado em exercício diferente
-      - name: mes
-        description: Mês
-      - name: nome_responsavel
-        description: Nome do liquidante
-      - name: numero_liquidacao
-        description: Número da liquidação
-      - name: orgao
-        description: Órgão Adminsitrativo
-      - name: sigla_uf
-        description: Sigla da Unidade da Federação
-      - name: valor_anulacao
-        description: Valor da anulação ou estorno caso haja deduções
-      - name: valor_liquidacao
-        description: Valor líquido da liquidação
-      - name: valor_liquidacao_original
-        description: Valor bruto liquidado
-  - name: pagamento
-    description: Dados a nível de pagamento.
+  - name: orgao_unidade_gestora
+    description: Dados auxiliares a nível de órgão e unidade gestora.
     columns:
       - name: ano
         description: Ano
-      - name: credor
-        description: Nome/Razão Social do credor
-      - name: data
-        description: Data
-      - name: documento_credor
-        description: Número do documento do credor
-      - name: fonte
-        description: Fonte do recurso
-      - name: id_empenho
-        description: Sequencial identificador do empenho
-      - name: id_empenho_bd
-        description: Código único de identificação do empenho
-      - name: id_liquidacao
-        description: Sequencial identificador da liquidação
-      - name: id_liquidacao_bd
-        description: Código único de identificação da licitação
+      - name: esfera
+        description: Esfera (e.g. municipal, intermunicipal, estadual, federal)
       - name: id_municipio
         description: ID Município - IBGE 7 Dígitos
-      - name: id_pagamento
-        description: Sequencial identificador do pagamento
-      - name: id_pagamento_bd
-        description: Código único de identificação do pagamento
       - name: id_unidade_gestora
-        description: Descrição Unidade Gestora
-      - name: indicador_restos_pagar
-        description: Indica se o pagamento é realizado em exercício diferente
-      - name: mes
-        description: Mês
-      - name: numero_empenho
-        description: Número do empenho
-      - name: numero_liquidacao
-        description: Número da liquidação
-      - name: numero_pagamento
-        description: Número do pagamento
+        description: Código da unidade gestora a qual a operação está vinculada
+      - name: nome_orgao
+        description: Nome do órgão
+      - name: nome_unidade_gestora
+        description: Nome da unidade gestora
       - name: orgao
-        description: Órgão Adminsitrativo
+        description: Código do órgão ao qual a operação (empenho, liquidação, pagamento
+          ou licitação) está vinculada
       - name: sigla_uf
         description: Sigla da Unidade da Federação
-      - name: valor_ajuste
-        description: Valor ajuste
-      - name: valor_anulacao
-        description: Somatório de deduções e anulações
-      - name: valor_final
-        description: Resultado do valor original descontado das deduções
-      - name: valor_inicial
-        description: Valor pago na fonte
-      - name: valor_liquido_recebido
-        description: Resultado do valor original descontado das deduções
-  - name: relacionamentos
-    description: Dados a nível de relacionamento.
-    columns:
-      - name: ano
-        description: Ano
-      - name: id_empenho
-        description: Código do Empenho
-      - name: id_licitacao
-        description: Código da Licitação
-      - name: id_municipio
-        description: ID Município - IBGE 7 Dígitos
-      - name: sigla_uf
-        description: Sigla da Unidade de Federação