From e52e58179bec67d53f38691363e5a911bdfb0bf6 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Thu, 21 Nov 2024 06:20:58 -0300 Subject: [PATCH] Adaptar a falta de id_candidato_bd --- .../br_tse_eleicoes__bens_candidato.sql | 3 +- .../br_tse_eleicoes__candidatos.sql | 5 +- .../br_tse_eleicoes__despesas_candidato.sql | 11 +--- .../br_tse_eleicoes__receitas_candidato.sql | 13 ++-- .../br_tse_eleicoes__resultados_candidato.sql | 62 +++++++++---------- ...eicoes__resultados_candidato_municipio.sql | 5 +- ...s__resultados_candidato_municipio_zona.sql | 5 +- ...eleicoes__resultados_partido_municipio.sql | 1 - ...oes__resultados_partido_municipio_zona.sql | 1 - 9 files changed, 44 insertions(+), 62 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__bens_candidato.sql b/models/br_tse_eleicoes/br_tse_eleicoes__bens_candidato.sql index 2e5d0bef..9750890c 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__bens_candidato.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__bens_candidato.sql @@ -17,9 +17,8 @@ select safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, safe_cast(data_eleicao as date) data_eleicao, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, - safe_cast(id_tipo_item as string) id_tipo_item, safe_cast(tipo_item as string) tipo_item, safe_cast(descricao_item as string) descricao_item, safe_cast(valor_item as float64) valor_item diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__candidatos.sql b/models/br_tse_eleicoes/br_tse_eleicoes__candidatos.sql index f07fff4c..fae35de6 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__candidatos.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__candidatos.sql @@ -19,9 +19,8 @@ select safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, - cast(split(id_candidato_bd, '.')[offset(0)] as string) id_candidato_bd, - cast(split(cpf, '.')[offset(0)] as string) cpf, safe_cast(titulo_eleitoral as string) titulo_eleitoral, + cast(split(cpf, '.')[offset(0)] as string) cpf, safe_cast(sequencial as string) sequencial, safe_cast(numero as string) numero, safe_cast(nome as string) nome, @@ -30,11 +29,11 @@ select safe_cast(sigla_partido as string) sigla_partido, safe_cast(cargo as string) cargo, safe_cast(situacao as string) situacao, - safe_cast(ocupacao as string) ocupacao, safe_cast(data_nascimento as date) data_nascimento, cast(split(idade, '.')[offset(0)] as int64) idade, safe_cast(genero as string) genero, safe_cast(instrucao as string) instrucao, + safe_cast(ocupacao as string) ocupacao, safe_cast(estado_civil as string) estado_civil, safe_cast(nacionalidade as string) nacionalidade, safe_cast(sigla_uf_nascimento as string) sigla_uf_nascimento, diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__despesas_candidato.sql b/models/br_tse_eleicoes/br_tse_eleicoes__despesas_candidato.sql index cccc5cf7..a89f3689 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__despesas_candidato.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__despesas_candidato.sql @@ -20,15 +20,12 @@ select safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, - safe_cast(numero_candidato as string) numero_candidato, - safe_cast(cpf_candidato as string) cpf_candidato, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, - safe_cast(nome_candidato as string) nome_candidato, - safe_cast(cpf_vice_suplente as string) cpf_vice_suplente, + safe_cast(numero_candidato as string) numero_candidato, + safe_cast(cnpj_candidato as string) cnpj_candidato, safe_cast(numero_partido as string) numero_partido, safe_cast(sigla_partido as string) sigla_partido, - safe_cast(nome_partido as string) nome_partido, safe_cast(cargo as string) cargo, safe_cast(sequencial_despesa as string) sequencial_despesa, safe_cast(data_despesa as date) data_despesa, @@ -40,7 +37,6 @@ select safe_cast(data_prestacao_contas as date) data_prestacao_contas, safe_cast(sequencial_prestador_contas as string) sequencial_prestador_contas, safe_cast(cnpj_prestador_contas as string) cnpj_prestador_contas, - safe_cast(cnpj_candidato as string) cnpj_candidato, safe_cast(tipo_documento as string) tipo_documento, safe_cast(numero_documento as string) numero_documento, safe_cast(especie_recurso as string) especie_recurso, @@ -70,6 +66,5 @@ select safe_cast(numero_candidato_fornecedor as string) numero_candidato_fornecedor, safe_cast(numero_partido_fornecedor as string) numero_partido_fornecedor, safe_cast(sigla_partido_fornecedor as string) sigla_partido_fornecedor, - safe_cast(nome_partido_fornecedor as string) nome_partido_fornecedor, safe_cast(cargo_fornecedor as string) cargo_fornecedor from `basedosdados-staging.br_tse_eleicoes_staging.despesas_candidato` as t diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__receitas_candidato.sql b/models/br_tse_eleicoes/br_tse_eleicoes__receitas_candidato.sql index 8f237f18..a6bd7ae1 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__receitas_candidato.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__receitas_candidato.sql @@ -19,20 +19,16 @@ select safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, + safe_cast(sequencial_candidato as string) sequencial_candidato, safe_cast(numero_candidato as string) numero_candidato, - safe_cast(cpf_candidato as string) cpf_candidato, safe_cast(cnpj_candidato as string) cnpj_candidato, - safe_cast(titulo_eleitor_candidato as string) titulo_eleitor_candidato, - safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, - safe_cast(nome_candidato as string) nome_candidato, - safe_cast(cpf_vice_suplente as string) cpf_vice_suplente, safe_cast(numero_partido as string) numero_partido, - safe_cast(nome_partido as string) nome_partido, safe_cast(sigla_partido as string) sigla_partido, safe_cast(cargo as string) cargo, safe_cast(sequencial_receita as string) sequencial_receita, - safe_cast(data_receita as date) data_receita, + {{ validate_date_range("data_receita", "1900-01-01", "2100-01-01") }} + as data_receita, safe_cast(fonte_receita as string) fonte_receita, safe_cast(origem_receita as string) origem_receita, safe_cast(natureza_receita as string) natureza_receita, @@ -49,7 +45,6 @@ select safe_cast(cargo_candidato_doador as string) cargo_candidato_doador, safe_cast(numero_partido_doador as string) numero_partido_doador, safe_cast(sigla_partido_doador as string) sigla_partido_doador, - safe_cast(nome_partido_doador as string) nome_partido_doador, safe_cast(esfera_partidaria_doador as string) esfera_partidaria_doador, safe_cast(numero_candidato_doador as string) numero_candidato_doador, safe_cast(cnae_2_doador as string) cnae_2_doador, diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql index a5582968..ac5418d8 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql @@ -1,32 +1,30 @@ -{{ - config( - schema="br_tse_eleicoes", - alias="resultados_candidato", - materialized="table", - partition_by={ - "field": "ano", - "data_type": "int64", - "range": {"start": 1945, "end": 2024, "interval": 1}, - }, - ) -}} --- Segundo turno atualizado em 12/11/2024 -select - safe_cast(ano as int64) ano, - safe_cast(turno as int64) turno, - safe_cast(id_eleicao as string) id_eleicao, - safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as date) data_eleicao, - safe_cast(sigla_uf as string) sigla_uf, - safe_cast(id_municipio as string) id_municipio, - safe_cast(id_municipio_tse as string) id_municipio_tse, - safe_cast(cargo as string) cargo, - safe_cast(numero_partido as string) numero_partido, - safe_cast(sigla_partido as string) sigla_partido, - safe_cast(numero_candidato as string) numero_candidato, - safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, - safe_cast(nome_candidato as string) nome_candidato, - safe_cast(resultado as string) resultado, - safe_cast(votos as int64) votos -from `basedosdados-staging.br_tse_eleicoes_staging.resultados_candidato` as t +{{ + config( + schema="br_tse_eleicoes", + alias="resultados_candidato", + materialized="table", + partition_by={ + "field": "ano", + "data_type": "int64", + "range": {"start": 1945, "end": 2024, "interval": 1}, + }, + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(turno as int64) turno, + safe_cast(id_eleicao as string) id_eleicao, + safe_cast(tipo_eleicao as string) tipo_eleicao, + safe_cast(data_eleicao as date) data_eleicao, + safe_cast(sigla_uf as string) sigla_uf, + safe_cast(id_municipio as string) id_municipio, + safe_cast(id_municipio_tse as string) id_municipio_tse, + safe_cast(cargo as string) cargo, + safe_cast(numero_partido as string) numero_partido, + safe_cast(sigla_partido as string) sigla_partido, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, + safe_cast(sequencial_candidato as string) sequencial_candidato, + safe_cast(numero_candidato as string) numero_candidato, + safe_cast(resultado as string) resultado, + safe_cast(votos as int64) votos +from `basedosdados-staging.br_tse_eleicoes_staging.resultados_candidato` as t diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql index 05b5a30c..594f6372 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql @@ -11,7 +11,6 @@ cluster_by=["sigla_uf"], ) }} --- Segundo turno atualizado em 12/11/2024 select safe_cast(ano as int64) ano, safe_cast(turno as int64) turno, @@ -24,9 +23,9 @@ select safe_cast(cargo as string) cargo, safe_cast(numero_partido as string) numero_partido, safe_cast(sigla_partido as string) sigla_partido, - safe_cast(numero_candidato as string) numero_candidato, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, + safe_cast(numero_candidato as string) numero_candidato, safe_cast(resultado as string) resultado, safe_cast(votos as int64) votos from `basedosdados-staging.br_tse_eleicoes_staging.resultados_candidato_municipio` as t diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql index 2327491b..ce7e062c 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql @@ -11,7 +11,6 @@ cluster_by=["sigla_uf"], ) }} --- Segundo turno atualizado em 12/11/2024 select safe_cast(ano as int64) ano, safe_cast(turno as int64) turno, @@ -25,9 +24,9 @@ select safe_cast(cargo as string) cargo, safe_cast(numero_partido as string) numero_partido, safe_cast(sigla_partido as string) sigla_partido, - safe_cast(numero_candidato as string) numero_candidato, + safe_cast(titulo_eleitoral_candidato as string) titulo_eleitoral_candidato, safe_cast(sequencial_candidato as string) sequencial_candidato, - safe_cast(id_candidato_bd as string) id_candidato_bd, + safe_cast(numero_candidato as string) numero_candidato, safe_cast(resultado as string) resultado, safe_cast(votos as int64) votos from diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql index e0a68045..6f847373 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql @@ -11,7 +11,6 @@ cluster_by=["sigla_uf"], ) }} --- Segundo turno atualizado em 12/11/2024 select safe_cast(ano as int64) ano, safe_cast(turno as int64) turno, diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql index ba320d7a..d79ace6b 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql @@ -11,7 +11,6 @@ cluster_by=["sigla_uf"], ) }} --- Segundo turno atualizado em 12/11/2024 select safe_cast(ano as int64) ano, safe_cast(turno as int64) turno,