Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[fix] br_bcb_agencias #853

Closed
folhesgabriel opened this issue Dec 17, 2024 · 0 comments · Fixed by #854
Closed

[fix] br_bcb_agencias #853

folhesgabriel opened this issue Dec 17, 2024 · 0 comments · Fixed by #854
Assignees

Comments

@folhesgabriel
Copy link
Contributor

Motivo

Usuários relataram grandes quantidade de id_municipio nulos em alguns anos

Problema

Os dados históricos da tabela de produção estavam desatualiazdos. O modelo DBT não foi executado com full refresh na última revisão do crawler/atualizações feitas em julho de 2024.

Os id_municipio nulos só ocorrem na versão de produção da tabela. A query abaixo compara a quantidade de ids nulos nos datasets do projetos basedosdados e do projeto basedosdados-staging. A tabela em staging, não tem valores nulos.

SELECT 
  'basedodados-prod' AS nome_tbl,
  ano,
  COUNT(*) AS qte_linhas_na_id_mun
FROM `basedosdados.br_bcb_agencia.agencia`
WHERE id_municipio IS NULL
GROUP BY ano

UNION ALL

SELECT 
  'basedodados-prod-staging' AS nome_tbl,
  cast(ano as int64),
  COUNT(*) AS qte_linhas_na_id_mun
FROM `basedosdados-staging.br_bcb_agencia_staging.agencia`
WHERE id_municipio IS NULL
GROUP BY ano
ORDER BY ano, nome_tbl;
  • A pipeline esta funcionando e a tabela está atualizada em produção com histórico de runs bem sucedidas

Solução

  • Só rodar o modelo dbt com full refresh para atualizar dados históricos do modelo.
@folhesgabriel folhesgabriel self-assigned this Dec 17, 2024
@folhesgabriel folhesgabriel converted this from a draft issue Dec 17, 2024
@folhesgabriel folhesgabriel linked a pull request Dec 17, 2024 that will close this issue
@folhesgabriel folhesgabriel moved this from 🏗 Em andamento to ⛔ Bloqueada ou Revisão in Roadmap de dados Dec 17, 2024
@github-project-automation github-project-automation bot moved this from ⛔ Bloqueada ou Revisão to ✅ Finalizada! in Roadmap de dados Dec 17, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
Status: ✅ Finalizada!
Development

Successfully merging a pull request may close this issue.

1 participant