You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Usuários relataram grandes quantidade de id_municipio nulos em alguns anos
Problema
Os dados históricos da tabela de produção estavam desatualiazdos. O modelo DBT não foi executado com full refresh na última revisão do crawler/atualizações feitas em julho de 2024.
Os id_municipio nulos só ocorrem na versão de produção da tabela. A query abaixo compara a quantidade de ids nulos nos datasets do projetos basedosdados e do projeto basedosdados-staging. A tabela em staging, não tem valores nulos.
SELECT'basedodados-prod'AS nome_tbl,
ano,
COUNT(*) AS qte_linhas_na_id_mun
FROM`basedosdados.br_bcb_agencia.agencia`WHERE id_municipio IS NULLGROUP BY ano
UNION ALLSELECT'basedodados-prod-staging'AS nome_tbl,
cast(ano as int64),
COUNT(*) AS qte_linhas_na_id_mun
FROM`basedosdados-staging.br_bcb_agencia_staging.agencia`WHERE id_municipio IS NULLGROUP BY ano
ORDER BY ano, nome_tbl;
A pipeline esta funcionando e a tabela está atualizada em produção com histórico de runs bem sucedidas
Solução
Só rodar o modelo dbt com full refresh para atualizar dados históricos do modelo.
The text was updated successfully, but these errors were encountered:
Motivo
Usuários relataram grandes quantidade de id_municipio nulos em alguns anos
Problema
Os dados históricos da tabela de produção estavam desatualiazdos. O modelo DBT não foi executado com full refresh na última revisão do crawler/atualizações feitas em julho de 2024.
Os id_municipio nulos só ocorrem na versão de produção da tabela. A query abaixo compara a quantidade de ids nulos nos datasets do projetos basedosdados e do projeto basedosdados-staging. A tabela em staging, não tem valores nulos.
Solução
The text was updated successfully, but these errors were encountered: