From ed8c9423a6e8c0271b1da2608581b194d945071d Mon Sep 17 00:00:00 2001 From: tricktx Date: Fri, 29 Nov 2024 16:51:02 -0300 Subject: [PATCH 1/5] add model dbt cgu licitacao contrato --- dbt_project.yml | 3 + ...tacao_contrato__contrato_apostilamento.sql | 17 + ...gu_licitacao_contrato__contrato_compra.sql | 40 ++ ..._cgu_licitacao_contrato__contrato_item.sql | 21 + ...tacao_contrato__contrato_termo_aditivo.sql | 21 + .../br_cgu_licitacao_contrato__licitacao.sql | 32 ++ ..._licitacao_contrato__licitacao_empenho.sql | 21 + ...cgu_licitacao_contrato__licitacao_item.sql | 25 ++ ...tacao_contrato__licitacao_participante.sql | 28 ++ models/br_cgu_licitacao_contrato/schema.yml | 392 ++++++++++++++++++ 10 files changed, 600 insertions(+) create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql create mode 100644 models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql create mode 100644 models/br_cgu_licitacao_contrato/schema.yml diff --git a/dbt_project.yml b/dbt_project.yml index 97933eb0..fb517c42 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -114,6 +114,9 @@ models: br_cgu_emendas_parlamentares: +materialized: table +schema: br_cgu_emendas_parlamentares + br_cgu_licitacao_contrato: + +materialized: table + +schema: br_cgu_licitacao_contrato br_cgu_pessoal_executivo_federal: +materialized: table +schema: br_cgu_pessoal_executivo_federal diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql new file mode 100644 index 00000000..b22759e4 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql @@ -0,0 +1,17 @@ +{{ config(alias="contrato_apostilamento", schema="br_cgu_licitacao_contrato") }} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_contrato as string) id_contrato, + safe_cast(codigo_orgao_superior as string) id_orgao_superior, + safe_cast(nome_orgao_superior as string) nome_orgao_superior, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast(codigo_ug as string) id_unidade_gestora, + safe_cast(nome_ug as string) nome_unidade_gestora, + safe_cast(numero_apostilamento as string) id_apostilamento, + safe_cast(descricao_apostilamento as string) descricao_apostilamento, + safe_cast(situacao_apostilamento as string) situacao_apostilamento, + safe_cast(parse_date('%d/%m/%Y', data_de_inclusao) as date) data_apostilamento, + safe_cast(replace(valor_apostilamento, ",", ".") as float64) valor_apostilamento, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_apostilamento` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql new file mode 100644 index 00000000..a199d769 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql @@ -0,0 +1,40 @@ +{{ + config( + alias="contrato_compra", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_do_contrato as string) id_contrato, + safe_cast(objeto as string) objeto, + safe_cast(fundamento_legal as string) fundamento_legal, + safe_cast(modalidade_compra as string) modalidade, + safe_cast(situacao_contrato as string) situacao_contrato, + safe_cast(codigo_orgao_superior as string) id_orgao_superior, + safe_cast(nome_orgao_superior as string) nome_orgao_superior, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast(codigo_ug as string) id_unidade_gestora, + safe_cast(nome_ug as string) nome_unidade_gestora, + safe_cast( + parse_date('%d/%m/%Y', data_assinatura_contrato) as date + ) data_assinatura_contrato, + safe_cast(parse_date('%d/%m/%Y', data_publicacao_dou) as date) data_publicacao_dou, + safe_cast( + parse_date('%d/%m/%Y', data_inicio_vigencia) as date + ) data_inicio_vigencia, + safe_cast(parse_date('%d/%m/%Y', data_fim_vigencia) as date) data_fim_vigencia, + safe_cast(codigo_contratado as string) cpf_cnpj_contratado, + safe_cast(nome_contratado as string) nome_contratado, + safe_cast(numero_licitacao as string) id_licitacao, + safe_cast(codigo_ug_licitacao as string) id_unidade_gestora_licitacao, + safe_cast(nome_ug_licitacao as string) nome_unidade_gestora_licitacao, + safe_cast(codigo_modalidade_compra_licitacao as string) id_modalidade_licitacao, + safe_cast(modalidade_compra_licitacao as string) modalidade_licitacao, + safe_cast(replace(valor_inicial_compra, ",", ".") as float64) valor_inicial_compra, + safe_cast(replace(valor_final_compra, ",", ".") as float64) valor_final_compra, + +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_compra` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql new file mode 100644 index 00000000..9047ecb8 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql @@ -0,0 +1,21 @@ +{{ + config( + alias="contrato_item", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_contrato as string) id_contrato, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast(codigo_ug as string) id_ug, + safe_cast(nome_ug as string) nome_ug, + safe_cast(codigo_item_compra as string) id_item, + safe_cast(descricao_item_compra as string) descricao_item, + safe_cast(descricao_complementar_item_compra as string) descricao_complementar_item, + safe_cast(quantidade_item as int64) quantidade_item, + safe_cast(replace(valor_item, ",", ".") as float64) valor_item, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_item` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql new file mode 100644 index 00000000..18239979 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql @@ -0,0 +1,21 @@ +{{ + config( + alias="contrato_termo_aditivo", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_contrato as string) id_contrato, + safe_cast(codigo_orgao_superior as string) id_orgao_superior, + safe_cast(nome_orgao_superior as string) nome_orgao_superior, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast(codigo_ug as string) id_ug, + safe_cast(nome_ug as string) nome_ug, + safe_cast(numero_termo_aditivo as string) id_termo_aditivo, + safe_cast(parse_date('%d/%m/%Y', data_publicacao) as date) data_publicacao_dou, + safe_cast(objeto as string) objeto, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_termo_aditivo` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql new file mode 100644 index 00000000..ae9bb812 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql @@ -0,0 +1,32 @@ +{{ + config( + alias="licitacao", schema="br_cgu_licitacao_contrato", materialized="table" + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + case when uf = "-3" then null else uf end as sigla_uf, + dir_municipio.id_municipio, + safe_cast(numero_licitacao as string) id_licitacao, + safe_cast(codigo_ug as string) id_unidade_gestora, + safe_cast(nome_ug as string) nome_unidade_gestora, + safe_cast(codigo_modalidade_compra as string) id_modalidade_compra, + safe_cast(modalidade_compra as string) modalidade_compra, + safe_cast(numero_processo as string) numero_processo, + safe_cast(objeto as string) objeto, + safe_cast(situacao_licitacao as string) situacao_licitacao, + safe_cast(codigo_orgao_superior as string) id_orgao_superior, + safe_cast(nome_orgao_superior as string) nome_orgao_superior, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast( + parse_date('%d/%m/%Y', data_resultado_compra) as date + ) data_resultado_compra, + safe_cast(parse_date('%d/%m/%Y', data_abertura) as date) data_abertura, + safe_cast(replace(valor_licitacao, ",", ".") as float64) valor_licitacao, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao` as licitacao +left join + `basedosdados-dev.br_bd_diretorios_brasil.municipio` as dir_municipio + on upper(dir_municipio.nome) = licitacao.municipio + and dir_municipio.sigla_uf = licitacao.uf diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql new file mode 100644 index 00000000..d6846aea --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql @@ -0,0 +1,21 @@ +{{ + config( + alias="licitacao_empenho", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_processo as string) id_processo, + safe_cast(numero_licitacao as string) id_licitacao, + safe_cast(codigo_ug as string) id_unidade_gestora, + safe_cast(nome_ug as string) nome_unidade_gestora, + safe_cast(codigo_modalidade_compra as string) id_modalidade, + safe_cast(modalidade_compra as string) modalidade, + safe_cast(observacao_empenho as string) observacao, + safe_cast(codigo_empenho as string) id_empenho, + safe_cast(parse_date('%d/%m/%Y', data_emissao_empenho) as date) data_emissao, + safe_cast(replace(valor_empenho, ",", ".") as float64) valor, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_empenho` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql new file mode 100644 index 00000000..c24e6800 --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql @@ -0,0 +1,25 @@ +{{ + config( + alias="licitacao_item", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) ano, + safe_cast(mes as int64) mes, + safe_cast(numero_licitacao as string) id_licitacao, + safe_cast(codigo_ug as string) id_unidade_gestora, + safe_cast(nome_ug as string) nome_unidade_gestora, + safe_cast(codigo_modalidade_compra as string) id_modalidade, + safe_cast(modalidade_compra as string) modalidade, + safe_cast(numero_processo as string) numero_processo, + safe_cast(codigo_orgao as string) id_orgao, + safe_cast(nome_orgao as string) nome_orgao, + safe_cast(codigo_vencedor as string) cpf_cnpj_vencedor, + safe_cast(nome_vencedor as string) nome_vencedor, + safe_cast(codigo_item_compra as string) id_item, + safe_cast(descricao as string) descricao_item, + safe_cast(quantidade_item as int64) quantidade_item, + safe_cast(replace(valor_item, ",", ".") as float64) valor_item, +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_item` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql new file mode 100644 index 00000000..6a07d21c --- /dev/null +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql @@ -0,0 +1,28 @@ +{{ + config( + alias="licitacao_participante", + schema="br_cgu_licitacao_contrato", + materialized="table", + ) +}} +select + safe_cast(ano as int64) as ano, + safe_cast(mes as int64) as mes, + safe_cast(numero_licitacao as string) as id_licitacao, + safe_cast(codigo_ug as string) as id_unidade_gestora, + safe_cast(nome_ug as string) as nome_unidade_gestora, + safe_cast(codigo_modalidade_compra as string) as id_modalidade_compra, + safe_cast(modalidade_compra as string) as modalidade_compra, + safe_cast(numero_processo as string) as numero_processo, + safe_cast(codigo_orgao as string) as id_orgao, + safe_cast(nome_orgao as string) as nome_orgao, + safe_cast(codigo_item_compra as string) as id_item_compra, + safe_cast(descricao_item_compra as string) as descricao_item_compra, + safe_cast(codigo_participante as string) as cpf_cnpj_participante, + safe_cast(nome_participante as string) as nome_participante, + safe_cast( + case + when flag_vencedor = 'SIM' then true when flag_vencedor = 'NÃO' then false + end as boolean + ) as vencedor +from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_participante` diff --git a/models/br_cgu_licitacao_contrato/schema.yml b/models/br_cgu_licitacao_contrato/schema.yml new file mode 100644 index 00000000..30f980cb --- /dev/null +++ b/models/br_cgu_licitacao_contrato/schema.yml @@ -0,0 +1,392 @@ +--- +version: 2 +models: + - name: br_cgu_licitacao_contrato__contrato_compra + description: Dados referentes a contratos de compras + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_contrato + description: Número que identifica o contrato no ComprasNet + - name: objeto + description: Objeto do contrato + - name: fundamento_legal + description: Indicação do embasamento legal do contrato + - name: modalidade + description: Modalidade de compra + - name: situacao_contrato + description: Situação em que se encontra o contrato + - name: id_orgao_superior + description: Código do Órgão Superior responsável pela licitação + - name: nome_orgao_superior + description: Nome do Órgão Superior + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão Superior + - name: id_unidade_gestora + description: Código da Unidade Gestora do contrato. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: data_assinatura_contrato + description: Data da assinatura do contrato + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: data_publicacao_dou + description: Data da publicação do contrato no DOU + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: data_inicio_vigencia + description: Data de início da vigência do contrato + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: data_fim_vigencia + description: Data de fim da vigência do contrato + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: cpf_cnpj_contratado + description: CNPJ do contratado + - name: nome_contratado + description: Nome do contratado + - name: valor_inicial_compra + description: Valor inicial da compra + - name: valor_final_compra + description: Valor final da compra após possíveis reajustes, acréscimos etc + - name: id_licitacao + description: Número que identifica a licitação no SIASG + - name: id_unidade_gestora_licitacao + description: Código da Unidade Gestora responsável pela licitação + - name: nome_unidade_gestora_licitacao + description: Nome da Unidade Gestora responsável pela licitação + - name: id_modalidade_licitacao + description: Código da modalidade + - name: modalidade_licitacao + description: Modalidade da Licitação + - name: br_cgu_licitacao_contrato__contrato_item + description: Dados referentes a itens do contrato + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_contrato + description: Número que identifica o contrato no ComprasNet + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão + - name: id_ug + description: Código da Unidade Gestora do contrato. + - name: nome_uf + description: Nome da Unidade Gestora + - name: id_item + description: Código do item da compra no SIASG. + - name: descricao_item + description: Descrição do item + - name: descricao_complementar_item + description: Descrição complementar do item + - name: quantidade_item + description: Quantidade do item + - name: valor_item + description: Valor unitário do item + - name: br_cgu_licitacao_contrato__contrato_termo_aditivo + description: Dados referentes a termo aditivo do contrato + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_contrato + description: Número que identifica o contrato no ComprasNet + - name: id_orgao_superior + description: Código do Órgão Superior responsável pela licitação + - name: nome_orgao_superior + description: Nome do Órgão Superior + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão Superior + - name: id_ug + description: Código da Unidade Gestora do contrato. + - name: nome_ug + description: Nome da Unidade Gestora + - name: id_termo_aditivo + description: Número que identifica o termo aditivo no ComprasNet + - name: data_publicacao_dou + description: Data da publicação do termo aditivo no DOU + - name: objeto + description: Objeto do termo aditivo + - name: br_cgu_licitacao_contrato__licitacao_item + description: Dados referentes a itens da Licitação + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_licitacao + description: Número que identifica a licitação no SIASG + - name: id_unidade_gestora + description: Código da Unidade Gestora responsável pela licitação. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: id_modalidade + description: Código da Modalidade de Compra + - name: modalidade + description: Modalidades de Compra + - name: numero_processo + description: Número do processo da licitação + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão + - name: id_item + description: Código do item da compra no SIASG + - name: descricao_item + description: Descrição do item da compra no SIASG + - name: quantidade_item + description: Quantidade do item + - name: valor_item + description: Valor total do item + - name: cpf_cnpj_vencedor + description: CNPJ do licitante vencedor + - name: nome_vencedor + description: Nome do CNPJ vencedor + - name: br_cgu_licitacao_contrato__licitacao + description: Dados referentes a licitação + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: sigla_uf + description: Sigla da Unidade da Federação + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + - name: id_municipio + description: ID Municipio + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio + - name: id_licitacao + description: Número que identifica a licitação no SIASG + - name: id_unidade_gestora + description: Código da Unidade Gestora responsável pela licitação. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: id_modalidade_compra + description: Código da Modalidade de Compra + - name: modalidade_compra + description: Modalidades de Compra + - name: numero_processo + description: Número do processo da licitação + - name: objeto + description: Objeto da licitação, ou seja, aquilo que se quer comprar, alienar + ou contratar + - name: situacao_licitacao + description: Situação em que se encontra o processo licitatório + - name: id_orgao_superior + description: Código do Órgão Superior responsável pela licitação + - name: nome_orgao_superior + description: Nome do Órgão Superior + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão + - name: data_resultado_compra + description: Data da publicação da Homologação no Diário Oficial da União + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: data_abertura + description: Data de abertura para envio das Propostas + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: valor_licitacao + description: Valor total licitado + - name: br_cgu_licitacao_contrato__licitacao_participante + description: Dados referentes a participantes da licitação + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_licitacao + description: Número que identifica a licitação no SIASG + - name: id_unidade_gestora + description: Código da Unidade Gestora responsável pela licitação. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: id_modalidade_compra + description: Código da Modalidade de Compra + - name: modalidade_compra + description: Modalidades de Compra + - name: numero_processo + description: Número do processo da licitação + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão + - name: id_item_compra + description: Código do item da compra no SIASG + - name: descricao_item_compra + description: Descrição do item da compra no SIASG + - name: cpf_cnpj_participante + description: CPF ou CNPJ do participante na licitação + - name: nome_participante + description: Nome do CNPJ do participante + - name: vencedor + description: Indica se o participante é vencedor "SIM" ou "NÃO" + - name: br_cgu_licitacao_contrato__licitacao_empenho + description: Dados referentes a empenho da Licitação + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: id_processo + description: Número do processo da licitação + - name: id_unidade_gestora + description: Código da Unidade Gestora responsável pela licitação. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: id_modalidade + description: Código da Modalidade de Compra + - name: modalidade + description: Modalidades de Compra + - name: id_empenho + description: Código do Empenho da Licitação + - name: data_emissao + description: Data de Emissão do Empenho + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data + - name: observacao + description: Observação do Empenho + - name: id_licitacao + description: Número que identifica a licitação no SIASG + - name: valor + description: Valor do Empenho (R$) + - name: br_cgu_licitacao_contrato__contrato_apostilamento + description: Dados referentes ao apostilamento do contrato + tests: + - not_null_proportion_multiple_columns: + at_least: 0.25 + columns: + - name: ano + description: Ano + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__ano') + field: ano.ano + - name: mes + description: Mês + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__mes') + field: mes.mes + - name: id_contrato + description: Número que identifica o contrato no ComprasNet + - name: id_orgao_superior + description: Código do Órgão Superior responsável pela licitação + - name: nome_orgao_superior + description: Nome do Órgão Superior + - name: id_orgao + description: Código do Órgão responsável pela licitação + - name: nome_orgao + description: Nome do Órgão + - name: id_unidade_gestora + description: Código da Unidade Gestora do contrato. + - name: nome_unidade_gestora + description: Nome da Unidade Gestora + - name: id_apostilamento + description: Código do apostilamento + - name: descricao_apostilamento + description: Descrição do apostilamento + - name: situacao_apostilamento + description: Situação do apostilamento + - name: data_apostilamento + description: Data do apostilamento + - name: valor_apostilamento + description: Valor do apostilamento From 6e096df10c1f6cc24230328648088d9449e2b33a Mon Sep 17 00:00:00 2001 From: tricktx Date: Fri, 29 Nov 2024 16:56:19 -0300 Subject: [PATCH 2/5] fix dev to staging --- .../br_cgu_licitacao_contrato__contrato_apostilamento.sql | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql index b22759e4..15460569 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql @@ -14,4 +14,5 @@ select safe_cast(situacao_apostilamento as string) situacao_apostilamento, safe_cast(parse_date('%d/%m/%Y', data_de_inclusao) as date) data_apostilamento, safe_cast(replace(valor_apostilamento, ",", ".") as float64) valor_apostilamento, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_apostilamento` as t +from + `basedosdados-staging.br_cgu_licitacao_contrato_staging.contrato_apostilamento` as t From eb8a127d76507822411cca950234b86620996b14 Mon Sep 17 00:00:00 2001 From: tricktx Date: Wed, 4 Dec 2024 09:52:43 -0300 Subject: [PATCH 3/5] fix dev-staging --- .../br_cgu_licitacao_contrato__contrato_compra.sql | 2 +- .../br_cgu_licitacao_contrato__contrato_item.sql | 2 +- .../br_cgu_licitacao_contrato__contrato_termo_aditivo.sql | 3 ++- .../br_cgu_licitacao_contrato__licitacao.sql | 4 ++-- .../br_cgu_licitacao_contrato__licitacao_empenho.sql | 2 +- .../br_cgu_licitacao_contrato__licitacao_item.sql | 2 +- .../br_cgu_licitacao_contrato__licitacao_participante.sql | 2 +- 7 files changed, 9 insertions(+), 8 deletions(-) diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql index a199d769..d851cb19 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql @@ -37,4 +37,4 @@ select safe_cast(replace(valor_inicial_compra, ",", ".") as float64) valor_inicial_compra, safe_cast(replace(valor_final_compra, ",", ".") as float64) valor_final_compra, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_compra` as t +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.contrato_compra` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql index 9047ecb8..d8bdbc7e 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql @@ -18,4 +18,4 @@ select safe_cast(descricao_complementar_item_compra as string) descricao_complementar_item, safe_cast(quantidade_item as int64) quantidade_item, safe_cast(replace(valor_item, ",", ".") as float64) valor_item, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_item` as t +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.contrato_item` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql index 18239979..a8a6ea7c 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql @@ -18,4 +18,5 @@ select safe_cast(numero_termo_aditivo as string) id_termo_aditivo, safe_cast(parse_date('%d/%m/%Y', data_publicacao) as date) data_publicacao_dou, safe_cast(objeto as string) objeto, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.contrato_termo_aditivo` as t +from + `basedosdados-staging.br_cgu_licitacao_contrato_staging.contrato_termo_aditivo` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql index ae9bb812..f94e47fe 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql @@ -25,8 +25,8 @@ select ) data_resultado_compra, safe_cast(parse_date('%d/%m/%Y', data_abertura) as date) data_abertura, safe_cast(replace(valor_licitacao, ",", ".") as float64) valor_licitacao, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao` as licitacao +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.licitacao` as licitacao left join - `basedosdados-dev.br_bd_diretorios_brasil.municipio` as dir_municipio + `basedosdados.br_bd_diretorios_brasil.municipio` as dir_municipio on upper(dir_municipio.nome) = licitacao.municipio and dir_municipio.sigla_uf = licitacao.uf diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql index d6846aea..a9869368 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql @@ -18,4 +18,4 @@ select safe_cast(codigo_empenho as string) id_empenho, safe_cast(parse_date('%d/%m/%Y', data_emissao_empenho) as date) data_emissao, safe_cast(replace(valor_empenho, ",", ".") as float64) valor, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_empenho` as t +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.licitacao_empenho` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql index c24e6800..0606bf45 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql @@ -22,4 +22,4 @@ select safe_cast(descricao as string) descricao_item, safe_cast(quantidade_item as int64) quantidade_item, safe_cast(replace(valor_item, ",", ".") as float64) valor_item, -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_item` as t +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.licitacao_item` as t diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql index 6a07d21c..5b5b49da 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql @@ -25,4 +25,4 @@ select when flag_vencedor = 'SIM' then true when flag_vencedor = 'NÃO' then false end as boolean ) as vencedor -from `basedosdados-dev.br_cgu_licitacao_contrato_staging.licitacao_participante` +from `basedosdados-staging.br_cgu_licitacao_contrato_staging.licitacao_participante` From 2cb5ce9397a6cb26882c3207ba995203602103c7 Mon Sep 17 00:00:00 2001 From: tricktx Date: Wed, 4 Dec 2024 10:06:19 -0300 Subject: [PATCH 4/5] ci lint --- .../br_cgu_licitacao_contrato__contrato_apostilamento.sql | 1 + .../br_cgu_licitacao_contrato__contrato_compra.sql | 1 + .../br_cgu_licitacao_contrato__contrato_item.sql | 1 + .../br_cgu_licitacao_contrato__contrato_termo_aditivo.sql | 1 + .../br_cgu_licitacao_contrato__licitacao.sql | 1 + .../br_cgu_licitacao_contrato__licitacao_empenho.sql | 1 + .../br_cgu_licitacao_contrato__licitacao_item.sql | 1 + .../br_cgu_licitacao_contrato__licitacao_participante.sql | 1 + 8 files changed, 8 insertions(+) diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql index 15460569..80b91c69 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_apostilamento.sql @@ -1,4 +1,5 @@ {{ config(alias="contrato_apostilamento", schema="br_cgu_licitacao_contrato") }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql index d851cb19..4a931949 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_compra.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql index d8bdbc7e..f24ba3c6 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_item.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql index a8a6ea7c..e3fa5872 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__contrato_termo_aditivo.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql index f94e47fe..b47a2b20 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao.sql @@ -3,6 +3,7 @@ alias="licitacao", schema="br_cgu_licitacao_contrato", materialized="table" ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql index a9869368..4b8ef38b 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_empenho.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql index 0606bf45..27276c77 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_item.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) ano, safe_cast(mes as int64) mes, diff --git a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql index 5b5b49da..46228875 100644 --- a/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql +++ b/models/br_cgu_licitacao_contrato/br_cgu_licitacao_contrato__licitacao_participante.sql @@ -5,6 +5,7 @@ materialized="table", ) }} + select safe_cast(ano as int64) as ano, safe_cast(mes as int64) as mes, From 78e6bba34166274369a08301760c9e5e7e11d776 Mon Sep 17 00:00:00 2001 From: tricktx Date: Wed, 4 Dec 2024 10:09:50 -0300 Subject: [PATCH 5/5] fix yaml --- dbt_project.yml | 824 ++++++++++++++++++++++++------------------------ 1 file changed, 412 insertions(+), 412 deletions(-) diff --git a/dbt_project.yml b/dbt_project.yml index 785ad395..4d06191c 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -1,412 +1,412 @@ ---- -# Name your project! Project names should contain only lowercase characters -# and underscores. A good package name should reflect your organization's -# name or the intended use of these models -name: basedosdados -version: 1.0.0 -config-version: 2 - -# This setting configures which "profile" dbt uses for this project. -profile: default -# Options to disable elementary models -vars: - disable_run_results: false - disable_tests_results: false - disable_dbt_artifacts_autoupload: true - disable_dbt_invocation_autoupload: true -# These configurations specify where dbt should look for different types of files. -# The `source-paths` config, for example, states that models in this project can be -# found in the "models/" directory. You probably won't need to change these! -model-paths: [models] -analysis-paths: [analysis] -test-paths: [tests] -seed-paths: [data] -macro-paths: [macros] -snapshot-paths: [snapshots] -target-path: target # directory which will store compiled SQL files -clean-targets: # directories to be removed by `dbt clean` - - target - - dbt_modules -# Grant acess -# bq data control: https://cloud.google.com/bigquery/docs/reference/standard-sql/data-control-language -# dbt grant statements use https://discourse.getdbt.com/t/the-exact-grant-statements-we-use-in-a-dbt-project/430 -# Configuring models -# Full documentation: https://docs.getdbt.com/docs/configuring-models -# In this example config, we tell dbt to build all models in the example/ directory -# as tables. These settings can be overridden in the individual model files -# using the `{{ config(...) }}` macro. -models: - +post-hook: GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "specialGroup:allUsers" - +persist_docs: - relation: true - columns: true - basedosdados: - # Config indicated by + and applies to all files under models/example/ - br_anatel_banda_larga_fixa: - +materialized: table - +schema: br_anatel_banda_larga_fixa - br_anatel_telefonia_movel: - +materialized: table # Materialization type (table, view or incremental) - +schema: br_anatel_telefonia_movel - br_anp_precos_combustiveis: - +materialized: table - +schema: br_anp_precos_combustiveis - br_ans_beneficiario: - +materialized: incremental - +schema: br_ans_beneficiario - br_b3_cotacoes: - +materialized: table - +schema: br_b3_cotacoes - br_bcb_agencia: - +materialized: table - +schema: br_bcb_agencia - br_bcb_estban: - +materialized: table - +schema: br_bcb_estban - br_bcb_sicor: - +materialized: table - +schema: br_bcb_sicor - br_bcb_taxa_cambio: - +materialized: table - +schema: br_bcb_taxa_cambio - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_bcb_taxa_selic: - +materialized: table - +schema: br_bcb_taxa_selic - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_bd_diretorios_brasil: - +materialized: table - +schema: br_bd_diretorios_brasil - br_bd_diretorios_mundo: - +materialized: table - +schema: br_bd_diretorios_mundo - br_bd_indicadores: - +materialized: table - +schema: br_bd_indicadores - br_bd_metadados: - +materialized: table - +schema: br_bd_metadados - br_bd_siga_o_dinheiro: - +materialized: table - +schema: br_bd_siga_o_dinheiro - br_camara_dados_abertos: - +materialized: table - +schema: br_camara_dados_abertos - br_ce_fortaleza_sefin_iptu: - +materialized: table - +schema: br_ce_fortaleza_sefin_iptu - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_cgu_beneficios_cidadao: - +materialized: table - +schema: br_cgu_beneficios_cidadao - br_cgu_cartao_pagamento: - +materialized: table - +schema: br_cgu_cartao_pagamento - br_cgu_dados_abertos: - +materialized: table - +schema: br_cgu_dados_abertos - br_cgu_emendas_parlamentares: - +materialized: table - +schema: br_cgu_emendas_parlamentares - br_cgu_licitacao_contrato: - +materialized: table - +schema: br_cgu_licitacao_contrato - br_cgu_pessoal_executivo_federal: - +materialized: table - +schema: br_cgu_pessoal_executivo_federal - br_cgu_servidores_executivo_federal: - +materialized: table - +schema: br_cgu_servidores_executivo_federal - br_cnj_improbidade_administrativa: - +materialized: table - +schema: br_cnj_improbidade_administrativa - br_cnpq_bolsas: - +materialized: table - +schema: br_cnpq_bolsas - br_cvm_administradores_carteira: - +materialized: table - +schema: br_cvm_administradores_carteira - br_cvm_fi: - +materialized: table - +schema: br_cvm_fi - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_cvm_oferta_publica_distribuicao: - +materialized: table - +schema: br_cvm_oferta_publica_distribuicao - br_datahackers_state_data: - +materialized: table - +schema: br_datahackers_state_data - br_denatran_frota: - +materialized: table - +schema: br_denatran_frota - br_fbsp_absp: - +materialized: table - +schema: br_fbsp_absp - br_fgv_igp: - +materialized: table - +schema: br_fgv_igp - br_geobr_mapas: - +materialized: table - +schema: br_geobr_mapas - br_ibge_censo_2022: - +materialized: table - +schema: br_ibge_censo_2022 - br_ibge_censo_demografico: - +materialized: table - +schema: br_ibge_censo_demografico - br_ibge_estadic: - +materialized: table - +schema: br_ibge_estadic - br_ibge_inpc: - +materialized: table - +schema: br_ibge_inpc - br_ibge_ipca: - +materialized: table - +schema: br_ibge_ipca - br_ibge_ipca15: - +materialized: table - +schema: br_ibge_ipca15 - br_ibge_pam: - +materialized: table - +schema: br_ibge_pam - br_ibge_pevs: - +materialized: table - +schema: br_ibge_pevs - br_ibge_pib: - +materialized: table - +schema: br_ibge_pib - br_ibge_pnad: - +materialized: table - +schema: br_ibge_pnad - br_ibge_pnad_covid: - +materialized: table - +schema: br_ibge_pnad_covid - br_ibge_pnadc: - +materialized: table - +schema: br_ibge_pnadc - br_ibge_pof: - +materialized: table - +schema: br_ibge_pof - br_ibge_ppm: - +materialized: table - +schema: br_ibge_ppm - br_inep_ana: - +materialized: table - +schema: br_inep_ana - br_inep_censo_educacao_superior: - +materialized: table - +schema: br_inep_censo_educacao_superior - br_inep_censo_escolar: - +materialized: table - +schema: br_inep_censo_escolar - br_inep_educacao_especial: - +materialized: table - +schema: br_inep_educacao_especial - br_inep_enem: - +materialized: table - +schema: br_inep_enem - br_inep_formacao_docente: - +materialized: table - +schema: br_inep_formacao_docente - br_inep_ideb: - +materialized: table - +schema: br_inep_ideb - br_inep_indicador_nivel_socioeconomico: - +materialized: table - +schema: br_inep_indicador_nivel_socioeconomico - br_inep_indicadores_educacionais: - +materialized: table - +schema: br_inep_indicadores_educacionais - br_inep_saeb: - +materialized: table - +schema: br_inep_saeb - br_inep_sinopse_estatistica_educacao_basica: - +materialized: table - +schema: br_inep_sinopse_estatistica_educacao_basica - br_inmet_bdmep: - +materialized: table - +schema: br_inmet_bdmep - br_inpe_prodes: - +materialized: table - +schema: br_inpe_prodes - br_inpe_queimadas: - +materialized: table - +schema: br_inpe_queimadas - br_inpe_sisam: - +materialized: table - +schema: br_inpe_sisam - br_ipea_avs: - +materialized: table - +schema: br_ipea_avs - br_jota: - +materialized: table - +schema: br_jota - br_mdr_snis: - +materialized: table - +schema: br_mdr_snis - br_me_caged: - +materialized: table - +schema: br_me_caged - br_me_cno: - +materialized: table - +schema: br_me_cno - br_me_cnpj: - +materialized: table - +schema: br_me_cnpj - br_me_comex_stat: - +materialized: table - +schema: br_me_comex_stat - br_me_rais: - +materialized: table - +schema: br_me_rais - br_me_sic: - +materialized: table - +schema: br_me_sic - br_me_siconfi: - +materialized: table - +schema: br_me_siconfi - br_mec_prouni: - +materialized: table - +schema: br_mec_prouni - br_mec_sisu: - +materialized: table - +schema: br_mec_sisu - br_mercadolivre_ofertas: - +materialized: table - +schema: br_mercadolivre_ofertas - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_mg_belohorizonte_smfa_iptu: - +materialized: table - +schema: br_mg_belohorizonte_smfa_iptu - br_mme_consumo_energia_eletrica: - +materialized: table - +schema: br_mme_consumo_energia_eletrica - br_mp_pep: - +materialized: table - +schema: br_mp_pep - br_ms_cnes: - +materialized: table - +schema: br_ms_cnes - br_ms_pns: - +materialized: table - +schema: br_ms_pns - br_ms_sia: - +materialized: table - +schema: br_ms_sia - br_ms_sih: - +materialized: table - +schema: br_ms_sih - br_ms_sim: - +materialized: table - +schema: br_ms_sim - br_ms_sinan: - +materialized: table - +schema: br_ms_sinan - br_ms_sinasc: - +materialized: table - +schema: br_ms_sinasc - br_ms_sisvan: - +materialized: table - +schema: br_ms_sisvan - br_ms_vacinacao_covid19: - +materialized: table - +schema: br_ms_vacinacao_covid19 - br_ons_avaliacao_operacao: - +materialized: table - +schema: br_ons_avaliacao_operacao - br_ons_estimativa_custos: - +materialized: table - +schema: br_ons_estimativa_custos - br_poder360_pesquisas: - +materialized: table - +schema: br_poder360_pesquisas - br_rf_arrecadacao: - +materialized: table - +schema: br_rf_arrecadacao - br_rf_cafir: - +materialized: table - +schema: br_rf_cafir - br_rf_cno: - +materialized: table - +schema: br_rf_cno - br_rj_isp_estatisticas_seguranca: - +materialized: table - +schema: br_rj_isp_estatisticas_seguranca - br_sfb_sicar: - +materialized: table - +schema: br_sfb_sicar - br_sp_saopaulo_dieese_icv: - +materialized: table - +schema: br_sp_saopaulo_dieese_icv - br_sp_saopaulo_geosampa_iptu: - +materialized: table - +schema: br_sp_saopaulo_geosampa_iptu - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" - br_stf_corte_aberta: - +materialized: table - +schema: br_stf_corte_aberta - br_trase_supply_chain: - +materialized: table - +schema: br_trase_supply_chain - br_tse_eleicoes: - +materialized: table - +schema: br_tse_eleicoes - br_tse_eleicoes_2022: - +materialized: table - +schema: br_tse_eleicoes_2022 - br_tse_filiacao_partidaria: - +materialized: table - +schema: br_tse_filiacao_partidaria - example: - +materialized: table # Materialization type (table, table or incremental) - +schema: example # Overrides the default schema (defaults to what is set on profiles.yml) - fundacao_lemann: - +materialized: table - +schema: fundacao_lemann - mundo_bm_wdi: - +materialized: table - +schema: mundo_bm_wdi - mundo_transfermarkt_competicoes: - +materialized: table - +schema: mundo_transfermarkt_competicoes - mundo_transfermarkt_competicoes_internacionais: - +materialized: table - +schema: mundo_transfermarkt_competicoes_internacionais - test_dataset: - +materialized: table - +schema: test_dataset - world_ampas_oscar: - +materialized: table - +schema: world_ampas_oscar - world_iea_pirls: - +materialized: table - +schema: world_iea_pirls - world_oceanos_mapeamento: - +materialized: table - +schema: world_oceanos_mapeamento - world_oecd_public_finance: - +materialized: table - +schema: world_oecd_public_finance - world_olympedia_olympics: - +materialized: table - +schema: world_olympedia_olympics - world_wb_mides: - +materialized: table - +schema: world_wb_mides - world_wwf_hydrosheds: - +materialized: table - +schema: world_wwf_hydrosheds - elementary: - +schema: elementary \ No newline at end of file +--- +# Name your project! Project names should contain only lowercase characters +# and underscores. A good package name should reflect your organization's +# name or the intended use of these models +name: basedosdados +version: 1.0.0 +config-version: 2 + +# This setting configures which "profile" dbt uses for this project. +profile: default +# Options to disable elementary models +vars: + disable_run_results: false + disable_tests_results: false + disable_dbt_artifacts_autoupload: true + disable_dbt_invocation_autoupload: true +# These configurations specify where dbt should look for different types of files. +# The `source-paths` config, for example, states that models in this project can be +# found in the "models/" directory. You probably won't need to change these! +model-paths: [models] +analysis-paths: [analysis] +test-paths: [tests] +seed-paths: [data] +macro-paths: [macros] +snapshot-paths: [snapshots] +target-path: target # directory which will store compiled SQL files +clean-targets: # directories to be removed by `dbt clean` + - target + - dbt_modules +# Grant acess +# bq data control: https://cloud.google.com/bigquery/docs/reference/standard-sql/data-control-language +# dbt grant statements use https://discourse.getdbt.com/t/the-exact-grant-statements-we-use-in-a-dbt-project/430 +# Configuring models +# Full documentation: https://docs.getdbt.com/docs/configuring-models +# In this example config, we tell dbt to build all models in the example/ directory +# as tables. These settings can be overridden in the individual model files +# using the `{{ config(...) }}` macro. +models: + +post-hook: GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "specialGroup:allUsers" + +persist_docs: + relation: true + columns: true + basedosdados: + # Config indicated by + and applies to all files under models/example/ + br_anatel_banda_larga_fixa: + +materialized: table + +schema: br_anatel_banda_larga_fixa + br_anatel_telefonia_movel: + +materialized: table # Materialization type (table, view or incremental) + +schema: br_anatel_telefonia_movel + br_anp_precos_combustiveis: + +materialized: table + +schema: br_anp_precos_combustiveis + br_ans_beneficiario: + +materialized: incremental + +schema: br_ans_beneficiario + br_b3_cotacoes: + +materialized: table + +schema: br_b3_cotacoes + br_bcb_agencia: + +materialized: table + +schema: br_bcb_agencia + br_bcb_estban: + +materialized: table + +schema: br_bcb_estban + br_bcb_sicor: + +materialized: table + +schema: br_bcb_sicor + br_bcb_taxa_cambio: + +materialized: table + +schema: br_bcb_taxa_cambio + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_bcb_taxa_selic: + +materialized: table + +schema: br_bcb_taxa_selic + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_bd_diretorios_brasil: + +materialized: table + +schema: br_bd_diretorios_brasil + br_bd_diretorios_mundo: + +materialized: table + +schema: br_bd_diretorios_mundo + br_bd_indicadores: + +materialized: table + +schema: br_bd_indicadores + br_bd_metadados: + +materialized: table + +schema: br_bd_metadados + br_bd_siga_o_dinheiro: + +materialized: table + +schema: br_bd_siga_o_dinheiro + br_camara_dados_abertos: + +materialized: table + +schema: br_camara_dados_abertos + br_ce_fortaleza_sefin_iptu: + +materialized: table + +schema: br_ce_fortaleza_sefin_iptu + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_cgu_beneficios_cidadao: + +materialized: table + +schema: br_cgu_beneficios_cidadao + br_cgu_cartao_pagamento: + +materialized: table + +schema: br_cgu_cartao_pagamento + br_cgu_dados_abertos: + +materialized: table + +schema: br_cgu_dados_abertos + br_cgu_emendas_parlamentares: + +materialized: table + +schema: br_cgu_emendas_parlamentares + br_cgu_licitacao_contrato: + +materialized: table + +schema: br_cgu_licitacao_contrato + br_cgu_pessoal_executivo_federal: + +materialized: table + +schema: br_cgu_pessoal_executivo_federal + br_cgu_servidores_executivo_federal: + +materialized: table + +schema: br_cgu_servidores_executivo_federal + br_cnj_improbidade_administrativa: + +materialized: table + +schema: br_cnj_improbidade_administrativa + br_cnpq_bolsas: + +materialized: table + +schema: br_cnpq_bolsas + br_cvm_administradores_carteira: + +materialized: table + +schema: br_cvm_administradores_carteira + br_cvm_fi: + +materialized: table + +schema: br_cvm_fi + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_cvm_oferta_publica_distribuicao: + +materialized: table + +schema: br_cvm_oferta_publica_distribuicao + br_datahackers_state_data: + +materialized: table + +schema: br_datahackers_state_data + br_denatran_frota: + +materialized: table + +schema: br_denatran_frota + br_fbsp_absp: + +materialized: table + +schema: br_fbsp_absp + br_fgv_igp: + +materialized: table + +schema: br_fgv_igp + br_geobr_mapas: + +materialized: table + +schema: br_geobr_mapas + br_ibge_censo_2022: + +materialized: table + +schema: br_ibge_censo_2022 + br_ibge_censo_demografico: + +materialized: table + +schema: br_ibge_censo_demografico + br_ibge_estadic: + +materialized: table + +schema: br_ibge_estadic + br_ibge_inpc: + +materialized: table + +schema: br_ibge_inpc + br_ibge_ipca: + +materialized: table + +schema: br_ibge_ipca + br_ibge_ipca15: + +materialized: table + +schema: br_ibge_ipca15 + br_ibge_pam: + +materialized: table + +schema: br_ibge_pam + br_ibge_pevs: + +materialized: table + +schema: br_ibge_pevs + br_ibge_pib: + +materialized: table + +schema: br_ibge_pib + br_ibge_pnad: + +materialized: table + +schema: br_ibge_pnad + br_ibge_pnad_covid: + +materialized: table + +schema: br_ibge_pnad_covid + br_ibge_pnadc: + +materialized: table + +schema: br_ibge_pnadc + br_ibge_pof: + +materialized: table + +schema: br_ibge_pof + br_ibge_ppm: + +materialized: table + +schema: br_ibge_ppm + br_inep_ana: + +materialized: table + +schema: br_inep_ana + br_inep_censo_educacao_superior: + +materialized: table + +schema: br_inep_censo_educacao_superior + br_inep_censo_escolar: + +materialized: table + +schema: br_inep_censo_escolar + br_inep_educacao_especial: + +materialized: table + +schema: br_inep_educacao_especial + br_inep_enem: + +materialized: table + +schema: br_inep_enem + br_inep_formacao_docente: + +materialized: table + +schema: br_inep_formacao_docente + br_inep_ideb: + +materialized: table + +schema: br_inep_ideb + br_inep_indicador_nivel_socioeconomico: + +materialized: table + +schema: br_inep_indicador_nivel_socioeconomico + br_inep_indicadores_educacionais: + +materialized: table + +schema: br_inep_indicadores_educacionais + br_inep_saeb: + +materialized: table + +schema: br_inep_saeb + br_inep_sinopse_estatistica_educacao_basica: + +materialized: table + +schema: br_inep_sinopse_estatistica_educacao_basica + br_inmet_bdmep: + +materialized: table + +schema: br_inmet_bdmep + br_inpe_prodes: + +materialized: table + +schema: br_inpe_prodes + br_inpe_queimadas: + +materialized: table + +schema: br_inpe_queimadas + br_inpe_sisam: + +materialized: table + +schema: br_inpe_sisam + br_ipea_avs: + +materialized: table + +schema: br_ipea_avs + br_jota: + +materialized: table + +schema: br_jota + br_mdr_snis: + +materialized: table + +schema: br_mdr_snis + br_me_caged: + +materialized: table + +schema: br_me_caged + br_me_cno: + +materialized: table + +schema: br_me_cno + br_me_cnpj: + +materialized: table + +schema: br_me_cnpj + br_me_comex_stat: + +materialized: table + +schema: br_me_comex_stat + br_me_rais: + +materialized: table + +schema: br_me_rais + br_me_sic: + +materialized: table + +schema: br_me_sic + br_me_siconfi: + +materialized: table + +schema: br_me_siconfi + br_mec_prouni: + +materialized: table + +schema: br_mec_prouni + br_mec_sisu: + +materialized: table + +schema: br_mec_sisu + br_mercadolivre_ofertas: + +materialized: table + +schema: br_mercadolivre_ofertas + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_mg_belohorizonte_smfa_iptu: + +materialized: table + +schema: br_mg_belohorizonte_smfa_iptu + br_mme_consumo_energia_eletrica: + +materialized: table + +schema: br_mme_consumo_energia_eletrica + br_mp_pep: + +materialized: table + +schema: br_mp_pep + br_ms_cnes: + +materialized: table + +schema: br_ms_cnes + br_ms_pns: + +materialized: table + +schema: br_ms_pns + br_ms_sia: + +materialized: table + +schema: br_ms_sia + br_ms_sih: + +materialized: table + +schema: br_ms_sih + br_ms_sim: + +materialized: table + +schema: br_ms_sim + br_ms_sinan: + +materialized: table + +schema: br_ms_sinan + br_ms_sinasc: + +materialized: table + +schema: br_ms_sinasc + br_ms_sisvan: + +materialized: table + +schema: br_ms_sisvan + br_ms_vacinacao_covid19: + +materialized: table + +schema: br_ms_vacinacao_covid19 + br_ons_avaliacao_operacao: + +materialized: table + +schema: br_ons_avaliacao_operacao + br_ons_estimativa_custos: + +materialized: table + +schema: br_ons_estimativa_custos + br_poder360_pesquisas: + +materialized: table + +schema: br_poder360_pesquisas + br_rf_arrecadacao: + +materialized: table + +schema: br_rf_arrecadacao + br_rf_cafir: + +materialized: table + +schema: br_rf_cafir + br_rf_cno: + +materialized: table + +schema: br_rf_cno + br_rj_isp_estatisticas_seguranca: + +materialized: table + +schema: br_rj_isp_estatisticas_seguranca + br_sfb_sicar: + +materialized: table + +schema: br_sfb_sicar + br_sp_saopaulo_dieese_icv: + +materialized: table + +schema: br_sp_saopaulo_dieese_icv + br_sp_saopaulo_geosampa_iptu: + +materialized: table + +schema: br_sp_saopaulo_geosampa_iptu + +post-hook: + - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" + - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" + br_stf_corte_aberta: + +materialized: table + +schema: br_stf_corte_aberta + br_trase_supply_chain: + +materialized: table + +schema: br_trase_supply_chain + br_tse_eleicoes: + +materialized: table + +schema: br_tse_eleicoes + br_tse_eleicoes_2022: + +materialized: table + +schema: br_tse_eleicoes_2022 + br_tse_filiacao_partidaria: + +materialized: table + +schema: br_tse_filiacao_partidaria + example: + +materialized: table # Materialization type (table, table or incremental) + +schema: example # Overrides the default schema (defaults to what is set on profiles.yml) + fundacao_lemann: + +materialized: table + +schema: fundacao_lemann + mundo_bm_wdi: + +materialized: table + +schema: mundo_bm_wdi + mundo_transfermarkt_competicoes: + +materialized: table + +schema: mundo_transfermarkt_competicoes + mundo_transfermarkt_competicoes_internacionais: + +materialized: table + +schema: mundo_transfermarkt_competicoes_internacionais + test_dataset: + +materialized: table + +schema: test_dataset + world_ampas_oscar: + +materialized: table + +schema: world_ampas_oscar + world_iea_pirls: + +materialized: table + +schema: world_iea_pirls + world_oceanos_mapeamento: + +materialized: table + +schema: world_oceanos_mapeamento + world_oecd_public_finance: + +materialized: table + +schema: world_oecd_public_finance + world_olympedia_olympics: + +materialized: table + +schema: world_olympedia_olympics + world_wb_mides: + +materialized: table + +schema: world_wb_mides + world_wwf_hydrosheds: + +materialized: table + +schema: world_wwf_hydrosheds + elementary: + +schema: elementary