diff --git a/.github/workflows/elementary.yaml b/.github/workflows/elementary.yaml index 1e93e8ab..594155d1 100644 --- a/.github/workflows/elementary.yaml +++ b/.github/workflows/elementary.yaml @@ -1,9 +1,10 @@ +--- name: Deploy Elementary Report on: push: - branches: [ "main", "master" ] + branches: [main, master] schedule: - - cron: '00 22 * * 1-5' + - cron: 00 22 * * 1-5 workflow_dispatch: jobs: elementary: @@ -14,19 +15,14 @@ jobs: - name: Run Elementary uses: elementary-data/run-elementary-action@v1.12 with: - warehouse-type: bigquery - adapter-version: 1.5.9 - profiles-yml: ${{ secrets.ELEMENTARY_PROFILES_YML }} - edr-command: - edr report - --file-path "report.html" - && - edr send-report - --google-service-account-path "/tmp/gcs_keyfile.json" - --gcs-bucket-name "basedosdados" - --update-bucket-website "true" + warehouse-type: bigquery + adapter-version: 1.5.9 + profiles-yml: ${{ secrets.ELEMENTARY_PROFILES_YML }} + edr-command: edr report --file-path "report.html" && edr send-report --google-service-account-path + "/tmp/gcs_keyfile.json" --gcs-bucket-name "basedosdados" --update-bucket-website + "true" bigquery-keyfile: ${{ secrets.BIGQUERY_KEYFILE }} - gcs-keyfile: ${{ secrets.GCS_KEYFILE }} + gcs-keyfile: ${{ secrets.GCS_KEYFILE }} - name: Upload report uses: actions/upload-artifact@v3 with: diff --git a/dbt_project.yml b/dbt_project.yml index 65f01e8e..ce3e7cdc 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -255,15 +255,9 @@ models: br_ons_avaliacao_operacao: +materialized: table +schema: br_ons_avaliacao_operacao - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" br_ons_estimativa_custos: +materialized: table +schema: br_ons_estimativa_custos - +post-hook: - - REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers" - - GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org" br_poder360_pesquisas: +materialized: table +schema: br_poder360_pesquisas diff --git a/models/br_bd_diretorios_brasil/schema.yml b/models/br_bd_diretorios_brasil/schema.yml index 006830d2..9ff27243 100644 --- a/models/br_bd_diretorios_brasil/schema.yml +++ b/models/br_bd_diretorios_brasil/schema.yml @@ -280,7 +280,12 @@ models: - name: sigla_uf description: Sigla do Estado - name: situacao_setor - description: – ID de situação do setor - Situação urbana - IDs 1, 2 e 3; 1 - Área urbanizada de cidade ou vila 2 - Área não urbanizada de cidade ou vila 3 - Área urbana isolada - Situação rural – IDs 4, 5, 6, 7 e 8; 4 - Aglomerado rural de extensão urbana 5 - Aglomerado rural isolado, povoado 6 - Aglomerado rural isolado, núcleo 7 - Aglomerado rural isolado, outros aglomerados 8 - Zona rural, exclusive aglomerado rural + description: – ID de situação do setor - Situação urbana - IDs 1, 2 e 3; 1 + - Área urbanizada de cidade ou vila 2 - Área não urbanizada de cidade ou + vila 3 - Área urbana isolada - Situação rural – IDs 4, 5, 6, 7 e 8; 4 - + Aglomerado rural de extensão urbana 5 - Aglomerado rural isolado, povoado + 6 - Aglomerado rural isolado, núcleo 7 - Aglomerado rural isolado, outros + aglomerados 8 - Zona rural, exclusive aglomerado rural - name: tipo_setor description: Tipo de setor censitário - name: id_microrregiao diff --git a/models/br_ibge_censo_2022/schema.yml b/models/br_ibge_censo_2022/schema.yml index b12ec09d..f4ae98d7 100644 --- a/models/br_ibge_censo_2022/schema.yml +++ b/models/br_ibge_censo_2022/schema.yml @@ -870,12 +870,9 @@ models: description: description tests: - dbt_utils.unique_combination_of_columns: - combination_of_columns: - - id_uf - - id_municipio - - id_setor_censitario + combination_of_columns: [id_uf, id_municipio, id_setor_censitario] - not_null_proportion_multiple_columns: - at_least: 0.05 + at_least: 0.05 columns: - name: id_uf description: ID da Unidade da Federação @@ -905,9 +902,9 @@ models: description: Total de Domicílios Coletivos (DCCM + DCSM) - name: media_moradores_domicilios description: Média de moradores em Domicílios Particulares Ocupados (Total - pessoas em Domicílios Particulares Ocupados / DPPO + DPIO) + pessoas em Domicílios Particulares Ocupados / DPPO + DPIO) - name: porcentagem_domicilios_imputados description: Percentual de Domicílios Particulares Ocupados Imputados (Total - DPO imputados / Total DPO) + DPO imputados / Total DPO) - name: domicilios_particulares_ocupados description: Total de Domicílios Particulares Ocupados (DPPO + DPIO) diff --git a/profiles.yml b/profiles.yml index 82237d03..d153fc17 100644 --- a/profiles.yml +++ b/profiles.yml @@ -26,4 +26,4 @@ elementary: dataset: elementary method: service-account keyfile: /tmp/bigquery_keyfile.json - threads: 2 \ No newline at end of file + threads: 2