Merge branch 'main' into staging/br_camara_deputados

models/br_ons_avaliacao_operacao/energia_armazenada_reservatorio.sql → models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__energia_armazenada_reservatorio.sql

@@ -1,10 +1,24 @@
+{{ config(
+    alias='energia_armazenada_reservatorio', 
+    schema='br_ons_avaliacao_operacao',
+    partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2000,
+        "end": 2024,
+        "interval": 1}
+     },
+    cluster_by=['ano', 'mes']) 
+}}
+
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(reservatorio AS STRING) reservatorio,
 SAFE_CAST(tipo_reservatorio AS STRING) tipo_reservatorio,
-SAFE_CAST(id_reservatorio_planejamento AS STRING) id_reservatorio_planejamento,
+SAFE_CAST(REPLACE(id_reservatorio_planejamento, '.0', '') AS STRING) id_reservatorio_planejamento,
 SAFE_CAST(reservatorio_equivalente_energia AS STRING) reservatorio_equivalente_energia,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,

models/br_ons_avaliacao_operacao/energia_natural_afluente.sql → models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__energia_natural_afluente.sql

@@ -1,6 +1,16 @@
-{{config(
-    labels = {'project_id': 'basedosdados', 'tema': 'infraestrutura'})
-    }}
+{{ config(
+    alias='energia_natural_afluente', 
+    schema='br_ons_avaliacao_operacao',
+    partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2000,
+        "end": 2024,
+        "interval": 1}
+     },
+    cluster_by=['ano', 'mes']) 
+}}
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(ano AS INT64) ano,
@@ -18,4 +28,4 @@ SAFE_CAST(energia_natural_afluente_longo_termo AS FLOAT64) energia_natural_aflue
 SAFE_CAST(energia_natural_afluente_queda AS FLOAT64) energia_natural_afluente_queda,
 SAFE_CAST(proporcao_energia_natural_afluente_bruta AS FLOAT64) proporcao_energia_natural_afluente_bruta,
 SAFE_CAST(proporcao_energia_natural_afluente_armazenavel AS FLOAT64) proporcao_energia_natural_afluente_armazenavel
-FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.energia_natural_afluente AS t
+FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.energia_natural_afluente AS t

models/br_ons_avaliacao_operacao/geracao_termica_motivo_despacho.sql → models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__geracao_termica_motivo_despacho.sql

@@ -1,11 +1,27 @@
+{{ config(
+    alias='geracao_termica_motivo_despacho', 
+    schema='br_ons_avaliacao_operacao',
+    materialized = 'incremental',
+    partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2013,
+        "end": 2024,
+        "interval": 1}
+     },
+    cluster_by=['ano', 'mes']) 
+}}
+
+WITH ons as (
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(hora AS TIME) hora,
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
-SAFE_CAST(id_usina_planejamento AS STRING) id_usina_planejamento,
+SAFE_CAST(REPLACE(id_usina_planejamento, '.0', '') AS STRING) id_usina_planejamento,
 SAFE_CAST(usina AS STRING) usina,
 SAFE_CAST(tipo_patamar AS STRING) tipo_patamar,
 SAFE_CAST(atendimento_satisfatorio AS INT64) atendimento_satisfatorio,
@@ -34,4 +50,10 @@ SAFE_CAST(geracao_reserva_potencia_verificada AS FLOAT64) geracao_reserva_potenc
 SAFE_CAST(geracao_substituicao_verificada AS FLOAT64) geracao_substituicao_verificada,
 SAFE_CAST(geracao_unit_commitment_verificada AS FLOAT64) geracao_unit_commitment_verificada,
 SAFE_CAST(geracao_constrained_off_verificada AS FLOAT64) geracao_constrained_off_verificada
-FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.geracao_termica_motivo_despacho AS t
+FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.geracao_termica_motivo_despacho AS t
+)
+SELECT *
+FROM ons
+{% if is_incremental() %} 
+WHERE data > (SELECT max(data) FROM {{ this }} )
+{% endif %}

models/br_ons_avaliacao_operacao/geracao_usina.sql → models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__geracao_usina.sql

@@ -1,3 +1,17 @@
+{{ config(
+    alias='geracao_usina', 
+    schema='br_ons_avaliacao_operacao',
+    materialized = 'incremental',
+    partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2000,
+        "end": 2024,
+        "interval": 1}
+     }) 
+}}
+WITH ons as (
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(hora AS TIME) hora,
@@ -6,10 +20,16 @@ SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
-SAFE_CAST(id_empreendimento_aneel AS STRING) id_empreendimento_aneel,
+SAFE_CAST(REPLACE(id_empreendimento_aneel, '-', '') AS STRING) id_empreendimento_aneel,
 SAFE_CAST(usina AS STRING) usina,
 SAFE_CAST(tipo_usina AS STRING) tipo_usina,
 SAFE_CAST(tipo_modalidade_operacao AS STRING) tipo_modalidade_operacao,
 SAFE_CAST(tipo_combustivel AS STRING) tipo_combustivel,
 SAFE_CAST(geracao AS FLOAT64) geracao
-FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.geracao_usina AS t
+FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.geracao_usina AS t
+)
+SELECT DISTINCT *
+FROM ons
+{% if is_incremental() %} 
+WHERE data > (SELECT max(data) FROM {{ this }} )
+{% endif %}

models/br_ons_avaliacao_operacao/reservatorio.sql → models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__reservatorio.sql

@@ -1,10 +1,15 @@
+{{ config(
+    alias='reservatorio', 
+    schema='br_ons_avaliacao_operacao') 
+}}
+
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
 SAFE_CAST(id_empreendimento_aneel AS STRING) id_empreendimento_aneel,
-SAFE_CAST(id_reservatorio_planejamento AS STRING) id_reservatorio_planejamento,
-SAFE_CAST(id_posto_vazao AS STRING) id_posto_vazao,
+SAFE_CAST(REPLACE(id_reservatorio_planejamento, 'nan', '') AS STRING) id_reservatorio_planejamento,
+SAFE_CAST(REPLACE(id_posto_vazao, 'nan', '') AS STRING) id_posto_vazao,
 SAFE_CAST(reservatorio_equivalente AS STRING) reservatorio_equivalente,
 SAFE_CAST(reservatorio AS STRING) reservatorio,
 SAFE_CAST(tipo_reservatorio AS STRING) tipo_reservatorio,

models/br_ons_avaliacao_operacao/br_ons_avaliacao_operacao__restricao_operacao_usinas_eolicas.sql

@@ -0,0 +1,39 @@
+{{ config(
+    alias='restricao_operacao_usinas_eolicas', 
+    schema='br_ons_avaliacao_operacao',
+    materialized = 'incremental',
+    partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2021,
+        "end": 2024,
+        "interval": 1}
+     }) 
+}}
+WITH ons as (
+SELECT
+SAFE_CAST(data AS DATE) data,
+SAFE_CAST(hora AS TIME) hora,
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
+SAFE_CAST(sigla_uf AS STRING) sigla_uf,
+SAFE_CAST(id_subsistema AS STRING) id_subsistema,
+SAFE_CAST(subsistema AS STRING) subsistema,
+SAFE_CAST(id_ons AS STRING) id_ons,
+SAFE_CAST(REPLACE(id_empreendimento_aneel, '-', '') AS STRING) id_empreendimento_aneel,
+SAFE_CAST(usina AS STRING) usina,
+SAFE_CAST(REPLACE(tipo_razao_restricao, 'nan', '') AS STRING) tipo_razao_restricao,
+SAFE_CAST(REPLACE(tipo_origem_restricao, 'nan', '') AS STRING) tipo_origem_restricao,
+SAFE_CAST(geracao AS FLOAT64) geracao,
+SAFE_CAST(geracao_limitada AS FLOAT64) geracao_limitada,
+SAFE_CAST(disponibilidade AS FLOAT64) disponibilidade,
+SAFE_CAST(geracao_referencia AS FLOAT64) geracao_referencia,
+SAFE_CAST(geracao_referencia_final AS FLOAT64) geracao_referencia_final
+FROM basedosdados-staging.br_ons_avaliacao_operacao_staging.restricao_operacao_usinas_eolicas AS t
+)
+SELECT DISTINCT *
+FROM ons
+{% if is_incremental() %} 
+WHERE data > (SELECT max(data) FROM {{ this }} )
+{% endif %}

models/br_ons_avaliacao_operacao/schema.yml

@@ -1,8 +1,13 @@
 version: 2
 
 models:
-  - name: reservatorio
-    description: Dados cadastrais dos reservatórios
+  - name: br_ons_avaliacao_operacao__reservatorio
+    description: Dados cadastrais dos reservatórios.
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - id_reservatorio_planejamento
     columns:
       - name: data
         description: Data de entrada em operação do reservatório
@@ -57,8 +62,15 @@ models:
         description: Latitude do reservatório
       - name: longitude
         description: Longitude do reservatório
-  - name: geracao_usina
+  - name: br_ons_avaliacao_operacao__geracao_usina
     description: Geração verificada de usinas, conjuntos de usinas e grupos de pequenas usinas em base horária. Os Conjuntos são formados por usinas classificadas na modalidade Tipo II-C, conforme Submódulo 7.2 dos Procedimentos de Rede e são estabelecidos em Ajustamentos Operativos, disponíveis no MPO. Os grupos de pequenas usinas são formados por usinas Tipo III, que não possuem relacionamento com o ONS, e os dados são referentes a previsões de geração.
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - hora
+              - usina
+              - id_empreendimento_aneel
     columns:
       - name: data
         description: Data de referência da medição
@@ -87,8 +99,14 @@ models:
         description: Tipo de combustível utilizado pela usina
       - name: geracao
         description: Geração de Energia
-  - name: geracao_termica_motivo_despacho
+  - name: br_ons_avaliacao_operacao__geracao_termica_motivo_despacho
     description: Dados programados e verificados de geração de usinas térmicas despachadas pelo ONS por motivo de despacho em base horária.
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - hora
+              - usina
     columns:
       - name: data
         description: Data de referência da medição
@@ -188,11 +206,16 @@ models:
       - name: geracao_constrained_off_verificada
         description: Restrição verificada de geração em usina despachada por ordem
             de mérito.
-  - name: energia_natural_afluente
+  - name: br_ons_avaliacao_operacao__energia_natural_afluente
     description: Dados das grandezas de energia natural afluente (ENA) com periodicidade diária por Reservatório. A Energia Natural Afluente (ENA) Bruta representa a energia produzível pela usina e é calculada pelo produto das vazões naturais aos reservatórios com as produtividades a 65% dos volumes úteis. A ENA Armazenável considera as vazões naturais descontadas das vazões vertidas nos reservatórios.
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - reservatorio
     columns:
       - name: data
-        description: 'Data '
+        description: Data 
       - name: ano
         description: Ano
       - name: mes
@@ -225,8 +248,13 @@ models:
       - name: proporcao_energia_natural_afluente_armazenavel
         description: Valor de Energia Natural Afluente (ENA) armazenável, em % da
             média de longo termo (MLT)
-  - name: energia_armazenada_reservatorio
+  - name: br_ons_avaliacao_operacao__energia_armazenada_reservatorio
     description: Dados das grandezas de energia armazenada (EAR) em periodicidade diária por Reservatórios. A Energia Armazenada (EAR) representa a energia associada ao volume de água disponível nos reservatórios que pode ser convertido em geração na própria usina e em todas as usinas à jusante na cascata. A grandeza de EAR leva em conta nível verificado nos reservatórios na data de referência. A grandeza de EAR máxima representa a capacidade de armazenamento caso todos os reservatórios do sistema estivessem cheios. A grandeza de EAR para o subsistema à jusante considera a utilização da água do reservatório para produzir energia em uma usina à jusante que está em um subsistema diferente.
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - id_reservatorio_planejamento
     columns:
       - name: data
         description: Data 
@@ -292,4 +320,47 @@ models:
       - name: proporcao_contribuicao_energia_armazenada_maxima_sin
         description: Percentual da contribuição do reservatório para a Energia Armazenada
             (EAR) máxima do Sistema Interligado Nacional (SIN)
-
+  - name: br_ons_avaliacao_operacao__restricao_operacao_usinas_eolicas
+    description: Informações associadas à apuração das restrições de operação por Constrained-off nas usinas eólicas classificadas nas modalidades Tipo I, Tipo II-B e Tipo II-C
+    tests:
+        - dbt_utils.unique_combination_of_columns:
+            combination_of_columns:
+              - data
+              - hora
+              - usina
+              - id_ons
+    columns:
+      - name: data
+        description: Data de referência da medição
+      - name: hora
+        description: Hora de referência da medição
+      - name: ano
+        description: Ano de refêrencia da medição
+      - name: mes
+        description: Mês de referência da medição
+      - name: sigla_uf
+        description: Sigla da unidade da federação da usina
+      - name: id_subsistema
+        description: Identificador do subsistema da usina
+      - name: subsistema
+        description: Nome do subsistema da usina
+      - name: id_ons
+        description: Identificador da usina ou conjunto do Operador Nacional do Sistema Elétrico (ONS)
+      - name: id_empreendimento_aneel
+        description: Identificador único do empreendimento de geração da Agência Nacional de Energia Elétrica (ANEEL)
+      - name: usina
+        description: Nome da usina
+      - name: tipo_razao_restricao
+        description: Código do tipo de razão da restrição
+      - name: tipo_origem_restricao
+        description: Código do tipo de origem da restrição
+      - name: geracao
+        description: Valor da geração de energia
+      - name: geracao_limitada
+        description: Valor da geração limitada por alguma restrição
+      - name: disponibilidade
+        description: Valor da disponibilidade verificada no tempo real
+      - name: geracao_referencia
+        description: Valor da geração de referência (ou estimada)
+      - name: geracao_referencia_final
+        description: Valor da geração de referência final  

models/br_ons_estimativa_custos/balanco_energia_subsistemas.sql → models/br_ons_estimativa_custos/br_ons_estimativa_custos__balanco_energia_subsistemas.sql

@@ -1,6 +1,13 @@
+{{ config(
+    alias='balanco_energia_subsistemas', 
+    schema='br_ons_estimativa_custos') 
+}}
+
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(hora AS TIME) hora,
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
 SAFE_CAST(geracao_hidraulica_verificada AS FLOAT64) geracao_hidraulica_verificada,

models/br_ons_estimativa_custos/balanco_energia_subsistemas_dessem.sql → models/br_ons_estimativa_custos/br_ons_estimativa_custos__balanco_energia_subsistemas_dessem.sql

@@ -1,6 +1,15 @@
+{{ config(
+    alias='balanco_energia_subsistemas_dessem', 
+    schema='br_ons_estimativa_custos',
+    cluster_by=['ano', 'mes']
+    ) 
+}}
+
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(hora AS TIME) hora,
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
 SAFE_CAST(valor_demanda AS FLOAT64) valor_demanda,

models/br_ons_estimativa_custos/custo_marginal_operacao_semanal.sql → models/br_ons_estimativa_custos/br_ons_estimativa_custos__custo_marginal_operacao_semanal.sql

@@ -1,5 +1,11 @@
+{{ config(
+    alias='custo_marginal_operacao_semanal', 
+    schema='br_ons_estimativa_custos') 
+}}
 SELECT
 SAFE_CAST(data AS DATE) data,
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
 SAFE_CAST(custo_marginal_operacao_semanal AS FLOAT64) custo_marginal_operacao_semanal,

models/br_ons_estimativa_custos/custo_marginal_operacao_semi_horario.sql → models/br_ons_estimativa_custos/br_ons_estimativa_custos__custo_marginal_operacao_semi_horario.sql

@@ -1,6 +1,13 @@
+{{ config(
+    alias='custo_marginal_operacao_semi_horario', 
+    schema='br_ons_estimativa_custos') 
+}}
+
 SELECT
 SAFE_CAST(data AS DATE) data,
 SAFE_CAST(hora AS TIME) hora,
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(id_subsistema AS STRING) id_subsistema,
 SAFE_CAST(subsistema AS STRING) subsistema,
 SAFE_CAST(custo_marginal_operacao AS FLOAT64) custo_marginal_operacao