add copa_brasil

basedosdados · Sep 19, 2023 · 3230381 · 3230381
1 parent 314465a
commit 3230381
Show file tree

Hide file tree

Showing 2 changed files with 143 additions and 0 deletions.
diff --git a/models/mundo_transfermarkt_competicoes/copa_brasil.sql b/models/mundo_transfermarkt_competicoes/copa_brasil.sql
@@ -0,0 +1,63 @@
+{{ 
+  config(
+    schema='mundo_transfermarkt_competicoes',
+    materialized='table',
+     partition_by={
+      "field": "ano_campeonato",
+      "data_type": "int64",
+      "range": {
+        "start": 2020,
+        "end": 2022,
+        "interval": 1}
+    },
+    labels =  {'tema': 'esporte'},
+    post_hook = ['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter 
+                ON {{this}}
+                GRANT TO ("allUsers")
+            FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data), year) > 1)',
+          'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter 
+                ON  {{this}}
+                GRANT TO ("group:[email protected]", "group:[email protected]")
+                FILTER USING (EXTRACT(YEAR from data) = EXTRACT(YEAR from  CURRENT_DATE()))' ]
+    )
+ }}
+SELECT 
+SAFE_CAST(REPLACE (ano_campeonato,".0","") AS INT64) ano_campeonato,
+SAFE_CAST(data AS DATE) data,
+SAFE_CAST(CONCAT(horario, ":00") AS TIME) horario,
+INITCAP(fase) fase,
+INITCAP(tipo_fase) tipo_fase,
+SAFE_CAST(estadio AS STRING) estadio,
+SAFE_CAST(arbitro AS STRING) arbitro,
+SAFE_CAST(REPLACE (publico,".0","") AS INT64) publico,
+SAFE_CAST(REPLACE (publico_max,".0","") AS INT64) publico_max,
+SAFE_CAST(time_man AS STRING) time_man,
+SAFE_CAST(time_vis AS STRING) time_vis,
+SAFE_CAST(tecnico_man AS STRING) tecnico_man,
+SAFE_CAST(tecnico_vis AS STRING) tecnico_vis,
+SAFE_CAST(REPLACE (valor_equipe_titular_man,".0","") AS INT64) valor_equipe_titular_man,
+SAFE_CAST(REPLACE (valor_equipe_titular_vis,".0","") AS INT64) valor_equipe_titular_vis,
+SAFE_CAST(idade_media_titular_man AS FLOAT64) idade_media_titular_man,
+SAFE_CAST(idade_media_titular_vis AS FLOAT64) idade_media_titular_vis,
+SAFE_CAST(REPLACE (gols_man,".0","") AS INT64) gols_man,
+SAFE_CAST(REPLACE (gols_vis,".0","") AS INT64) gols_vis,
+SAFE_CAST(REPLACE (gols_1_tempo_man,".0","") AS INT64) gols_1_tempo_man,
+SAFE_CAST(REPLACE (gols_1_tempo_vis,".0","") AS INT64) gols_1_tempo_vis,
+SAFE_CAST(REPLACE (penalti,".0","") AS INT64) penalti,
+SAFE_CAST(REPLACE (gols_penalti_man,".0","") AS INT64) gols_penalti_man,
+SAFE_CAST(REPLACE (gols_penalti_vis,".0","") AS INT64) gols_penalti_vis,
+SAFE_CAST(REPLACE (escanteios_man,".0","") AS INT64) escanteios_man,
+SAFE_CAST(REPLACE (escanteios_vis,".0","") AS INT64) escanteios_vis,
+SAFE_CAST(REPLACE (faltas_man,".0","") AS INT64) faltas_man,
+SAFE_CAST(REPLACE (faltas_vis,".0","") AS INT64) faltas_vis,
+SAFE_CAST(REPLACE (chutes_bola_parada_man,".0","") AS INT64) chutes_bola_parada_man,
+SAFE_CAST(REPLACE (chutes_bola_parada_vis,".0","") AS INT64) chutes_bola_parada_vis,
+SAFE_CAST(REPLACE (defesas_man,".0","") AS INT64) defesas_man,
+SAFE_CAST(REPLACE (defesas_vis,".0","") AS INT64) defesas_vis,
+SAFE_CAST(REPLACE (impedimentos_man,".0","") AS INT64) impedimentos_man,
+SAFE_CAST(REPLACE (impedimentos_vis,".0","") AS INT64) impedimentos_vis,
+SAFE_CAST(REPLACE (chutes_man,".0","") AS INT64) chutes_man,
+SAFE_CAST(REPLACE (chutes_vis,".0","") AS INT64) chutes_vis,
+SAFE_CAST(REPLACE (chutes_fora_man,".0","") AS INT64) chutes_fora_man,
+SAFE_CAST(REPLACE (chutes_fora_vis,".0","") AS INT64) chutes_fora_vis
+FROM basedosdados-staging.mundo_transfermarkt_competicoes_staging.copa_brasil AS t
diff --git a/models/mundo_transfermarkt_competicoes/schema.yml b/models/mundo_transfermarkt_competicoes/schema.yml
@@ -80,3 +80,83 @@ Fonte: https://www.transfermarkt.com/campeonato-brasileiro-serie-a/startseite/we
         description: Chutes fora do time mandante
       - name: chutes_fora_vis
         description: Chutes fora do time visitante
+
+  - name: copa_brasil
+    description: "Com dados coletados via webscraping, a tabela abrange edições a partir de 2020, quando a fonte dos dados, o site da Transfermarkt, começou a fornecer informações detalhadas sobre vencedores e estatísticas de partidas. Entre 2017 e 2020, 91 equipes competiram, com onze já nas oitavas de final, enquanto a edição de 2021 trouxe 92 equipes. A presença de valores nulos reflete a natureza variável da fonte de dados."
+    columns:
+      - name: ano_campeonato
+        description: Ano do campeonato
+      - name: data
+        description: Data da partida
+      - name: horario
+        description: Horário da partida
+      - name: fase
+        description: Fase do campeonato
+      - name: tipo_fase
+        description: Tipo de jogo na fase
+      - name: estadio
+        description: Estádio
+      - name: arbitro
+        description: Árbitro
+      - name: publico
+        description: Público presente
+      - name: publico_max
+        description: Público máximo
+      - name: time_man
+        description: Time mandante
+      - name: time_vis
+        description: Time visitante
+      - name: tecnico_man
+        description: Técnico do time mandante
+      - name: tecnico_vis
+        description: Técnico do time visitante
+      - name: valor_equipe_titular_man
+        description: Valor da equipe titular do time mandante
+      - name: valor_equipe_titular_vis
+        description: Valor da equipe titular do time visitante
+      - name: idade_media_titular_man
+        description: Idade média da equipe titular do time mandante
+      - name: idade_media_titular_vis
+        description: Idade média da equipe titular do time visitante
+      - name: gols_man
+        description: Gols do time mandante
+      - name: gols_vis
+        description: Gols do time visitante
+      - name: gols_1_tempo_man
+        description: Gols no primeiro tempo do time mandante
+      - name: gols_1_tempo_vis
+        description: Gols no primeiro tempo do time visitante
+      - name: penalti
+        description: Indicador se o jogo foi para os pênaltis
+      - name: gols_penalti_man
+        description: Gols nos pênaltis do time mandante
+      - name: gols_penalti_vis
+        description: Gols nos pênaltis do time visitante
+      - name: escanteios_man
+        description: Escanteios do time mandante
+      - name: escanteios_vis
+        description: Escanteios do time visitante
+      - name: faltas_man
+        description: Faltas feitas pelo time mandante
+      - name: faltas_vis
+        description: Faltas feitas pelo time visitante
+      - name: chutes_bola_parada_man
+        description: Chutes de bola parada do time mandante
+      - name: chutes_bola_parada_vis
+        description: Chutes de bola parada do time visitante
+      - name: defesas_man
+        description: Defesas do time mandante
+      - name: defesas_vis
+        description: Defesas do time visitante
+      - name: impedimentos_man
+        description: Impedimentos do time mandante
+      - name: impedimentos_vis
+        description: Impedimentos do time visitante
+      - name: chutes_man
+        description: Chutes do time mandante
+      - name: chutes_vis
+        description: Chutes do time visitante
+      - name: chutes_fora_man
+        description: Chutes fora do time mandante
+      - name: chutes_fora_vis
+        description: Chutes fora do time visitante