diff --git a/next/blog/pt/analisando-precos-de-combustiveis.md b/next/blog/pt/analisando-precos-de-combustiveis.md index e8478fdc..5078d3ca 100644 --- a/next/blog/pt/analisando-precos-de-combustiveis.md +++ b/next/blog/pt/analisando-precos-de-combustiveis.md @@ -29,7 +29,7 @@ Qual o preço do combustível na sua cidade? Neste artigo vamos apresentar os da A ANP fornece, a cada semana, a série histórica com os microdados dos preços praticados por diferentes postos de revenda em todo o Brasil. A base inclui informações dos preços da gasolina, etanol, diesel s10, gasolina aditivada, glp, diesel e gnv, desde 2004 até outubro de 2021. -A Base dos Dados disponibiliza estes dados de uma maneira mais intuitiva: tratados, padronizados e compatibilizados. Especificamente, o [script de tratamento](https://github.com/basedosdados/mais/blob/master/bases/br_anp_precos_combustiveis/code/%5Bdados%5D_br_anp_preco_combustiveis.ipynb) dos dados consistiu em unir os _dataframes_ com os diferentes tipos de combustíveis e meses do ano, além de incluir o código do IBGE para os municípios presentes na base — o que facilita o _merge_ com outras informações. A inclusão do código do IBGE também simplifica a visualização da tabela, mudando o formato da data ou ainda compatibilizando o endereço do estabelecimento. Vale ressaltar que a pesquisa abrange 883 municípios, ao longo dos 18 anos de pesquisa. Só em 2021 foram coletadas informações de 22.629 postos de revenda dos 27 estados. +A Base dos Dados disponibiliza estes dados de uma maneira mais intuitiva: tratados, padronizados e compatibilizados. Especificamente, o [script de tratamento](https://github.com/basedosdados/sdk/blob/master/bases/br_anp_precos_combustiveis/code/%5Bdados%5D_br_anp_preco_combustiveis.ipynb) dos dados consistiu em unir os _dataframes_ com os diferentes tipos de combustíveis e meses do ano, além de incluir o código do IBGE para os municípios presentes na base — o que facilita o _merge_ com outras informações. A inclusão do código do IBGE também simplifica a visualização da tabela, mudando o formato da data ou ainda compatibilizando o endereço do estabelecimento. Vale ressaltar que a pesquisa abrange 883 municípios, ao longo dos 18 anos de pesquisa. Só em 2021 foram coletadas informações de 22.629 postos de revenda dos 27 estados. A base contém informações sobre a localização de cada posto (UF, município e endereço completo), especificidades do estabelecimento (CNPJ, nome e bandeira), além do produto e dos preços praticados nas mais de 26 milhões de observações. @@ -405,4 +405,4 @@ Essa e outras análises você consegue acompanhar na íntegra pelo nosso [Github A Base dos Dados é uma iniciativa open source e sem fins lucrativos que busca diminuir a distância entre sua pergunta e os dados. Esperamos que você se sinta inspirado em utilizar esse e outros dados. Afinal, muitas outras análises podem ser realizadas. -Compartilhe conosco seus achados em nossas redes sociais ou em nossa comunidade no [Discord](https://discord.gg/WzzzQs9T). +Compartilhe conosco seus achados em nossas redes sociais ou em nossa comunidade no [Discord](https://discord.gg/huKWpsVYx4). diff --git a/next/blog/pt/analisando-relacao-entre-idhm-e-eleicoes.md b/next/blog/pt/analisando-relacao-entre-idhm-e-eleicoes.md index a44c7368..9d511832 100644 --- a/next/blog/pt/analisando-relacao-entre-idhm-e-eleicoes.md +++ b/next/blog/pt/analisando-relacao-entre-idhm-e-eleicoes.md @@ -27,7 +27,7 @@ Neste breve artigo, proponho uma visualização simples e rápida de como a vota O IDHM é uma medida composta de indicadores de três dimensões do desenvolvimento humano: longevidade, educação e renda. O índice varia de 0 a 1. Quanto mais próximo de 1, maior o desenvolvimento humano. Além de seguir as mesmas três dimensões, o IDHM brasileiro adequa a metodologia global ao contexto brasileiro e à disponibilidade de indicadores nacionais. Isso o deixa mais adequado para avaliar o desenvolvimento de municípios brasileiros. -A Base dos Dados disponibiliza dados do [Atlas do Desenvolvimento Humano (ADH)](http://atlasbrasil.org.br/), site que traz o IDHM e outros 200 indicadores, já tratados e prontos para análise. **São dados a nível de Brasil, UF e município** que podem ser analisados em Python, R, Stata, ou pelo próprio BigQuery via SQL. Para essa análise utilizamos o [pacote em R da BD](https://github.com/basedosdados/mais/tree/master/r-package). Acesse essa base por [aqui](/dataset/mundo-onu-adh). +A Base dos Dados disponibiliza dados do [Atlas do Desenvolvimento Humano (ADH)](http://atlasbrasil.org.br/), site que traz o IDHM e outros 200 indicadores, já tratados e prontos para análise. **São dados a nível de Brasil, UF e município** que podem ser analisados em Python, R, Stata, ou pelo próprio BigQuery via SQL. Para essa análise utilizamos o [pacote em R da BD](https://github.com/basedosdados/sdk/tree/master/r-package). Acesse essa base por [aqui](/dataset/mundo-onu-adh). ## Analisando a relação entre o IDHM e a Votação Presidencial diff --git a/next/blog/pt/atualizar-como-funciona-o-sistema-de-insercao-de-dados-na-bd.md b/next/blog/pt/atualizar-como-funciona-o-sistema-de-insercao-de-dados-na-bd.md index f95cf2a3..a8a46109 100644 --- a/next/blog/pt/atualizar-como-funciona-o-sistema-de-insercao-de-dados-na-bd.md +++ b/next/blog/pt/atualizar-como-funciona-o-sistema-de-insercao-de-dados-na-bd.md @@ -41,7 +41,7 @@ Neste artigo você vai conhecer um pouco sobre como funciona a infraestrutura de O time de infraestrutura da Base dos Dados é responsável pelas ferramentas de ingestão de dados, que englobam desde o upload até a disponibilização de dados no ambiente de produção; pelo acesso de dados através de pacotes em Python e R; e pelo nosso [website](/). Neste cenário, o time é atualmente dividido em várias frentes, tratando da renovação do site e da implementação de pesos e contrapesos automatizados. -Procuramos simplificar e automatizar todos os processos, começando com o [upload de dados](https://basedosdados.github.io/mais/colab_data/) e inserção dos mesmos no **Ambiente de Experimentação**. Neste ponto, o colaborador pode adicionar dados em sua nuvem do Google, limpar e tratar os dados e então criar as tabelas locais com a interface de linha de comando desenvolvida pela infra. Por fim, é possível submeter a base de dados para revisão, criando um pull request no [Github](https://github.com/basedosdados/mais/pulls). +Procuramos simplificar e automatizar todos os processos, começando com o [upload de dados](https://basedosdados.github.io/sdk/colab_data/) e inserção dos mesmos no **Ambiente de Experimentação**. Neste ponto, o colaborador pode adicionar dados em sua nuvem do Google, limpar e tratar os dados e então criar as tabelas locais com a interface de linha de comando desenvolvida pela infra. Por fim, é possível submeter a base de dados para revisão, criando um pull request no [Github](https://github.com/basedosdados/sdk/pulls). Após o pull request de revisão, entra em ação o sistema de Pesos e Contrapesos, com o time de dados checando a qualidade dos dados e metadados. Esse ponto é crucial para manter a qualidade dos dados, um diferencial da BD. O time de infra atua procurando automatizar o máximo possível o processo de revisão dos dados, realizando a validação de metadados, como descrições e nomes de colunas, e tipos de dados, como dados chaves primárias. @@ -57,13 +57,13 @@ No caminho para se tornar um analista de dados ou desenvolvedor nos encontramos Uma boa alternativa para lidar com dados reais e melhorar seu portfólio é ajudar a Base dos Dados com a sua ingestão de dados. No mínimo, você irá lidar com a captura de dados, preferencialmente de forma automatizada, com a arquitetura e a limpeza dos mesmos. Também vai interagir com ferramentas do dia a dia de um cientista de dados, como interfaces de linha de comando, YAML e BigQuery. A experiência conquistada pode ser crucial na entrada no mercado de trabalho. -Descrevemos em detalhes esse processo em [Colaborando com dados na BD](https://basedosdados.github.io/mais/colab_data/). Em resumo o processo é dividido em quatro partes. Inicialmente você informa seu interesse para a BD. Então, faz a limpeza e tratamento dos dados que pretende subir. Em seguida realiza upload dos dados em seu BigQuery pessoal. E, por fim, envia os dados para revisão. +Descrevemos em detalhes esse processo em [Colaborando com dados na BD](https://basedosdados.github.io/sdk/colab_data/). Em resumo o processo é dividido em quatro partes. Inicialmente você informa seu interesse para a BD. Então, faz a limpeza e tratamento dos dados que pretende subir. Em seguida realiza upload dos dados em seu BigQuery pessoal. E, por fim, envia os dados para revisão. ## Contribuindo com a infra Outra forma de contribuir e melhorar seu portfólio, mas agora de desenvolvedor, é colaborando com a infraestrutura da BD. -A colaboração começa conversando conosco, no bate papo da infra ou nas reuniões às 19h da segunda-feira, ambas nos canais da infra no [Discord](https://discord.gg/huKWpsVYx4). Após este passo, podemos escolher uma _feature_ ou problema para desenvolvimento, isto é, caso ainda não tenha escolhido algum problema contido nas [issues](https://github.com/basedosdados/mais/issues). +A colaboração começa conversando conosco, no bate papo da infra ou nas reuniões às 19h da segunda-feira, ambas nos canais da infra no [Discord](https://discord.gg/huKWpsVYx4). Após este passo, podemos escolher uma _feature_ ou problema para desenvolvimento, isto é, caso ainda não tenha escolhido algum problema contido nas [issues](https://github.com/basedosdados/sdk/issues). Como você pode colaborar? **Aqui estão algumas ideias:** @@ -79,6 +79,6 @@ Como você pode colaborar? **Aqui estão algumas ideias:** **Nosso projeto já te ajudou de alguma forma?** Somos uma organização sem fins lucrativos que depende do apoio de nossa comunidade. Veja como contribuir: - [Apoie o projeto](https://apoia.se/basedosdados) -- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/mais/colab_data/) +- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/sdk/colab_data/) - [Colabore com nossos pacotes](https://github.com/basedosdados/mais) - Compartilhe nas redes sociais! diff --git a/next/blog/pt/atualizar-explorando-o-censo-escolar-com-a-bd.md b/next/blog/pt/atualizar-explorando-o-censo-escolar-com-a-bd.md index adaf7adc..1a919c50 100644 --- a/next/blog/pt/atualizar-explorando-o-censo-escolar-com-a-bd.md +++ b/next/blog/pt/atualizar-explorando-o-censo-escolar-com-a-bd.md @@ -149,7 +149,7 @@ WHERE ## Pontos de contato com outras bases -O censo escolar por si só já disponibiliza uma grande variedade de variáveis. Caso você queira obter ainda mais, com a [BD](https://basedosdados.github.io/mais/access_data_bq/) é fácil: como as bases têm os mesmos nomes de variável, podemos rapidamente juntar diferentes informações. A seguir separamos algumas bases já disponíveis na BD que podem complementar bem as tabelas do Censo Escolar: +O censo escolar por si só já disponibiliza uma grande variedade de variáveis. Caso você queira obter ainda mais, com a [BD](https://basedosdados.github.io/sdk/access_data_bq/) é fácil: como as bases têm os mesmos nomes de variável, podemos rapidamente juntar diferentes informações. A seguir separamos algumas bases já disponíveis na BD que podem complementar bem as tabelas do Censo Escolar: [Os indicadores escolares do INEP](/dataset/63f1218f-c446-4835-b746-f109a338e3a1?table=cd65b1d2-45e8-432b-afe8-c3a706addbe8): O dataset `br_inep_indicadores_educacionais` apresenta uma série de medições sobre a qualidade de ensino, em diferentes níveis de agregação. Usando a tabela `escola` como ponte, podemos juntar **média de alunos por turma da escola** (proveniente dessa tabela) com **número de computadores da escola** (vindo do Censo) e **construir um mais amplo cenário socioeconômico da escola**. diff --git a/next/blog/pt/atualizar-google-bigquery-sql-101.md b/next/blog/pt/atualizar-google-bigquery-sql-101.md index c911921b..7b2fbde1 100644 --- a/next/blog/pt/atualizar-google-bigquery-sql-101.md +++ b/next/blog/pt/atualizar-google-bigquery-sql-101.md @@ -100,6 +100,6 @@ Usar o SQL para pré-processamento de dados é uma ótima saída para quem traba **Nosso projeto já te ajudou de alguma forma?** Veja como nos retribuir: - [Apoie o projeto](https://apoia.se/basedosdados) -- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/mais/colab_data/) +- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/sdk/colab_data/) - [Colabore com nossos pacotes](https://github.com/basedosdados/mais) - Compartilhe nas redes sociais! diff --git a/next/blog/pt/atualizar-intro-ao-pacote-basedosdados-em-python.md b/next/blog/pt/atualizar-intro-ao-pacote-basedosdados-em-python.md index 653ce55f..1703e591 100644 --- a/next/blog/pt/atualizar-intro-ao-pacote-basedosdados-em-python.md +++ b/next/blog/pt/atualizar-intro-ao-pacote-basedosdados-em-python.md @@ -41,7 +41,7 @@ import basedosdados as bd > **Atenção!** É necessário criar um projeto no Google Cloud para fazer consulta aos dados do datalake. Caso você rode qualquer função do pacote pela primeira vez, as instruções irão aparecer e basta seguir o passo a passo. Utilize o **ID do projeto** que será gerado para rodar as funções mais a frente. -Existem diversas funções no pacote, tanto para acesso quanto para publicação de dados no nosso ou em qualquer projeto do Google Cloud — você pode usar o pacote para construir seu próprio repositório de dados também. A lista completa dos módulos do pacote está na [nossa documentação](https://basedosdados.github.io/mais/py_reference_api), e veja também como colaborar [subindo dados no repositório](https://basedosdados.github.io/mais/colab_data/). +Existem diversas funções no pacote, tanto para acesso quanto para publicação de dados no nosso ou em qualquer projeto do Google Cloud — você pode usar o pacote para construir seu próprio repositório de dados também. A lista completa dos módulos do pacote está na [nossa documentação](https://basedosdados.github.io/sdk/py_reference_api), e veja também como colaborar [subindo dados no repositório](https://basedosdados.github.io/sdk/colab_data/). ## Explorando as funções do pacote diff --git a/next/blog/pt/como-acessar-dados-da-bd-no-power-bi.md b/next/blog/pt/como-acessar-dados-da-bd-no-power-bi.md index 5f925e13..2671da2b 100644 --- a/next/blog/pt/como-acessar-dados-da-bd-no-power-bi.md +++ b/next/blog/pt/como-acessar-dados-da-bd-no-power-bi.md @@ -69,7 +69,7 @@ Salve a tabela obtida clicando em **Salvar**. Você pode salvar a consulta ou a -O BigQuery irá te pedir para criar um conjunto de dados onde você pode salvar essa tabela (caso não tenha um). Se já tem maior familiaridade com o PBI, é algo muito similar aos conjuntos de dados do PBI. Dê um nome intuitivo ao seu conjunto No caso da Base dos Dados, organizamos os nomes de conjuntos por abrangência geográfica, instituição e tema do dado, você pode ver mais sobre nossas regras de nomenclatura [aqui](https://basedosdados.github.io/mais/style_data/#nomea%C3%A7%C3%A3o-de-bases-e-tabelas). Esse conjunto é essencialmente uma “pasta”onde ficarão todas as tabelas do seu projeto. Neste exemplo, escolhemos o nome “tutorial” de forma mais genérica. +O BigQuery irá te pedir para criar um conjunto de dados onde você pode salvar essa tabela (caso não tenha um). Se já tem maior familiaridade com o PBI, é algo muito similar aos conjuntos de dados do PBI. Dê um nome intuitivo ao seu conjunto No caso da Base dos Dados, organizamos os nomes de conjuntos por abrangência geográfica, instituição e tema do dado, você pode ver mais sobre nossas regras de nomenclatura [aqui](https://basedosdados.github.io/sdk/style_data/#nomea%C3%A7%C3%A3o-de-bases-e-tabelas). Esse conjunto é essencialmente uma “pasta”onde ficarão todas as tabelas do seu projeto. Neste exemplo, escolhemos o nome “tutorial” de forma mais genérica. diff --git a/next/blog/pt/como-acessar-dados-publicos-em-r.md b/next/blog/pt/como-acessar-dados-publicos-em-r.md index ca15576f..fdcb76ab 100644 --- a/next/blog/pt/como-acessar-dados-publicos-em-r.md +++ b/next/blog/pt/como-acessar-dados-publicos-em-r.md @@ -23,7 +23,7 @@ Neste texto vamos explicar **como usar a biblioteca** `basedosdados` no R para e Organizamos no _datalake_ as principais bases de dados públicas já tratadas e prontas para análise. O _datalake_ é mantido no ambiente da Google (BigQuery) e o acesso às bases é gratuito, com um limite mensal de 1TB por mês — acredite, nem a gente chega a tanto. -O pacote `basedosdados` te permite acessar esse banco através do R de um jeito rápido e fácil. Para isso, é necessário que você possua um projeto (gratuito) no Google Cloud — veja como criar seu projeto com estes [5 passos](https://basedosdados.github.io/mais/access_data_bq/) ou siga as instruções na primeira vez que usar o pacote. +O pacote `basedosdados` te permite acessar esse banco através do R de um jeito rápido e fácil. Para isso, é necessário que você possua um projeto (gratuito) no Google Cloud — veja como criar seu projeto com estes [5 passos](https://basedosdados.github.io/sdk/access_data_bq/) ou siga as instruções na primeira vez que usar o pacote. ## Conhecendo a biblioteca `basedosdados` @@ -219,7 +219,7 @@ Outra aplicação importante do pacote é a possibilidade de **juntar diferentes Para exemplificar, vamos comparar os dados que obtemos de saneamento com o **nível de mortalidade por doenças relacionadas à falta de saneamento**. Para explorar mortalidade precisamos de _número de óbitos_, que estão na tabela do [Sistema de Mortalidade do Ministério da Saúde (SIM)](/dataset/5beeec93-cbf3-43f6-9eea-9bee6a0d1683?table=dea823a5-cad7-4014-b77c-4aa33b3b0541), e da _população_, na [tabela de população do IBGE](/dataset/d30222ad-7a5c-4778-a1ec-f0785371d1ca?table=2440d076-8934-471f-8cbe-51faae387c66). Ambas as tabelas estão disponíveis na BD nos links acima! -Para cruzar as tabelas vamos filtrar ambas para o ano de 2013, referente ao Atlas Esgotos (tabela anterior), pela coluna `ano` presente em todas as tabelas. Além disso, vamos também escolher somente a mortalidade de `causa_basica` referente a **doenças diarréicas**, relacionadas à falta de saneamento básico. Os códigos de referência da coluna `causa_basica` na tabela SIM podem ser [consultados aqui](https://github.com/basedosdados/mais/blob/master/bases/br_ms_sim/dictionaries/CID10/CID-10-CATEGORIAS.CSV). A query abaixo faz esses filtros e seleciona as colunas tanto da base de população e quanto de mortalidade: +Para cruzar as tabelas vamos filtrar ambas para o ano de 2013, referente ao Atlas Esgotos (tabela anterior), pela coluna `ano` presente em todas as tabelas. Além disso, vamos também escolher somente a mortalidade de `causa_basica` referente a **doenças diarréicas**, relacionadas à falta de saneamento básico. Os códigos de referência da coluna `causa_basica` na tabela SIM podem ser [consultados aqui](https://github.com/basedosdados/sdk/blob/master/bases/br_ms_sim/dictionaries/CID10/CID-10-CATEGORIAS.CSV). A query abaixo faz esses filtros e seleciona as colunas tanto da base de população e quanto de mortalidade: ```r base_mortalidade <- basedosdados::read_sql(' diff --git a/next/blog/pt/construimos-um-novo-site.md b/next/blog/pt/construimos-um-novo-site.md index eee1ffe4..c40562b7 100644 --- a/next/blog/pt/construimos-um-novo-site.md +++ b/next/blog/pt/construimos-um-novo-site.md @@ -91,7 +91,7 @@ Mas processo todo de desenvolvimento começou com a nossa contratação de um (d A**ntes do desenvolvimento, é necessário muito (e muito) desenho.** Nossas grandes artistas de Comunicação, [Fernanda](http://github.com/fernandascovino) e [Nayara](https://www.linkedin.com/in/nayaramoraesdacosta/), passaram dias e semanas pensando, rascunhando e redesenhando muitas versões possíveis do site. Para isso, utilizamos nosso querido Figma. O Figma é um programa gratuito que possibilita criar protótipos estáticos ou interativos de forma colaborativa, e até mesmo [exportar designs em HTML e CSS](https://www.figma.com/community/plugin/851183094275736358/Figma-to-HTML). -1. **Definir páginas e elementos prioritários**: Começamos pela **Home**, página de **Busca** (com filtros) e de **Conjuntos.** Com base nas entrevistas, decidimos centralizar na página de **Conjuntos** todas as informações de [tabelas tratadas no _datalake_ e outros recursos](https://basedosdados.github.io/mais/) — diminuindo o número de cliques para chegar na informação que você realmente precisa. +1. **Definir páginas e elementos prioritários**: Começamos pela **Home**, página de **Busca** (com filtros) e de **Conjuntos.** Com base nas entrevistas, decidimos centralizar na página de **Conjuntos** todas as informações de [tabelas tratadas no _datalake_ e outros recursos](https://basedosdados.github.io/sdk/) — diminuindo o número de cliques para chegar na informação que você realmente precisa. 2. **Buscar referências de design e conteúdo**: Prints de sites como [Kaggle](https://www.kaggle.com/), [NSW](https://www.nsw.gov.au/) e [World Bank Data](https://data.worldbank.org/) aos poucos foram enchendo nosso mural. @@ -134,7 +134,7 @@ Fizemos a gestão do código de desenvolvimento via Github de forma simples: tod E descobrimos também alguns ajustes para serem consertados antes do lançamento — *acredita que quase lançamos sem o botão de acesso ao datalake?* **Por isso a importância de sempre testar com novos olhos!** -Ouvimos outros pontos de melhoria, como diferenciar [o que é uma tabela tratada e o que é um link externo](https://basedosdados.github.io/mais/) e informar a data de atualização de dados, que foram priorizados pela equipe nos _sprints_ após o lançamento. +Ouvimos outros pontos de melhoria, como diferenciar [o que é uma tabela tratada e o que é um link externo](https://basedosdados.github.io/sdk/) e informar a data de atualização de dados, que foram priorizados pela equipe nos _sprints_ após o lançamento. ## Lançamento e próximos passos diff --git a/next/blog/pt/de-olho-na-camara-analisando-a-producao-legislativa-com-a-bd.md b/next/blog/pt/de-olho-na-camara-analisando-a-producao-legislativa-com-a-bd.md index a6c1d559..3da345e6 100644 --- a/next/blog/pt/de-olho-na-camara-analisando-a-producao-legislativa-com-a-bd.md +++ b/next/blog/pt/de-olho-na-camara-analisando-a-producao-legislativa-com-a-bd.md @@ -28,9 +28,9 @@ Vamos investigar se a atuação feminina na 57ª Legislatura (a atual) é muito Este artigo é parte da Campanha #DeOlhoNaCamara. O objetivo da campanha é promover uma série de conteúdos para te ajudar a construir suas próprias análises. Confira abaixo os artigos e tutoriais já publicados e não deixe de [assinar gratuitamente a BDletter](https://info.basedosdados.org/newsletter) para ficar por dentro das novidades da BD. -> [_Conheça os dados que te ajudam a monitorar a Câmara dos Deputados_](/blog/de-olho-na-camara-conheca-os-dados-que-te-ajudam-a-monitorar-a-camara-dos-deputados) +> [_Conheça os dados que te ajudam a monitorar a Câmara dos Deputados_](/blog/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara) > -> [Veja nosso tutorial sobre Como Analisar os Dados Abertos da Câmara com a BD](/blog/de-olho-na-camara-como-analisar-os-dados-abertos-da-camara-dos-deputados) +> [Veja nosso tutorial sobre Como Analisar os Dados Abertos da Câmara com a BD](/blog/de-olho-na-camara-analisando-dados-abertos-da-camara-dos-deputados-com-a-bd) ## Sobre o indicador diff --git a/next/blog/pt/de-olho-na-camara-analisando-dados-abertos-da-camara-dos-deputados-com-a-bd.md b/next/blog/pt/de-olho-na-camara-analisando-dados-abertos-da-camara-dos-deputados-com-a-bd.md index 93c42e3e..18b0ad72 100644 --- a/next/blog/pt/de-olho-na-camara-analisando-dados-abertos-da-camara-dos-deputados-com-a-bd.md +++ b/next/blog/pt/de-olho-na-camara-analisando-dados-abertos-da-camara-dos-deputados-com-a-bd.md @@ -25,7 +25,7 @@ A criação do Portal de Dados Abertos da Câmara dos Deputados facilitou muito É para você poder responder essas e muitas outras perguntas que nós criamos a campanha De Olho Na Câmara. O objetivo da campanha é promover uma série de conteúdos para te ajudar a construir suas próprias análises. Você pode conferir o artigo anterior, que recupera o contexto histórico da disponibilização dos dados da Câmara, além de um compilado de links e informações úteis. Considere também assinar nossa newsletter mensal para ficar por dentro dos próximos lançamentos. -> [Conheça os dados que te ajudam a monitorar a Câmara dos Deputados](/blog/de-olho-na-camara-conheca-os-dados-que-te-ajudam-a-monitorar-a-camara-dos-deputados) +> [Conheça os dados que te ajudam a monitorar a Câmara dos Deputados](/blog/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara) > > [Assine a BDletter](https://info.basedosdados.org/newsletter) @@ -45,7 +45,7 @@ Parte fundamental de uma boa análise é compreender de onde saíram os dados ut Nossa equipe especializada captura os dados por meio de requisição no [site da Câmara](https://dadosabertos.camara.leg.br/swagger/api.html#staticfile), que você e qualquer pessoa também tem acesso. Todo o fluxo do trabalho é aberto e está disponível no [GitHub da Base dos Dados](https://github.com/basedosdados/pipelines/tree/main/pipelines/datasets/br_camara_dados_abertos), para quem tem interesse em se debruçar sobre os detalhes. O que vale ressaltar é que o processo de captura é automatizado e, por ele rodar todos os dias, você tem a garantia de que sempre vai ter a versão mais atualizada dos dados. -Outra observação importante é sobre o tratamento de dados. Além de todas as variáveis passarem pelo crivo do [manual de estilo da BD](https://basedosdados.github.io/mais/style_data/), uma metodologia sofisticada de tratamento e limpeza de dados, alguns outros aspectos também foram adaptados. O método de quebra de linha da Câmara, por exemplo, não era bem lido em outras ferramentas — isso foi modificado no processo de tratamento próprio da BD, via Python. +Outra observação importante é sobre o tratamento de dados. Além de todas as variáveis passarem pelo crivo do [manual de estilo da BD](https://basedosdados.github.io/sdk/style_data/), uma metodologia sofisticada de tratamento e limpeza de dados, alguns outros aspectos também foram adaptados. O método de quebra de linha da Câmara, por exemplo, não era bem lido em outras ferramentas — isso foi modificado no processo de tratamento próprio da BD, via Python. Além disso, grande parte das tabelas são tratadas via [DBT (Data Build Tool)](https://docs.getdbt.com/docs/introduction), que é uma ferramenta para transformar dados em SQL (Structured Query Language). Isso é muito útil no nosso contexto do datalake, em que um grande volume de dados é armazenado e processado. Com essa ferramenta, é possível fazer testes unitários para verificar aspectos do nível de observação da tabela, como a proporção de nulos, verificação do cruzamento de colunas identificadoras com a tabela de diretórios, enfim, tudo o que diz respeito à garantia da qualidade dos dados. @@ -73,7 +73,7 @@ A seguir temos um mapa mental que mostra todas as conexões entre as chaves iden ## Dados de despesa através das legislaturas -Vamos agora a um exemplo prático utilizando o _datalake_ público da BD e consultas SQL. Se precisar de ajuda para criar suas consultas, confira [nosso tutorial de SQL](/blog/google-bigquery-sql-101) sobre como acessar os dados da BD usando a linguagem. +Vamos agora a um exemplo prático utilizando o _datalake_ público da BD e consultas SQL. Se precisar de ajuda para criar suas consultas, confira [nosso tutorial de SQL](/blog/como-comecar-sua-analise-com-dados-publicos) sobre como acessar os dados da BD usando a linguagem. A consulta abaixo nos permite comparar dados de despesa dos(as) deputados ao longo das últimas cinco legislaturas (de 2007 até o presente). @@ -103,7 +103,7 @@ A consulta gera a seguinte tabela. Vale lembrar que você pode exportar os resul Aqui conseguimos avaliar, por exemplo, o total de despesas pela cota para exercício da atividade parlamentar por tipo de despesa, ou seja, gastos com passagens aéreas, manutenção de escritório, alimentação, divulgação de atividade parlamentar etc. Utilizamos os dados da 53ª até a 57ª Legislatura, a atual. -Notamos que os gastos de divulgação da atividade parlamentar têm se destacado entre os parlamentares da legislatura atual, e por isso resolvemos investigar como esse tipo de despesa evoluiu ao longo do tempo como um todo. Com essa consulta, que poderia ser feita diretamente no ambiente do Google Cloud Console ([tutorial aqui](https://basedosdados.github.io/mais/#bigquery-sql)) ou através das nossas bibliotecas no Python ou R, conseguimos o seguinte resultado: +Notamos que os gastos de divulgação da atividade parlamentar têm se destacado entre os parlamentares da legislatura atual, e por isso resolvemos investigar como esse tipo de despesa evoluiu ao longo do tempo como um todo. Com essa consulta, que poderia ser feita diretamente no ambiente do Google Cloud Console ([tutorial aqui](https://basedosdados.github.io/sdk/#bigquery-sql)) ou através das nossas bibliotecas no Python ou R, conseguimos o seguinte resultado: diff --git a/next/blog/pt/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara.md b/next/blog/pt/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara.md index eeb97c44..0941d3f4 100644 --- a/next/blog/pt/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara.md +++ b/next/blog/pt/de-olho-na-camara-historico-e-contexto-dos-dados-abertos-da-camara.md @@ -149,8 +149,8 @@ Já fez uma análise com os dados da BD? Conte para nós ou envie um email para **Tutoriais e informações sobre os dados** -- [Documentação da Base dos Dados](https://basedosdados.github.io/mais/) -- [Manual de Estilo da Base dos Dados](https://basedosdados.github.io/mais/style_data/) +- [Documentação da Base dos Dados](https://basedosdados.github.io/sdk/) +- [Manual de Estilo da Base dos Dados](https://basedosdados.github.io/sdk/style_data/) - [Tutorial de SQL da Base dos Dados](https://www.youtube.com/watch?v=fMo54j1GL6U&list=PLu5pyM8QY6hh283MYmLUnV2Fgs7NNC7Ww&index=2) - [Tutoriais do Portal da Câmara dos Deputados](https://dadosabertos.camara.leg.br/howtouse/central-tutoriais.html) - [Perguntas Frequêntes do Portal da Câmara dos Deputados](https://www2.camara.leg.br/transparencia/dados-abertos/perguntas-e-respostas) diff --git a/next/blog/pt/excluir-voce-usa-stata-veja-como-a-bd-facilita-sua-analise-de-dados.md b/next/blog/pt/excluir-voce-usa-stata-veja-como-a-bd-facilita-sua-analise-de-dados.md index 6740a9fe..8b559c90 100644 --- a/next/blog/pt/excluir-voce-usa-stata-veja-como-a-bd-facilita-sua-analise-de-dados.md +++ b/next/blog/pt/excluir-voce-usa-stata-veja-como-a-bd-facilita-sua-analise-de-dados.md @@ -31,7 +31,7 @@ Um wrapper é, basicamente, o aproveitamento da estrutura de um pacote desenvolv Na verdade, a única ponte existente até agora no Stata, que permitiria o pacote ser construído inteiramente nessa linguagem, seria através do PostgreSQL. O PostgreSQL também é um banco de dados, assim como o BigQuery. No entanto, isso demandaria mover toda estrutura da Base dos Dados que já está no BigQuery para este novo banco, custo infelizmente alto comparado a manter o pacote do Stata como um wrapper. Por outro lado, o pacote ainda está em desenvolvimento e esta é uma questão em aberto. -Portanto, se você é um stateiro que tem novas ideias ou alguma solução para a questão citada, queremos te ouvir! Faça parte da sala do [Discord](https://discord.gg/p2g4RkBW8f) sobre o pacote. +Portanto, se você é um stateiro que tem novas ideias ou alguma solução para a questão citada, queremos te ouvir! Faça parte da sala do [Discord](https://discord.gg/huKWpsVYx4) sobre o pacote. ## Como instalar? @@ -41,9 +41,9 @@ Antes de instalar o pacote basedosdados no Stata, você deve executar dois passo 1. Garantir que seu Stata seja a versão 16+ -2. Garantir que o Python esteja instalado no seu computador — você pode se guiar pelo nosso Mini Tutorial de Python [aqui](https://github.com/basedosdados/mais/blob/master/stata-package/Minitutorial.md). Nesse tutorial você também vai descobrir como autenticar seu projeto pelo prompt do seu computador (importante!). +2. Garantir que o Python esteja instalado no seu computador — você pode se guiar pelo nosso Mini Tutorial de Python [aqui](https://github.com/basedosdados/sdk/blob/master/stata-package/Minitutorial.md). Nesse tutorial você também vai descobrir como autenticar seu projeto pelo prompt do seu computador (importante!). -Caso esteja utilizando os dados da BD pela primeira vez, é necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo). [Veja aqui como criar um projeto no Google Cloud](https://basedosdados.github.io/mais/access_data_bq/#antes-de-comecar-crie-o-seu-projeto-no-google-cloud). +Caso esteja utilizando os dados da BD pela primeira vez, é necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo). [Veja aqui como criar um projeto no Google Cloud](https://basedosdados.github.io/sdk/access_data_bq/#antes-de-comecar-crie-o-seu-projeto-no-google-cloud). Após garantir esses dois requerimentos obrigatórios, você pode finalmente instalar o pacote digitando o seguinte comando no seu Stata: @@ -69,9 +69,9 @@ Clique [aqui](https://www.python.org/downloads/) na opção “Download Python 5. Após concluir a instalação do pacote basedosdados, digite basedosdados reauth no Prompt de Comando. Copie o link que aparecerá, cole na sua aba de navegação e dê autorização ao google. Em seguida, copie o código gerado, volte e cole na tela do Prompt e dê enter. -Caso esteja utilizando os dados da BD pela primeira vez, é necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo). [Veja aqui como criar um projeto no Google Cloud](https://basedosdados.github.io/mais/access_data_bq/#antes-de-comecar-crie-o-seu-projeto-no-google-cloud). +Caso esteja utilizando os dados da BD pela primeira vez, é necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo). [Veja aqui como criar um projeto no Google Cloud](https://basedosdados.github.io/sdk/access_data_bq/#antes-de-comecar-crie-o-seu-projeto-no-google-cloud). -Após finalizar esses 3 passos, já será possível abrir o Stata e começar a usar o pacote. Para saber mais sobre os comandos do pacote, leia esse manual [aqui](https://github.com/basedosdados/mais/tree/master/stata-package). +Após finalizar esses 3 passos, já será possível abrir o Stata e começar a usar o pacote. Para saber mais sobre os comandos do pacote, leia esse manual [aqui](https://github.com/basedosdados/sdk/tree/master/stata-package). Antes de usar o pacote pela primeira vez, digite db basedosdados e confirme novamente se as etapas acima foram concluídas com sucesso. @@ -120,6 +120,6 @@ Baixe o pacote spmap e plote o mapa a partir do seguinte comando: Nosso projeto já te ajudou de alguma forma? Saiba como nos ajudar: - [Apoie o projeto](https://apoia.se/basedosdados) -- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/mais/colab_data/) +- [Seja um(a) colaborador(a) de dados na BD](https://basedosdados.github.io/sdk/colab_data/) - [Colabore com nossos pacotes](https://github.com/basedosdados/mais) - [Compartilhe nas redes sociais!](https://twitter.com/basedosdados) diff --git a/next/blog/pt/nota-sobre-divulgacao-dos-dados-do-inep.md b/next/blog/pt/nota-sobre-divulgacao-dos-dados-do-inep.md index b72121cd..951b557d 100644 --- a/next/blog/pt/nota-sobre-divulgacao-dos-dados-do-inep.md +++ b/next/blog/pt/nota-sobre-divulgacao-dos-dados-do-inep.md @@ -31,6 +31,6 @@ Entendemos a importância do respeito à privacidade de toda e qualquer pessoa. Por outro lado, a cultura e promoção de dados abertos é de extrema importância para a produção e promoção de políticas públicas, desenvolvimento de pesquisa, ciência aberta, e afins. As informações eram divulgadas há anos e não temos conhecimento de nenhuma denúncia referente a violação de privacidade ou risco à segurança de pessoas com base nos microdados do Inep. Entendemos a preocupação e necessidade de revisão do tratamento dos dados, mas nos surpreende a retirada fria e abrupta de todo seu histórico, sem comunicação com a sociedade e organizações que trabalham com base nesses dados para produção de serviços e evidências em educação. Do modo como foi feita, a retirada desta base de dados prejudicou o desenvolvimento de pesquisas e análises de qualidade numa área fundamental para o nosso país: a educação. Poder acompanhar e compreender adequadamente a efetividade de políticas públicas educacionais é um passo essencial para que possamos alcançar o que o art. 205 e seguintes da Constituição Federal nos asseguram. -Nós seguimos na defesa de dados públicos, abertos e acessíveis a todos(as), respeitando sempre que necessário as questões legais de sigilo e privacidade envolvidas na divulgação de informações. Portanto, informamos que, por hora, iremos manter os dados da forma como foram disponibilizados, sob licença de dados abertos e minimamente padronizados em [código aberto](https://github.com/basedosdados/mais/tree/master/bases). Porém, nos colocamos completamente à disposição de quaisquer entidades governamentais para conversarmos e avaliarmos a situação, para entender como podemos acompanhar e auxiliar no processo de tratamento e reabertura dos microdados. +Nós seguimos na defesa de dados públicos, abertos e acessíveis a todos(as), respeitando sempre que necessário as questões legais de sigilo e privacidade envolvidas na divulgação de informações. Portanto, informamos que, por hora, iremos manter os dados da forma como foram disponibilizados, sob licença de dados abertos e minimamente padronizados em [código aberto](https://github.com/basedosdados/sdk/tree/master/bases). Porém, nos colocamos completamente à disposição de quaisquer entidades governamentais para conversarmos e avaliarmos a situação, para entender como podemos acompanhar e auxiliar no processo de tratamento e reabertura dos microdados. Ressaltamos a importância de que o Inep publique dados que contemplem as demandas de pesquisadores(as) e especialistas por informações abrangentes sobre o cenário da educação no Brasil, sem infringir os parâmetros estabelecidos pela LGPD; estabeleça um ambiente seguro e virtual para acesso a essas informações; e garanta a total transparência e poder de fiscalização da sociedade civil ao longo do processo de adequação destes dados. diff --git a/next/components/molecules/DataInformationQuery.js b/next/components/molecules/DataInformationQuery.js index 67ed4ffe..d5a2e3da 100644 --- a/next/components/molecules/DataInformationQuery.js +++ b/next/components/molecules/DataInformationQuery.js @@ -492,7 +492,7 @@ export default function DataInformationQuery({ resource }) { {t('table.warningLargeTable', { returnObjects: true })[0]} {formatBytes(resource.uncompressedFileSize)} {t('table.warningLargeTable', { returnObjects: true })[1]} - {t('table.warningLargeTable', { returnObjects: true })[2]} + {t('table.warningLargeTable', { returnObjects: true })[2]} {t('table.warningLargeTable', { returnObjects: true })[3]} {numberColumns === checkedColumns.length && t('table.warningLargeTableOptimize')} @@ -578,9 +578,9 @@ export default function DataInformationQuery({ resource }) { as="a" target="_blank" href={ - locale === "en" ? "https://basedosdados.github.io/mais/en/colab_data/" : - locale === "es" ? "https://basedosdados.github.io/mais/es/colab_data/" : - "https://basedosdados.github.io/mais/colab_data/" + locale === "en" ? "https://basedosdados.github.io/sdk/en/colab_data/" : + locale === "es" ? "https://basedosdados.github.io/sdk/es/colab_data/" : + "https://basedosdados.github.io/sdk/colab_data/" } color="#0068C5" _hover={{color: "#0057A4"}} @@ -729,9 +729,9 @@ export default function DataInformationQuery({ resource }) { as="a" target="_blank" href={ - locale === "en" ? "https://basedosdados.github.io/mais/en/access_data_bq/#getting-started" : - locale === "es" ? "https://basedosdados.github.io/mais/es/access_data_bq/#pinitos" : - "https://basedosdados.github.io/mais/access_data_bq/#primeiros-passos" + locale === "en" ? "https://basedosdados.github.io/sdk/en/access_data_bq/#getting-started" : + locale === "es" ? "https://basedosdados.github.io/sdk/es/access_data_bq/#pinitos" : + "https://basedosdados.github.io/sdk/access_data_bq/#primeiros-passos" } color="#0068C5" _hover={{color: "#0057A4"}} @@ -843,9 +843,9 @@ export default function DataInformationQuery({ resource }) { as="a" target="_blank" href={ - locale === "en" ? "https://basedosdados.github.io/mais/en/api_reference_python/" : - locale === "es" ? "https://basedosdados.github.io/mais/es/api_reference_python/" : - "https://basedosdados.github.io/mais/api_reference_python/" + locale === "en" ? "https://basedosdados.github.io/sdk/en/api_reference_python/" : + locale === "es" ? "https://basedosdados.github.io/sdk/es/api_reference_python/" : + "https://basedosdados.github.io/sdk/api_reference_python/" } color="#0068C5" _hover={{color: "#0057A4"}} @@ -918,9 +918,9 @@ bd.read_sql(query = query, billing_project_id = billing_id)`} as="a" target="_blank" href={ - locale === "en" ? "https://basedosdados.github.io/mais/en/api_reference_r/" : - locale === "es" ? "https://basedosdados.github.io/mais/es/api_reference_r/" : - "https://basedosdados.github.io/mais/api_reference_r/" + locale === "en" ? "https://basedosdados.github.io/sdk/en/api_reference_r/" : + locale === "es" ? "https://basedosdados.github.io/sdk/es/api_reference_r/" : + "https://basedosdados.github.io/sdk/api_reference_r/" } color="#0068C5" _hover={{color: "#0057A4"}} diff --git a/next/content/FAQ/pt/data-proposal.md b/next/content/FAQ/pt/data-proposal.md index 5d3c2d38..5bc7ac61 100644 --- a/next/content/FAQ/pt/data-proposal.md +++ b/next/content/FAQ/pt/data-proposal.md @@ -5,4 +5,4 @@ keywords: inclusão, solicitação, proposta, sugestão id: data-proposal --- -É muito importante saber quais dados a nossa comunidade precisa para que a equipe adicione os conjuntos solicitados no processo de priorização de dados. Temos um canal no Discord preparado para receber suas propostas e sugestões, basta você seguir os passos indicados lá. Acesse por [aqui](https://discord.gg/Ec7tfBaTVV). +É muito importante saber quais dados a nossa comunidade precisa para que a equipe adicione os conjuntos solicitados no processo de priorização de dados. Temos um canal no Discord preparado para receber suas propostas e sugestões, basta você seguir os passos indicados lá. Acesse por [aqui](https://discord.gg/huKWpsVYx4). diff --git a/next/content/FAQ/pt/packages.md b/next/content/FAQ/pt/packages.md index 6e6fec92..f7f821a7 100644 --- a/next/content/FAQ/pt/packages.md +++ b/next/content/FAQ/pt/packages.md @@ -5,4 +5,4 @@ keywords: pacote, Python, R, instalação, documentação id: packages --- -Nossos pacotes permitem o acesso ao *datalake* público direto do seu computador ou ambiente de desenvolvimento. Para começar a explorar nossos dados em Python ou R, siga os tutoriais de instalação dos pacotes presentes na nossa [documentação](https://basedosdados.github.io/mais/access_data_packages/). +Nossos pacotes permitem o acesso ao *datalake* público direto do seu computador ou ambiente de desenvolvimento. Para começar a explorar nossos dados em Python ou R, siga os tutoriais de instalação dos pacotes presentes na nossa [documentação](https://basedosdados.github.io/sdk/access_data_packages/). diff --git a/next/pages/index.js b/next/pages/index.js index 6265383e..02f76bcc 100644 --- a/next/pages/index.js +++ b/next/pages/index.js @@ -365,9 +365,9 @@ function Products() { {t('products.learn_how_to_access')}