Este projeto foi desenvolvido como parte da disciplina de Métodos de Desenvolvimento de Software (MDS) na Universidade de Brasília (UnB). O objetivo central é criar uma plataforma online para análise e armazenamento de dados de licitações relacionadas aos gastos culturais apoiados pelo Governo Federal. A equipe de desenvolvimento elaborou raspadores personalizados para coletar esses dados, enfrentando o desafio de identificar cidades cujos dados estejam disponíveis e sejam adequados para uso. Utilizamos duas principais tecnologias de raspagem: Scrapy, para dados mais acessíveis e estruturados, e Selenium, para buscas em sites mais complexos que exigem maior interação.
Através desta aplicação, buscamos oferecer uma maneira mais transparente e acessível para que o público em geral possa consultar os gastos governamentais em eventos culturais, shows, teatros e outras atividades culturais.
- Baixar o docker compose usando o apt Aqui
git clone https://github.com/unb-mds/2024-1-MinasDeCultura.gitcd 2024-1-MinasDeCulturaVocê pode iniciar o projeto executando o comando abaixo. Este comando irá construir as imagens Docker necessárias e iniciar todos os serviços definidos no docker-compose.yml, o parâmetro "-d" serve para a aplicação rodar em segundo plano:
docker compose up -dDepois que os containers estiverem em execução, você poderá acessar o projeto em http://localhost:3000.
- Coleta de Dados: Implementação de um raspadores utilizando as ferramentas scrapy e selenium.
- Análise e Armazenamento: Desenvolvimento de algoritmos para organizar dados coletados e armazená-los em um banco de dados, garantindo a integridade e segurança das informações.
- Visualização de Dados: Criação de interfaces intuitivas para que os usuários possam visualizar os dados de forma clara e compreensível, através de gráficos, tabelas e outros elementos visuais.
- Pesquisa Avançada: Possibilidade para os usuários realizarem pesquisas avançadas nos dados, filtrando por diferentes critérios como data, unidade adminitrativa, valor, entre outros, facilitando a busca por informações específicas.
-
Linguagem de Programação:
-
Ferramenta de Coleta de Dados:
-
Framework Web:
-
Banco de Dados:
-
Ferramentas Adicionais:
-
Desenvolvimento da Identidade Visual: Investimos tempo no desenvolvimento de uma identidade visual consistente para o projeto, incluindo seleção de cores, tipografia e uma logo autêntica baseada na bandeira. Essa identidade visual reflete nossa visão e valores, e está integrada em toda a interface do usuário e materiais de design.
-
PHome:
Passo a passo de como usar o scrapy está aqui
A documentação do projeto está disponível aqui
O Story Map do projeto está disponível aqui
A arquitetura do projeto está disponível aqui
|
|
|
|
|
|