[02] Entendendo a interface
A imagem abaixo mostra a página inicial do sistema, ao acessar o endereço do servidor onde está executando:
No cabeçalho da página, há links para cinco páginas: Coletores, Novo coletor, Fila de coletas, Novo coletor, Agendamento e Ferramentas. Esse cabeçalho estará presente em todas páginas do sistema.
A página inicial corresponde (é redirecionada) para a página de Coletores, detalhada na próxima seção.
A página Coletores lista todos os coletores, ordenados por ordem de criação, em forma de tabela presente no corpo da página (parte central).
Em cada linha da tabela há uma breve descrição de cada coletor já criado, ações possíveis a serem feitas com o coletor, arquivos da coleta e o seu presente status. Isto é, se está em execução ou parado.
Caso não haja nenhum coletor criado, teremos uma tela como a apresentada na seção anterior, com a tabela vazia.
A figura abaixo mostra uma página de Coletores típica, com alguns coletores criados:
A coluna Detalhes da tabela, como o nome sugere, provê um link para que se possa acessar a página de detalhes do coletor.
A página Novo coletor permite a criação de duas formas: via importação de uma configuração de coleta ou definindo uma passo a passo.
A configuração de um coletor possui diversos parâmetros que foram agrupados nas seguintes categorias presentes no canto lateral esquerdo da página: Spiders, "Infos" básicas, Antibloqueio, Captcha, URL Parametrizada, Processamento dinâmico e Detalhes do coletor.
Clique em um agrupamento de configurações para alterar seus valores padrão.
O botão Importar configuração, embora também esteja no canto lateral esquerdo, aqui não é considerado como um agrupamento de parâmetros. Seu propósito é carregar um arquivo de configuração externo em formato json e preencher automaticamente os parâmetros de configuração de uma coleta.
Para facilitar a criação de coletores, boa parte dos parâmetros são preenchidos automaticamente com valores padrão.
Existem parâmetros de configuração obrigatórios e opcionais. Caso os obrigatórios não sejam preenchidos ou algum campo esteja preenchido incorretamente, a categoria à qual aquela configuração pertence terá um símbolo de alerta (
A criação de um coletor está condicionada a não haver nenhum símbolo de alerta (Create, para criar em si a configuração de coleta, é habilitado.
Observe que a página de início de configuração de uma coleta é como a abaixo:
Nela podemos ver que há apenas um empecilho para a criação do coletor: o grupo de parâmetros Infos básicas, possui um símbolo de alerta (Create, ficará verde e "clicável". Permitindo a criação do coletor, como na imagem abaixo:
Para detalhes de criação de um coletor, veja [3] Criando um coletor.
Obs.: Os dois últimos tópicos na lateral esquerda escritos
Configuraçãona figura acima são apenas templates para possíveis outros agrupamentos de parâmetros de configuração. No momento, não possuem utilidade prática e não são "clicáveis".
Após a criação de um coletor, a página de detalhes do mesmo será parecida com a abaixo em sua primeira execução:
Note que há uma descrição do coletor no começo da página e quatro botões de ação: Começar, em verde, Parar, em vermelho claro (indicando que o botão está inativo, uma vez que a coleta não foi iniciada), Editar, em azul e Excluir. O que cada botão faz é autoexplicativo.
Ao clicar no botão Começar, a coleta será iniciada e teremos algo como a figura abaixo:
Note que o botão Começar passou a ficar verde claro, indicando que ele está inativo por já haver uma coleta em execução. Por sua vez, o botão Parar passa a ser ativo, clicável, com cor vermelho escuro. Permitindo que a coleta em execução seja interrompida.
Há também uma nova seção Instances, que aparece sempre que um coletor tiver sido executado pelo menos uma vez. Trata-se de uma uma seção com uma tabela onde cada linha apresenta o identificador de uma coleta realizada, seu horário de início e término, e um botão Baixar, na coluna Arquivo de configurações. Instances, portanto, lista as instâncias de execução de um coletor, que podem ser várias e diferentes, tanto pela configuração de um coletor ter sido alterada ou pelos dados coletados terem sido alterados.
O botão Baixar, como o nome sugere, permite baixar o arquivo de configuração do coletor no momento que a coleta foi executada. Esse arquivo pode ser utilizado em Importar configuração na página Novo coletor, permitindo compartilhamento fácil de coletores.
A figura abaixo mostra como ficaria a página de detalhes de um coletor após o término da coleta.
Perceba que o botão Começar volta a ficar ativo, passando a ter cor verde escuro, e o botão Parar fica inativo, permitindo a realização de recoletas.
A medida que recoletas são realizadas, a tabela da seção Instances fica cada vez maior.
A fila de coletas faz com que haja no máximo um certo número de coletores rodando em paralelo. Os demais que estiverem sido iniciados devem esperar uma das coletas terminar para iniciar sua execução. Isso evita uma série de erros, como por exemplo, erros relacionados a página indisponível ocasionados por sobrecarregar o servidor quando as diversas coletas são de um mesmo template. A imagem a seguir mostra a página da Fila de Coletas:
Para detalhes da fila de coletas, veja [12] Caso de Uso: Fila de Coleta.
Agendar uma coleta permite que um coletor seja executado em uma data e hora específicas. A figura a seguir mostra o resultado do agendamento de uma coleta:
Para mais detalhes de agendamento de coleta, veja [10] Caso de Uso: Agendamento de coletores.
A página Ferramentas foi criada para abrigar estratégias de coleta que facilitam ou generalizam melhor a recuperação da informação buscada. A imagem a seguir mostra uma das ferramentas, relacionada a criação e edição de coletores em massa:
Para detalhes desse tipo de ferramenta mostrado, veja [13] Caso de Uso: Criação e Edição em Massa.