Парсинг сайта eda.ru

Содержание

• Технологии
• Использование
• Команда проекта

Технологии

• Postgres
• Go

Использование

Краткое руководство по запуску и установки проекта

Подготовте БД для использования (2 варианта):

1. Установить локально на ПК смотрите инструкцию в интернете

2. Запустить в Docker контейнере

• Установите docker и docker-compose на свой компьютер

• создайте env file, заполните его необходимой информацией

cp deployments/example.env deployments/.env

• из каталога deployments запустите в командной строке команду

Если есть make на компьютере

make db_up

Если нет

make docker-compose --env-file .env  up

Запустите Парсер

Возможные параметры парсера

1. -d строка с адресом подключения к БД

Пример:

-d="host=localhost port=5433 user=postgres password=postgres dbname=postgresDBScraper sslmode=disable"

2. (Необязательный) -l уровень логирования

Пример:

-l=info

По умолчанию:

-l=info

3. (Необязательный) -p путь каталога для сохранения файлов

Важно в указанной папке должна быть создана папка с именем recepties

Пример:

-p=data

По умолчанию:

-p=data

4. (Необязательный) -s Путь к файлу сценария парсинга

Пример:

-s=scenario.json

Пример содержимого файла (1 вкл, 0 - выкл)

{
    "ingredients" : 0,
    "sub_ingredients" : 0,
    "categories" : 1,
    "recipes" : 1,
    "file_recipes" : 1
}

По умолчанию запускаются все под парсеры

Запуск

go run ./cmd -d="host=localhost port=5433 user=postgres password=postgres dbname=postgresDBScraper sslmode=disable"

Команда проекта

• Андрей Белов — Бэкенд разработчик