Skip to content

Для пользователей: загрузка новых данных для обучения нейронной сети lacmus

Georgy Perevozchikov edited this page Feb 9, 2020 · 3 revisions

Как отправить нам данные?

Общие положения

Новые данные очень важны для проекта и поиска людей! Отправляя нам данные вы очень помогаете проекту. Спасибо что читаете эту статью!

Зачем нам новые данные?

Качество и точность работы алгоритма распознования напрямую зависит от колличества данных имеющихся у нас на сервере. С ростом колличиства разнообразных данных нейронная сеть с меньшей вероятностью отметит ложны объект (false positive problem) и с большей вероятностью не пропустит потерявшегося человека наснимке (false negative problem).

Какие фотографии лучше всего отправлять?

Для нас ценны снимки где имеются люди, однако более высокую ценность для нас составляют те изображения - где нейронная сеть совершила ошибку. Мы будем очень признательны если вы пометите такие данные, добавив текстовый файл important.txt где каджая строчка содержит имя файла с целевой фотографией.

Например: содержание файла important.txt

01_DJI.JPG
12_DJI.JPG
...

Как хранятся данные на сервере?

Все фотографии разделены на 2 папки (категории): marked (размеченные и обработанные нами данные) и ubmarked (данные ждущие обработки).

В каком формате мы принимаем данные?

Все фотографии должны иметь расширение JPG или PNG. Все фотографии должны лежать в ZIP архиве с именем part_<Дата (xx-xx-xxx)>_<Место_сьемки(регион)>.zip.

Например, part_16-03-2019_moscow.zip.

В архиве должны лежать только файлы без внутренних под папок и каталогов.

Папка ubmarked

В папке ubmarked хранятся только фотографии которые не были размечены (человек на них не выделялся). Фотографии должны обязательно сопровождаться файлом readme.txt следующего содержания:

Дата географические координаты сьемки регион.
Описание:
- Колличество человек-статистов: <число>
- Колличество операторов дронов: <число>
- ФИО (или никнейм) операторов дронов:
орератор1
оператор2
...
- Статисты:
1.
ФИО: (если есть)
Тип: (ребенок\взрослый)
Сводка: (тут необходимо описать человека: цвет одежды, примерный рост, возраст,
гентор).
2.
ФИО: (если есть)
Тип: (ребенок\взрослый)
Сводка: (тут необходимо описать человека: цвет одежды, примерный рост, возраст,
гентор).
...
Оборудование:
- Модель БПЛА.
Комментарий:
Тут необходимо кратко описать некоторые детали съемки (если они есть).

P.s. Данный файл помогает нашим разметчикам найти людей на фотографиях и отметить их для обучения нейронной сети и добавления их в обучающую выборку. Фио (или никнейм) операторов БПЛА и статистов указанных в файле будут добввлены в лист с благодарностями.

Все файлы должны лежать в ZIP архиве с именем part_<Дата (xx-xx-xxx)>_<Место_сьемки(регион)>.zip, например part_16-03-2019_moscow.zip. В архиве должны лежать только файлы без внутренних под папок(!). Допускаются только файлы с расширением .JPG, .PNG, .TXT или .jpg, .png, .txt.

Например содержание архива part_16-03-2019_moscow.zip:

DJI01.PNG
DJI02.PNG
...
readme.txt
important.txt (не обязателен)

Как отправить файлы на сервер?

Алгоритм отправления через браузер

  1. Перейдите по адресу https://cloud.mail.ru/
  2. Перед вами откроется страница аутентификации. Введите имя пользователя и пароль:
  3. Зайдите в папку unmarked
  4. Скопируйте (перетащите) ваш заранее подготовленный архив part_..._.zip в папку unmarked и дождитесь завершения загрузки.

Алгоритм отправленя с помощъю WebDav (для опытных пользователей)

Если объем данных слишком велик (более 2 гб) - то этот способ будет лучшим вариантом.

Вы можете подключиться к файловому серверу как к сетевому диску используя webDAV. Подробнее об этом можно прочитать в официальной инструкции.

  • адрес сервера: https://webdav.cloud.mail.ru
  • имя пользователя: lacmus.foundation
  • пароль: L@cmu$_Fond@tioN2019
  1. Зайдите в папку ubmarked
  2. Скопируйте ваш заранее подготовленный архив part_..._.zip в папку ubmarked
  3. Дождитесь завершения процесса
Clone this wiki locally