Реализация примера по классификации текстов по тематике на основе ИИ-алгоритмов (TextClassifierAI)

[AntonIV8]

В рамках итерации необходимо создать пример реализации ИИ-сервиса классификации текстовых документов.

В данном примере, в качестве документов будут выступать тестовые документы - отчеты. Необходимо по тексту определить к какой тематике относится отчет. перечень типов отчетов будет определен в ходе выполнения итерации.

Документы отчетов относятся к объекту Report, который имеет следующие атрибуты:

• reportFile - файл отчета. Загружается в систему стандартными средствами
• reportType - определяется автоматически в зависимости от загруженного документа. Типы отчетов хранятся в объектах ReportType

ReportType:

• name - имя отчета (caption). Может меняться по каким-то причинам (например был тип "Отчет по новостям", а со временем решили, что красивее звучит "Новостной отчет")

• typeId - идентификатор отчета. Не меняется, всегда остается фиксированным для однозначного сопоставления Типа отчета и Отчета
  Например для "Отчет по новостям" идентификатор будет просто "новости" или "news".
  Идентификатор в виде строки нужен, чтобы легче составлять данные для обучения (проставлять например какие-то гуиды было бы трудно для составителя)

Отчеты попадают в систему в отсканированном виде в формате pdf. После загрузки документа и сохранения объекта Report, автоматически запускается следующая последовательность

1. Распознавание отсканированного документа и превращение его в текстовый файл
2. Отправка распознанного текстового файла в сервис классификации
3. Определение сервисом классификации типа отчета.
4. Сохранение объекта Report с установленным reportType.

Схема:

[mao29]

1. Сервис классификации на чем то обучен?
2. Перед распознаванием делаются какие-то подготовительные обработки сканов документов?

[AntonIV8]

1. Решение этого вопроса это одна из задач итерации
2. Нет. Просто будем использовать конвертацию из pdf в png через imagemagic, как в предыдущей итерации