LDA_vs_NMF.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import gensim\n",
    "import json\n",
    "import re\n",
    "import pandas as pd\n",
    "from nltk.tokenize import word_tokenize\n",
    "from nltk.corpus import stopwords\n",
    "from pymorphy2 import MorphAnalyzer\n",
    "import pyLDAvis.gensim\n",
    "import string\n",
    "from collections import Counter\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")\n",
    "from pymystem3 import Mystem \n",
    "\n",
    "morph = MorphAnalyzer()\n",
    "m = Mystem()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1) Нормализация"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "stops = set(stopwords.words('russian')) | {'gt',}\n",
    "def remove_tags(text):\n",
    "    return re.sub(r'<[^>]+>', '', text)\n",
    "\n",
    "def opt_normalize(texts, top=None):\n",
    "    uniq = Counter()\n",
    "    for text in texts:\n",
    "        uniq.update(text)\n",
    "    \n",
    "    norm_uniq = {word:morph.parse(word)[0].normal_form for word, _ in uniq.most_common(top)}\n",
    "    \n",
    "    norm_texts = []\n",
    "    for text in texts:\n",
    "        \n",
    "        norm_words = [norm_uniq.get(word) for word in text]\n",
    "        norm_words = [word for word in norm_words if word and word not in stops]\n",
    "        norm_texts.append(norm_words)\n",
    "        \n",
    "    return norm_texts\n",
    "\n",
    "def tokenize(text):\n",
    "    words = [word.strip(string.punctuation) for word in text.split()]\n",
    "    words = [word for word in words if word]\n",
    "    \n",
    "    return words"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Пробовал делать лемматизацию с помощью mystem в качестве эксперимента, но она занимает очень много времени.\n",
    "norm_uniq = {word:m.lemmatize(word)[0] for word, _ in uniq.most_common(top)}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "texts = open('habr_texts.txt', encoding='utf-8').read().splitlines()\n",
    "texts = opt_normalize([tokenize(remove_tags(text.lower())) for text in texts], 30000)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2) Добавление нграммов"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "ph = gensim.models.Phrases(texts, scoring='npmi', threshold=0.4) # threshold можно подбирать\n",
    "p = gensim.models.phrases.Phraser(ph)\n",
    "ngrammed_texts = p[texts]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3) Создание словаря"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictinary = gensim.corpora.Dictionary(ngrammed_texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictinary.filter_extremes(no_above=0.1, no_below=20)\n",
    "dictinary.compactify()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4) LDA"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus = [dictinary.doc2bow(text) for text in ngrammed_texts]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "lda = gensim.models.LdaMulticore(corpus, 100, id2word=dictinary, eval_every=0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(74,\n",
       "  '0.009*\"дата-центр\" + 0.004*\"ноутбук\" + 0.003*\"ибп\" + 0.003*\"батарея\" + 0.003*\"температура\" + 0.003*\"напряжение\" + 0.003*\"мощность\" + 0.003*\"энергия\" + 0.003*\"аккумулятор\" + 0.003*\"частота\"'),\n",
       " (64,\n",
       "  '0.010*\"текстура\" + 0.003*\"транзакция\" + 0.003*\"символ\" + 0.002*\"координата\" + 0.002*\"сканирование\" + 0.002*\"сетка\" + 0.002*\"пиксель\" + 0.002*\"кадр\" + 0.002*\"атака\" + 0.002*\"проектирование\"'),\n",
       " (20,\n",
       "  '0.003*\"маска\" + 0.003*\"научный\" + 0.002*\"курс\" + 0.002*\"звук\" + 0.002*\"microsoft\" + 0.002*\"индекс\" + 0.002*\"нейросеть\" + 0.002*\"отчёт\" + 0.002*\"провайдер\" + 0.002*\"вм\"'),\n",
       " (56,\n",
       "  '0.005*\"шаблон\" + 0.004*\"доклад\" + 0.004*\"робот\" + 0.004*\"end\" + 0.003*\"оператор\" + 0.003*\"is\" + 0.002*\"id\" + 0.002*\"as\" + 0.002*\"public\" + 0.002*\"камера\"'),\n",
       " (96,\n",
       "  '0.004*\"microsoft\" + 0.004*\"контент\" + 0.003*\"заказчик\" + 0.002*\"windows\" + 0.002*\"•\" + 0.002*\"провайдер\" + 0.002*\"программный_обеспечение\" + 0.002*\"трафик\" + 0.002*\"github\" + 0.002*\"служба\"'),\n",
       " (94,\n",
       "  '0.007*\"боль\" + 0.005*\"мозг\" + 0.005*\"тэг\" + 0.005*\"name\" + 0.004*\"возраст\" + 0.003*\"обучение\" + 0.003*\"коллекция\" + 0.002*\"стратегия\" + 0.002*\"подписка\" + 0.002*\"do\"'),\n",
       " (60,\n",
       "  '0.003*\"российский\" + 0.003*\"магазин\" + 0.003*\"ядро\" + 0.002*\"измерение\" + 0.002*\"процессор\" + 0.002*\"n\" + 0.002*\"новость\" + 0.002*\"закон\" + 0.002*\"аккаунт\" + 0.002*\"оптимизация\"'),\n",
       " (8,\n",
       "  '0.003*\"пиксель\" + 0.003*\"i\" + 0.003*\"int\" + 0.003*\"контроллер\" + 0.002*\"товар\" + 0.002*\"домен\" + 0.002*\"атака\" + 0.002*\"инфраструктура\" + 0.002*\"сигнал\" + 0.002*\"16\"'),\n",
       " (52,\n",
       "  '0.005*\"реклама\" + 0.003*\"бактерия\" + 0.003*\"вакансия\" + 0.003*\"игрок\" + 0.003*\"энергия\" + 0.002*\"социальный_сеть\" + 0.002*\"вселенная\" + 0.002*\"атака\" + 0.002*\"рекламный\" + 0.002*\"смартфон\"'),\n",
       " (98,\n",
       "  '0.003*\"•\" + 0.003*\"мониторинг\" + 0.002*\"телефон\" + 0.002*\"оператор\" + 0.002*\"письмо\" + 0.002*\"товар\" + 0.002*\"энергия\" + 0.002*\"локализация\" + 0.002*\"перевод\" + 0.002*\"отчёт\"'),\n",
       " (6,\n",
       "  '0.005*\"игрок\" + 0.003*\"монета\" + 0.003*\"react\" + 0.003*\"трафик\" + 0.003*\"протокол\" + 0.002*\"yahoo\" + 0.002*\"id\" + 0.002*\"массив\" + 0.002*\"javascript\" + 0.002*\"then\"'),\n",
       " (72,\n",
       "  '0.007*\"•\" + 0.005*\"игрок\" + 0.004*\"нейросеть\" + 0.003*\"var\" + 0.003*\"вселенная\" + 0.003*\"int\" + 0.002*\"агент\" + 0.002*\"x\" + 0.002*\"n\" + 0.002*\"перевод\"'),\n",
       " (95,\n",
       "  '0.006*\"узел\" + 0.004*\"дата-центр\" + 0.003*\"указатель\" + 0.003*\"чтение\" + 0.003*\"письмо\" + 0.003*\"камера\" + 0.002*\"data\" + 0.002*\"оператор\" + 0.002*\"провайдер\" + 0.002*\"id\"'),\n",
       " (9,\n",
       "  '0.003*\"иконка\" + 0.003*\"автомобиль\" + 0.002*\"вектор\" + 0.002*\"json\" + 0.002*\"заказчик\" + 0.002*\"x\" + 0.002*\"0_0\" + 0.002*\"рейтинг\" + 0.002*\"b\" + 0.002*\"спутник\"'),\n",
       " (67,\n",
       "  '0.004*\"int\" + 0.004*\"облако\" + 0.003*\"lt\" + 0.003*\"else\" + 0.003*\"linux\" + 0.003*\"камера\" + 0.002*\"массив\" + 0.002*\"null\" + 0.002*\"контроллер\" + 0.002*\"анализатор\"'),\n",
       " (39,\n",
       "  '0.004*\"скидка\" + 0.003*\"ядро\" + 0.003*\"российский\" + 0.003*\"•\" + 0.003*\"тело\" + 0.003*\"смартфон\" + 0.003*\"кандидат\" + 0.002*\"телефон\" + 0.002*\"датчик\" + 0.002*\"игрок\"'),\n",
       " (34,\n",
       "  '0.007*\"мозг\" + 0.003*\"ms\" + 0.003*\"нейрон\" + 0.002*\"активность\" + 0.002*\"ibm\" + 0.002*\"сознание\" + 0.002*\"слой\" + 0.002*\"echo\" + 0.002*\"пароль\" + 0.002*\"энергия\"'),\n",
       " (28,\n",
       "  '0.004*\"ядро\" + 0.004*\"вм\" + 0.004*\"•\" + 0.003*\"диск\" + 0.003*\"массив\" + 0.003*\"перевод\" + 0.002*\"сигнал\" + 0.002*\"int\" + 0.002*\"атака\" + 0.002*\"производство\"'),\n",
       " (26,\n",
       "  '0.004*\"срок\" + 0.004*\"i\" + 0.003*\"int\" + 0.003*\"lt\" + 0.003*\"интеграция\" + 0.003*\"конференция\" + 0.002*\"сборка\" + 0.002*\"отчёт\" + 0.002*\"плата\" + 0.002*\"android\"'),\n",
       " (49,\n",
       "  '0.005*\"ребёнок\" + 0.003*\"частота\" + 0.003*\"int\" + 0.003*\"смартфон\" + 0.002*\"доклад\" + 0.002*\"дерево\" + 0.002*\"оператор\" + 0.002*\"n\" + 0.002*\"усилитель\" + 0.002*\"сигнал\"')]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda.print_topics()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 2 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "lda2 = gensim.models.LdaMulticore(corpus, 100, id2word=dictinary, eval_every=0, passes = 10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(70,\n",
       "  '0.016*\"вода\" + 0.015*\"ручка\" + 0.009*\"волна\" + 0.008*\"температура\" + 0.007*\"float\" + 0.007*\"вод\" + 0.007*\"пластик\" + 0.007*\"прямоугольник\" + 0.006*\"метка\" + 0.006*\"голосование\"'),\n",
       " (58,\n",
       "  '0.022*\"драйвер\" + 0.010*\"кэширование\" + 0.008*\"3d\" + 0.008*\"ос\" + 0.008*\"файловый_система\" + 0.008*\"фильтр\" + 0.007*\"звук\" + 0.006*\"пользовательский\" + 0.005*\"контекст\" + 0.005*\"беспроводный\"'),\n",
       " (2,\n",
       "  '0.013*\"мастер\" + 0.013*\"шрифт\" + 0.008*\"репликация\" + 0.008*\"const\" + 0.007*\"иб\" + 0.006*\"функциональный\" + 0.006*\"блокировка\" + 0.006*\"public\" + 0.005*\"function\" + 0.005*\"add\"'),\n",
       " (85,\n",
       "  '0.054*\"товар\" + 0.034*\"кластер\" + 0.012*\"def\" + 0.011*\"бд\" + 0.010*\"скидка\" + 0.010*\"val\" + 0.009*\"категория\" + 0.007*\"нода\" + 0.007*\"var\" + 0.006*\"value\"'),\n",
       " (65,\n",
       "  '0.079*\"камера\" + 0.011*\"профиль\" + 0.009*\"кофе\" + 0.006*\"ip\" + 0.005*\"нейросеть\" + 0.005*\"кандидат\" + 0.004*\"словарь\" + 0.004*\"переводчик\" + 0.004*\"видеонаблюдение\" + 0.003*\"электронный\"'),\n",
       " (52,\n",
       "  '0.017*\"name\" + 0.011*\"is\" + 0.010*\"id\" + 0.009*\"string\" + 0.008*\"from\" + 0.007*\"this\" + 0.007*\"null\" + 0.007*\"public\" + 0.007*\"set\" + 0.007*\"var\"'),\n",
       " (21,\n",
       "  '0.042*\"драйвер\" + 0.026*\"датчик\" + 0.020*\"прерывание\" + 0.019*\"cpu\" + 0.018*\"сетевой\" + 0.016*\"протокол\" + 0.015*\"регистр\" + 0.012*\"ядро\" + 0.010*\"частота\" + 0.010*\"сетевой_карта\"'),\n",
       " (46,\n",
       "  '0.019*\"камера\" + 0.013*\"vr\" + 0.012*\"виртуальный_реальность\" + 0.008*\"регистратор\" + 0.005*\"смартфон\" + 0.004*\"проектирование\" + 0.004*\"владелец\" + 0.004*\"съёмка\" + 0.004*\"шлем\" + 0.003*\"android\"'),\n",
       " (49,\n",
       "  '0.031*\"задание\" + 0.023*\"json\" + 0.011*\"сущность\" + 0.009*\"агрегат\" + 0.009*\"миссия\" + 0.008*\"массив\" + 0.007*\"идентификатор\" + 0.007*\"плёнка\" + 0.007*\"id\" + 0.007*\"клетка\"'),\n",
       " (81,\n",
       "  '0.026*\"дата-центр\" + 0.024*\"байт\" + 0.014*\"цод\" + 0.010*\"зарубежный\" + 0.008*\"youtube\" + 0.007*\"хостинг\" + 0.007*\"дистрибутив\" + 0.007*\"ведущий\" + 0.006*\"провайдер\" + 0.006*\"селектор\"'),\n",
       " (72,\n",
       "  '0.081*\"ия\" + 0.038*\"нейросеть\" + 0.023*\"искусственный_интеллект\" + 0.018*\"ребёнок\" + 0.017*\"обучение\" + 0.015*\"deepmind\" + 0.010*\"визуальный\" + 0.010*\"текстовый\" + 0.007*\"агент\" + 0.006*\"обучаться\"'),\n",
       " (59,\n",
       "  '0.014*\"российский\" + 0.011*\"•\" + 0.009*\"переключатель\" + 0.009*\"отечественный\" + 0.008*\"критерий\" + 0.008*\"победитель\" + 0.007*\"виртуальный_машина\" + 0.007*\"аналитика\" + 0.006*\"отчёт\" + 0.005*\"иконка\"'),\n",
       " (28,\n",
       "  '0.013*\"android\" + 0.008*\"инженер\" + 0.007*\"линия\" + 0.006*\"игровой\" + 0.006*\"планирование\" + 0.005*\"баг\" + 0.005*\"тестовый\" + 0.005*\"дизайнер\" + 0.005*\"ios\" + 0.005*\"ui\"'),\n",
       " (20,\n",
       "  '0.026*\"печать\" + 0.025*\"уязвимость\" + 0.020*\"принтер\" + 0.011*\"android\" + 0.009*\"бумага\" + 0.009*\"windows\" + 0.008*\"php\" + 0.006*\"unity\" + 0.005*\"сборка\" + 0.005*\"задание\"'),\n",
       " (38,\n",
       "  '0.030*\"диск\" + 0.013*\"массив\" + 0.008*\"хранение\" + 0.007*\"облако\" + 0.007*\"хранилище\" + 0.007*\"виртуальный_машина\" + 0.006*\"схд\" + 0.006*\"ssd\" + 0.005*\"нагрузка\" + 0.005*\"накопитель\"'),\n",
       " (91,\n",
       "  '0.016*\"удалённый\" + 0.010*\"виртуализация\" + 0.008*\"офис\" + 0.007*\"маркетинг\" + 0.007*\"cookie\" + 0.006*\"партнёр\" + 0.005*\"операционный_система\" + 0.005*\"рабочий_стол\" + 0.005*\"ос\" + 0.004*\"приставка\"'),\n",
       " (8,\n",
       "  '0.015*\"кожа\" + 0.012*\"кампания\" + 0.011*\"cs\" + 0.009*\"цифра\" + 0.007*\"systems\" + 0.007*\"arduino\" + 0.006*\"2011\" + 0.006*\"мониторинг\" + 0.006*\"инженер\" + 0.006*\"2013\"'),\n",
       " (98,\n",
       "  '0.010*\"метр\" + 0.009*\"накопитель\" + 0.008*\"помещение\" + 0.008*\"проектор\" + 0.008*\"узел\" + 0.007*\"дрон\" + 0.006*\"транзистор\" + 0.006*\"яркость\" + 0.006*\"стрелка\" + 0.006*\"эксплуатация\"'),\n",
       " (57,\n",
       "  '0.024*\"research\" + 0.020*\"amp\" + 0.014*\"транзистор\" + 0.014*\"сертификат\" + 0.013*\"журнал\" + 0.013*\"научный\" + 0.012*\"science\" + 0.011*\"подпись\" + 0.010*\"international\" + 0.010*\"нагрузка\"'),\n",
       " (3,\n",
       "  '0.020*\"for_int\" + 0.019*\"полоса\" + 0.015*\"суд\" + 0.010*\"sim-карта\" + 0.009*\"велосипед\" + 0.009*\"страничка\" + 0.009*\"заполнить\" + 0.008*\"право\" + 0.008*\"x\" + 0.007*\"актуальный\"')]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda2.print_topics()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 3 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "lda3 = gensim.models.LdaModel(corpus, 200, id2word=dictinary, eval_every=0, passes = 5, alpha='auto')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(6,\n",
       "  '0.000*\"etc\" + 0.000*\"data\" + 0.000*\"backup\" + 0.000*\"15_декабрь\" + 0.000*\"id\" + 0.000*\"from\" + 0.000*\"add\" + 0.000*\"false\" + 0.000*\"биржа\" + 0.000*\"сигнал\"'),\n",
       " (106,\n",
       "  '0.441*\"нейросеть\" + 0.206*\"обучение\" + 0.103*\"рассказ\" + 0.054*\"обучить\" + 0.043*\"deep\" + 0.011*\"светов_год\" + 0.007*\"несколько_десяток\" + 0.006*\"выдавать\" + 0.005*\"стратегия\" + 0.004*\"вход\"'),\n",
       " (112,\n",
       "  '0.220*\"интернет_вещий\" + 0.215*\"raspberry_pi\" + 0.128*\"промышленный\" + 0.084*\"безопасный\" + 0.081*\"умный_дом\" + 0.045*\"переключать\" + 0.040*\"gpio\" + 0.024*\"кафедра\" + 0.016*\"гаджет\" + 0.013*\"аутентификация\"'),\n",
       " (108,\n",
       "  '0.167*\"анализатор\" + 0.133*\"pvs-studio\" + 0.047*\"лента\" + 0.040*\"статический_анализ\" + 0.036*\"диагностика\" + 0.025*\"воплотить\" + 0.023*\"статический_анализатор\" + 0.020*\"разметка\" + 0.020*\"hdmi\" + 0.019*\"django\"'),\n",
       " (158,\n",
       "  '0.685*\"задание\" + 0.049*\"телеграм\" + 0.032*\"best\" + 0.028*\"me\" + 0.022*\"15_декабрь\" + 0.016*\"1000\" + 0.013*\"call\" + 0.012*\"судить\" + 0.006*\"чат\" + 0.005*\"подсказка\"'),\n",
       " (46,\n",
       "  '0.376*\"затрата\" + 0.103*\"илона_маска\" + 0.102*\"spacex\" + 0.084*\"илона_маск\" + 0.044*\"800\" + 0.041*\"31_декабрь\" + 0.034*\"сегодняшний\" + 0.022*\"230\" + 0.018*\"животное\" + 0.017*\"2.6\"'),\n",
       " (188,\n",
       "  '0.153*\"vr\" + 0.145*\"виртуальный_реальность\" + 0.038*\"реальность\" + 0.036*\"дополнить_реальность\" + 0.027*\"еда\" + 0.026*\"симуляция\" + 0.023*\"зрение\" + 0.017*\"сегмент\" + 0.015*\"погружение\" + 0.015*\"ощущение\"'),\n",
       " (36,\n",
       "  '0.524*\"дорога\" + 0.130*\"ехать\" + 0.111*\"макет\" + 0.081*\"производство\" + 0.036*\"маршрут\" + 0.029*\"3d-печать\" + 0.003*\"особенный\" + 0.002*\"назначение\" + 0.002*\"3d-принтер\" + 0.002*\"распечатать\"'),\n",
       " (58,\n",
       "  '0.198*\"лампа\" + 0.083*\"st\" + 0.077*\"лампочка\" + 0.054*\"less\" + 0.046*\"function\" + 0.033*\"30000\" + 0.024*\"вт\" + 0.024*\"снег\" + 0.022*\"function_var\" + 0.022*\"временной_интервал\"'),\n",
       " (152,\n",
       "  '0.125*\"традиционный\" + 0.111*\"электрод\" + 0.107*\"искусственный\" + 0.084*\"whatsapp\" + 0.072*\"близкие\" + 0.058*\"веб-страница\" + 0.053*\"нога\" + 0.037*\"доставлять\" + 0.032*\"пациент\" + 0.029*\"праздник\"'),\n",
       " (199,\n",
       "  '0.014*\"сумма\" + 0.014*\"долг\" + 0.011*\"срок\" + 0.011*\"доход\" + 0.011*\"ставка\" + 0.010*\"фирма\" + 0.010*\"расход\" + 0.010*\"поездка\" + 0.009*\"суд\" + 0.009*\"платить\"'),\n",
       " (5,\n",
       "  '0.019*\"стратегия\" + 0.016*\"звонок\" + 0.015*\"единый\" + 0.015*\"миграция\" + 0.014*\"показатель\" + 0.013*\"риска\" + 0.013*\"обслуживание\" + 0.013*\"рост\" + 0.011*\"конкурент\" + 0.011*\"площадка\"'),\n",
       " (136,\n",
       "  '0.009*\"крис\" + 0.007*\"вещь\" + 0.006*\"нуль\" + 0.006*\"давность\" + 0.006*\"неплохо\" + 0.005*\"речь\" + 0.005*\"2008_год\" + 0.005*\"конец_конец\" + 0.005*\"немало\" + 0.005*\"заканчиваться\"'),\n",
       " (193,\n",
       "  '0.023*\"тестировщик\" + 0.022*\"фич\" + 0.016*\"баг\" + 0.014*\"менеджер\" + 0.014*\"функциональность\" + 0.013*\"тестовый\" + 0.011*\"тестировать\" + 0.010*\"стадия\" + 0.009*\"удобно\" + 0.009*\"риска\"'),\n",
       " (17,\n",
       "  '0.011*\"искусственный_интеллект\" + 0.010*\"компьютерный\" + 0.010*\"журнал\" + 0.010*\"инженер\" + 0.009*\"облачный\" + 0.008*\"облачный_технология\" + 0.008*\"iaas\" + 0.008*\"облако\" + 0.007*\"робот\" + 0.007*\"член_команда\"'),\n",
       " (168,\n",
       "  '0.018*\"релиз\" + 0.017*\"провайдер\" + 0.016*\"скачать\" + 0.014*\"скачивание\" + 0.012*\"протокол\" + 0.012*\"контент\" + 0.007*\"диск\" + 0.007*\"обмен\" + 0.006*\"синхронизация\" + 0.006*\"клиентский\"'),\n",
       " (11,\n",
       "  '0.027*\"гипотеза\" + 0.019*\"планирование\" + 0.017*\"фактор\" + 0.010*\"бесконечный\" + 0.009*\"интерес\" + 0.009*\"девушка\" + 0.009*\"ценность\" + 0.009*\"польза\" + 0.008*\"вконтакте\" + 0.007*\"собака\"'),\n",
       " (115,\n",
       "  '0.080*\"игрок\" + 0.033*\"играть\" + 0.023*\"игровой\" + 0.009*\"дизайнер\" + 0.008*\"жанр\" + 0.008*\"аудитория\" + 0.005*\"valve\" + 0.005*\"геймплей\" + 0.005*\"придумать\" + 0.005*\"нравиться\"'),\n",
       " (87,\n",
       "  '0.057*\"мозг\" + 0.014*\"учёный\" + 0.014*\"исследователь\" + 0.011*\"лицо\" + 0.009*\"реакция\" + 0.007*\"лаборатория\" + 0.006*\"активность\" + 0.006*\"выяснить\" + 0.006*\"возраст\" + 0.005*\"животное\"'),\n",
       " (99,\n",
       "  '0.022*\"прибор\" + 0.009*\"комната\" + 0.005*\"точность\" + 0.005*\"выходить\" + 0.005*\"автомобиль\" + 0.005*\"лежать\" + 0.005*\"дорогой\" + 0.004*\"приятный\" + 0.004*\"хватить\" + 0.004*\"сутки\"')]"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda3.print_topics()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 4 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "lda4 = gensim.models.LdaModel(corpus, 200, id2word=dictinary, eval_every=1, passes = 5, eta=2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(5,\n",
       "  '0.000*\"профессионал\" + 0.000*\"работодатель\" + 0.000*\"tdd\" + 0.000*\"проектирование\" + 0.000*\"макет\" + 0.000*\"обязанность\" + 0.000*\"заказчик\" + 0.000*\"срок\" + 0.000*\"«я\" + 0.000*\"ответственность\"'),\n",
       " (11,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (187,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (125,\n",
       "  '0.000*\"design\" + 0.000*\"adobe\" + 0.000*\"дизайнер\" + 0.000*\"проектирование\" + 0.000*\"пользовательский\" + 0.000*\"ux\" + 0.000*\"слоить\" + 0.000*\"designer\" + 0.000*\"user\" + 0.000*\"совет\"'),\n",
       " (198,\n",
       "  '0.000*\"ия\" + 0.000*\"amazon\" + 0.000*\"работник\" + 0.000*\"индия\" + 0.000*\"•\" + 0.000*\"форум\" + 0.000*\"труд\" + 0.000*\"тэг\" + 0.000*\"«мы\" + 0.000*\"задание\"'),\n",
       " (102,\n",
       "  '0.000*\"master\" + 0.000*\"перезагрузка\" + 0.000*\"load\" + 0.000*\"show\" + 0.000*\"devices\" + 0.000*\"cli\" + 0.000*\"seconds\" + 0.000*\"грузиться\" + 0.000*\"флешек\" + 0.000*\"found\"'),\n",
       " (117,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (72,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (48,\n",
       "  '0.000*\"движок\" + 0.000*\"фирма\" + 0.000*\"жанр\" + 0.000*\"software\" + 0.000*\"pascal\" + 0.000*\"портрет\" + 0.000*\"perl\" + 0.000*\"иван\" + 0.000*\"ios\" + 0.000*\"играть\"'),\n",
       " (96,\n",
       "  '0.000*\"встреча\" + 0.000*\"заказчик\" + 0.000*\"tdd\" + 0.000*\"концентрация\" + 0.000*\"методика\" + 0.000*\"приоритет\" + 0.000*\"обязательство\" + 0.000*\"давление\" + 0.000*\"повод\" + 0.000*\"велосипед\"'),\n",
       " (52,\n",
       "  '0.000*\"алан\" + 0.000*\"ребёнок\" + 0.000*\"flex\" + 0.000*\"1983_год\" + 0.000*\"графический_интерфейс\" + 0.000*\"220\" + 0.000*\"персональный_компьютер\" + 0.000*\"носитель\" + 0.000*\"star\" + 0.000*\"искусственный_интеллект\"'),\n",
       " (9,\n",
       "  '0.000*\"кандидат\" + 0.000*\"генеральный_директор\" + 0.000*\"конкурент\" + 0.000*\"талант\" + 0.000*\"мотивация\" + 0.000*\"вакансия\" + 0.000*\"знакомый\" + 0.000*\"работодатель\" + 0.000*\"привлечение\" + 0.000*\"services\"'),\n",
       " (145,\n",
       "  '0.000*\"встреча\" + 0.000*\"заказчик\" + 0.000*\"tdd\" + 0.000*\"концентрация\" + 0.000*\"методика\" + 0.000*\"приоритет\" + 0.000*\"обязательство\" + 0.000*\"давление\" + 0.000*\"повод\" + 0.000*\"велосипед\"'),\n",
       " (77,\n",
       "  '0.000*\"местный\" + 0.000*\"нидерланды\" + 0.000*\"спринт\" + 0.000*\"открытость\" + 0.000*\"евро\" + 0.000*\"дть\" + 0.000*\"перевод\" + 0.000*\"переписка\" + 0.000*\"твой\" + 0.000*\"встреча\"'),\n",
       " (26,\n",
       "  '0.000*\"корпус\" + 0.000*\"разный_род\" + 0.000*\"институт\" + 0.000*\"технологический\" + 0.000*\"опираться\" + 0.000*\"устойчивый\" + 0.000*\"сущность\" + 0.000*\"извлечение\" + 0.000*\"статистический\" + 0.000*\"невозможность\"'),\n",
       " (57,\n",
       "  '0.000*\"играть\" + 0.000*\"студия\" + 0.000*\"vr\" + 0.000*\"геймплей\" + 0.000*\"жанр\" + 0.000*\"игрок\" + 0.000*\"сессия\" + 0.000*\"крутой\" + 0.000*\"герой\" + 0.000*\"научиться\"'),\n",
       " (94,\n",
       "  '0.000*\"линейка\" + 0.000*\"дисплей\" + 0.000*\"стекло\" + 0.000*\"подсветка\" + 0.000*\"удобно\" + 0.000*\"1200\" + 0.000*\"палец\" + 0.000*\"диагональ\" + 0.000*\"pdf\" + 0.000*\"разрешение\"'),\n",
       " (12,\n",
       "  '0.000*\"фирма\" + 0.000*\"экономика\" + 0.000*\"война\" + 0.000*\"корпорация\" + 0.000*\"мировой_война\" + 0.000*\"работник\" + 0.000*\"т.к\" + 0.000*\"экономический\" + 0.000*\"выплата\" + 0.000*\"век\"'),\n",
       " (32,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (61,\n",
       "  '0.000*\"персонаж\" + 0.000*\"raspberry_pi\" + 0.000*\"watson\" + 0.000*\"научный\" + 0.000*\"microsd\" + 0.000*\"фильм\" + 0.000*\"стрелка\" + 0.000*\"золотой\" + 0.000*\"файловый_система\" + 0.000*\"антенна\"')]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda4.print_topics()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 5) Темы самой хорошей модели"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Самой хорошей моделью с хорошо различимыми темами на мой взгляд оказался вариант 3.\n",
    "\n",
    "lda3 = gensim.models.LdaModel(corpus, 200, id2word=dictinary, eval_every=0, passes = 5, alpha='auto')\n",
    "\n",
    "3 хорошие темы из модели:\n",
    "\n",
    "1) Виртульная реальность (188,'0.153*\"vr\" + 0.145*\"виртуальный_реальность\" + 0.038*\"реальность\" + 0.036*\"дополнить_реальность\" + 0.027*\"еда\" + 0.026*\"симуляция\" + 0.023*\"зрение\" + 0.017*\"сегмент\" + 0.015*\"погружение\" + 0.015*\"ощущение\"')\n",
    "\n",
    "2) Видеоигры (115,'0.080*\"игрок\" + 0.033*\"играть\" + 0.023*\"игровой\" + 0.009*\"дизайнер\" + 0.008*\"жанр\" + 0.008*\"аудитория\" + 0.005*\"valve\" + 0.005*\"геймплей\" + 0.005*\"придумать\" + 0.005*\"нравиться\"')\n",
    "\n",
    "3) 3d-печать (36,'0.524*\"дорога\" + 0.130*\"ехать\" + 0.111*\"макет\" + 0.081*\"производство\" + 0.036*\"маршрут\" + 0.029*\"3d-печать\" + 0.003*\"особенный\" + 0.002*\"назначение\" + 0.002*\"3d-принтер\" + 0.002*\"распечатать\"')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 6) Добавление TF-IDF"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "tfidf_model = gensim.models.TfidfModel(corpus, id2word=dictinary)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "corpus2 = tfidf_model[corpus]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7) LDA на преобразованном корпусе"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "lda5 = gensim.models.LdaModel(corpus2, 200, id2word=dictinary, eval_every=0, passes = 5, alpha='auto')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(19,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (22,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (53,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (33,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (66,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (95,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (187,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (97,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (90,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (180,\n",
       "  '0.000*\"функционально\" + 0.000*\"чистота\" + 0.000*\"следование\" + 0.000*\"сменить\" + 0.000*\"спрятать\" + 0.000*\"удовлетворять\" + 0.000*\"приведение\" + 0.000*\"стремление\" + 0.000*\"дорабатывать\" + 0.000*\"практический_применение\"'),\n",
       " (102,\n",
       "  '0.084*\"шифрование\" + 0.075*\"windows\" + 0.074*\"хостинг\" + 0.051*\"client\" + 0.039*\"url\" + 0.038*\"дерево\" + 0.037*\"закладка\" + 0.036*\"граф\" + 0.031*\"указатель\" + 0.029*\"ветка\"'),\n",
       " (100,\n",
       "  '0.051*\"name\" + 0.044*\"error\" + 0.035*\"mb\" + 0.034*\"data\" + 0.033*\"type\" + 0.032*\"system\" + 0.027*\"id\" + 0.026*\"status\" + 0.024*\"address\" + 0.022*\"core\"'),\n",
       " (162,\n",
       "  '0.067*\"мессенджер\" + 0.059*\"студент\" + 0.046*\"тестировщик\" + 0.036*\"пообщаться\" + 0.023*\"слушать\" + 0.022*\"jira\" + 0.020*\"телефон\" + 0.018*\"менеджер\" + 0.018*\"почта\" + 0.016*\"вечер\"'),\n",
       " (96,\n",
       "  '0.048*\"партнёр\" + 0.039*\"мотивация\" + 0.037*\"встреча\" + 0.033*\"сопротивление\" + 0.027*\"офис\" + 0.026*\"владелец\" + 0.026*\"мысль\" + 0.024*\"семья\" + 0.022*\"технический_директор\" + 0.020*\"зал\"'),\n",
       " (128,\n",
       "  '0.052*\"иконка\" + 0.044*\"паттерн\" + 0.042*\"2017\" + 0.040*\"css\" + 0.036*\"ios\" + 0.033*\"шаблон\" + 0.033*\"dropbox\" + 0.030*\"анимация\" + 0.029*\"опрос\" + 0.029*\"публиковать\"'),\n",
       " (91,\n",
       "  '0.079*\"домен\" + 0.046*\"html\" + 0.042*\"перевод\" + 0.034*\"email\" + 0.034*\"уведомление\" + 0.032*\"amount\" + 0.031*\"input\" + 0.030*\"поль\" + 0.026*\"оплата\" + 0.023*\"полый\"'),\n",
       " (7,\n",
       "  '0.108*\"•\" + 0.057*\"кампания\" + 0.040*\"контент\" + 0.034*\"бюджет\" + 0.032*\"релиз\" + 0.030*\"движок\" + 0.030*\"письмо\" + 0.027*\"trello\" + 0.026*\"перенос\" + 0.025*\"отчёт\"'),\n",
       " (122,\n",
       "  '0.051*\"выборка\" + 0.043*\"предприятие\" + 0.040*\"пилот\" + 0.036*\"актив\" + 0.030*\"посетитель\" + 0.030*\"товар\" + 0.029*\"рубль\" + 0.025*\"сделка\" + 0.022*\"акция\" + 0.020*\"потребитель\"'),\n",
       " (124,\n",
       "  '0.041*\"user\" + 0.032*\"int\" + 0.031*\"ядро\" + 0.030*\"процессор\" + 0.027*\"фоновый_режим\" + 0.026*\"диск\" + 0.025*\"администратор\" + 0.025*\"каталог\" + 0.025*\"amp\" + 0.023*\"rm\"'),\n",
       " (70,\n",
       "  '0.020*\"мозг\" + 0.019*\"бот\" + 0.018*\"робот\" + 0.017*\"ия\" + 0.014*\"рабочий_место\" + 0.012*\"ребёнок\" + 0.011*\"социальный\" + 0.010*\"вычислительный\" + 0.010*\"учёный\" + 0.010*\"корпорация\"')]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda5.print_topics()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 8) Как изменилась модель"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "В новом варианте с использованием tf-idf модели видно повторение одной и той же темы несколько раз. Однако другие темы выглядят достаточно осмысленными и их можно различить и описать. Например, \n",
    "(122,'0.051*\"выборка\" + 0.043*\"предприятие\" + 0.040*\"пилот\" + 0.036*\"актив\" + 0.030*\"посетитель\" + 0.030*\"товар\" + 0.029*\"рубль\" + 0.025*\"сделка\" + 0.022*\"акция\" + 0.020*\"потребитель\"') наверняка связана с описанием бизнеса или компании. \n",
    "\n",
    "А эта (128,'0.052*\"иконка\" + 0.044*\"паттерн\" + 0.042*\"2017\" + 0.040*\"css\" + 0.036*\"ios\" + 0.033*\"шаблон\" + 0.033*\"dropbox\" + 0.030*\"анимация\" + 0.029*\"опрос\" + 0.029*\"публиковать\"') связана с html версткой."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "-31.415426440581857"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda3.log_perplexity(corpus[:10000]) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [],
   "source": [
    "topics = []\n",
    "for topic_id, topic in lda.show_topics(num_topics=100, formatted=False):\n",
    "    topic = [word for word, _ in topic]\n",
    "    topics.append(topic)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "coherence_model_lda = gensim.models.CoherenceModel(model=lda, \n",
    "                                                  texts=texts, \n",
    "                                                   dictionary=dictinary, coherence='c_v')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "nan"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "coherence_model_lda.get_coherence()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "-180.2070180247443"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lda5.log_perplexity(corpus2[:10000])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "topics = []\n",
    "for topic_id, topic in lda5.show_topics(num_topics=100, formatted=False):\n",
    "    topic = [word for word, _ in topic]\n",
    "    topics.append(topic)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "coherence_model_lda5 = gensim.models.CoherenceModel(model=lda5, \n",
    "                                                  texts=texts, \n",
    "                                                   dictionary=dictinary, coherence='c_v')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "nan"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "coherence_model_lda5.get_coherence()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Исходя из метрик перплексии более хорошей является модель варианта 3. Попытался сделать когерентность по образцу из ноутбука, но почему-то результат не выводится."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 9) NMF"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 1 с TfidfVectorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.decomposition import NMF\n",
    "from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "stexts = [' '.join(text) for text in texts]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [],
   "source": [
    "vectorizer = TfidfVectorizer(max_features=1000, min_df=10, max_df=0.3, ngram_range=(1,3))\n",
    "X = vectorizer.fit_transform(stexts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = NMF(n_components=30)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "NMF(alpha=0.0, beta_loss='frobenius', init=None, l1_ratio=0.0, max_iter=200,\n",
       "    n_components=30, random_state=None, shuffle=False, solver='cd', tol=0.0001,\n",
       "    verbose=0)"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "pd.set_option('display.max_columns', 100)\n",
    "pd.set_option('display.max_rows', 100)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "feat_names = vectorizer.get_feature_names()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0 клиент  продукт  бизнес  сотрудник\n",
      "1 if  int  amp  return\n",
      "2 игра  игрок  игровой  играть\n",
      "3 файл  папка  скрипт  настройка\n",
      "4 сигнал  звук  частота  напряжение\n",
      "5 lt  gt  lt div  div\n",
      "6 устройство  смартфон  мобильный  умный\n",
      "7 the  to  of  and\n",
      "8 public  new  void  string\n",
      "9 уязвимость  атака  безопасность  защита\n",
      "10 сайт  страница  реклама  браузер\n",
      "11 react  javascript  js  компонент\n",
      "12 космический  аппарат  земля  станция\n",
      "13 доклад  конференция  участник  тема\n",
      "14 рубль  рынок  цена  миллион\n",
      "15 процессор  память  intel  диск\n",
      "16 печать  3d  материал  модель\n",
      "17 учёный  мозг  исследование  исследователь\n",
      "18 объект  значение  метод  элемент\n",
      "19 язык  программирование  программа  программист\n",
      "20 сеть  связь  трафик  интернет\n",
      "21 сервер  дата центр  дата  сервис\n",
      "22 бот  сообщение  канал  робот\n",
      "23 end  запрос  from  as\n",
      "24 google  android  мобильный  ios\n",
      "25 вселенная  энергия  свет  теория\n",
      "26 камера  видео  смартфон  изображение\n",
      "27 виртуальный  машина  виртуальный машина  windows\n",
      "28 книга  какой то  что то  друг\n",
      "29 тест  тестирование  тестовый  ошибка\n"
     ]
    }
   ],
   "source": [
    "top_words = model.components_.argsort()[:,:-5:-1]\n",
    "\n",
    "for i in range(top_words.shape[0]):\n",
    "    words = [feat_names[j] for j in top_words[i]]\n",
    "    print(i, \"  \".join(words))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "54.961388645549114"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.reconstruction_err_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 2 с CountVetcorizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [],
   "source": [
    "vectorizer = CountVectorizer(max_features=1000, min_df=10, max_df=0.3, ngram_range=(1,3))\n",
    "X = vectorizer.fit_transform(stexts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = NMF(n_components=30)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "NMF(alpha=0.0, beta_loss='frobenius', init=None, l1_ratio=0.0, max_iter=200,\n",
       "    n_components=30, random_state=None, shuffle=False, solver='cd', tol=0.0001,\n",
       "    verbose=0)"
      ]
     },
     "execution_count": 53,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [],
   "source": [
    "feat_names = vectorizer.get_feature_names()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0 up  2016  11  23\n",
      "1 lt  gt  gt lt  function\n",
      "2 sec  ms  точка  13\n",
      "3 какой то  продукт  рынок  что то\n",
      "4 if  bool  else  return\n",
      "5 значение  переменный  поль  канал\n",
      "6 the  of  to  is\n",
      "7 игра  игрок  игровой  играть\n",
      "8 объект  класс  метод  элемент\n",
      "9 end  begin  if  then\n",
      "10 адрес  mac  сеть  пакет\n",
      "11 int  for  lt  amp\n",
      "12 сетевой  драйвер  пакет  очередь\n",
      "13 файл  папка  модуль  параметр\n",
      "14 public  new  void  string\n",
      "15 lt  return  val  if\n",
      "16 of  and  amp  for\n",
      "17 user  do  end  test\n",
      "18 as  set  on  from\n",
      "19 result  return  function  let\n",
      "20 main  import  значение  var\n",
      "21 сайт  страница  карта  строка\n",
      "22 кнопка  char  нажать  иначе\n",
      "23 сервер  запрос  клиент  скидка\n",
      "24 модель  сеть  точка  обучение\n",
      "25 type  00  data  name\n",
      "26 центр  дата  дата центр  услуга\n",
      "27 язык  программа  память  программирование\n",
      "28 устройство  управление  мобильный  камера\n",
      "29 резервный  копия  объём  канал\n"
     ]
    }
   ],
   "source": [
    "top_words = model.components_.argsort()[:,:-5:-1]\n",
    "\n",
    "for i in range(top_words.shape[0]):\n",
    "    words = [feat_names[j] for j in top_words[i]]\n",
    "    print(i, \"  \".join(words))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2345.54934239407"
      ]
     },
     "execution_count": 56,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.reconstruction_err_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### вариант 3 с TfidfVectorizer и другими параметрами"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "vectorizer = TfidfVectorizer(max_features=1500, min_df=5, max_df=0.2, ngram_range=(1,3))\n",
    "X = vectorizer.fit_transform(stexts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = NMF(n_components=50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "NMF(alpha=0.0, beta_loss='frobenius', init=None, l1_ratio=0.0, max_iter=200,\n",
       "    n_components=50, random_state=None, shuffle=False, solver='cd', tol=0.0001,\n",
       "    verbose=0)"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {},
   "outputs": [],
   "source": [
    "feat_names = vectorizer.get_feature_names()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0 сотрудник  программист  деньга  бизнес\n",
      "1 int  lt  for int  char\n",
      "2 игра  игровой  играть  движок\n",
      "3 плата  напряжение  температура  ток\n",
      "4 смартфон  телефон  экран  дисплей\n",
      "5 lt  gt  div  lt div\n",
      "6 облачный  облако  услуга  инфраструктура\n",
      "7 public  void  string  private\n",
      "8 the  to  of  and\n",
      "9 космический  спутник  орбита  ракета\n",
      "10 процессор  intel  память  ядро\n",
      "11 учёный  клетка  исследование  пациент\n",
      "12 книга  читать  часы  профессиональный\n",
      "13 доклад  конференция  участник  мероприятие\n",
      "14 дата центр  центр  дата  оборудование\n",
      "15 печать  3d  принтер  материал\n",
      "16 обучение  ия  нейросеть  алгоритм\n",
      "17 виртуальный  машина  виртуальный машина  вм\n",
      "18 тест  тестирование  тестировать  тестовый\n",
      "19 android  мобильный  ios  мобильный приложение\n",
      "20 сигнал  частота  канал  станция\n",
      "21 if  return  amp  else\n",
      "22 бот  сообщение  канал  api\n",
      "23 вселенная  галактика  энергия  звезда\n",
      "24 windows  microsoft  linux  azure\n",
      "25 запрос  таблица  база дать  from\n",
      "26 реальность  виртуальный реальность  vr  виртуальный\n",
      "27 google  реклама  аккаунт  android\n",
      "28 товар  скидка  магазин  цена\n",
      "29 скрипт  пакет  docker  sudo\n",
      "30 робот  ребёнок  датчик  движение\n",
      "31 камера  видео  кадр  фотография\n",
      "32 звук  наушник  музыка  слушать\n",
      "33 блокчейн  ibm  транзакция  участник\n",
      "34 var  new  function  return\n",
      "35 react  css  javascript  js\n",
      "36 рынок  российский  страна  россия\n",
      "37 атака  безопасность  защита  злоумышленник\n",
      "38 диск  запись  ssd  жёсткий\n",
      "39 ключ  сертификат  пароль  шифрование\n",
      "40 страница  браузер  текст  реклама\n",
      "41 автомобиль  машина  дорога  метр\n",
      "42 end  begin  do  def\n",
      "43 игрок  игровой  игра  комната\n",
      "44 карта  изображение  текстура  координата\n",
      "45 рубль  000  доход  сумма\n",
      "46 уязвимость  обновление  пароль  злоумышленник\n",
      "47 блок  класс  переменный  транзакция\n",
      "48 адрес  ip  домен  ip адрес\n",
      "49 мозг  нейрон  активность  движение\n"
     ]
    }
   ],
   "source": [
    "top_words = model.components_.argsort()[:,:-5:-1]\n",
    "\n",
    "for i in range(top_words.shape[0]):\n",
    "    words = [feat_names[j] for j in top_words[i]]\n",
    "    print(i, \"  \".join(words))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 10) Лучшие модели NMF"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "На мой взгляд более хорошей моделью оказался 3 вариант. Причиной этому скорее всего послужило увеличение значения параметра n_components=50, что привело к появлению большего количества осмысленных тем. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Хороших тем получилось очень много. Например:\n",
    "* 4 смартфон  телефон  экран  дисплей\n",
    "* 15 печать  3d  принтер  материал\n",
    "* 38 диск  запись  ssd  жёсткий\n",
    "* 39 ключ  сертификат  пароль  шифрование\n",
    "* 48 адрес  ip  домен  ip адрес\n",
    "\n",
    "и др."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Я думаю, что темы NMD выглядят связаннее и понятнее, чем в LDA. "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}