HW5_part1.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "HW5 part1.ipynb",
      "provenance": [],
      "authorship_tag": "ABX9TyPZ3HFen/n4FD4f4w4ZflCe",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/SvA1/Compling/blob/master/HW5_part1.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zfF7wKEwosvl",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 234
        },
        "outputId": "fc79e98b-d3da-41a3-f9d4-457b84c6dcbc"
      },
      "source": [
        "!pip install pymorphy2"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting pymorphy2\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/a3/33/fff9675c68b5f6c63ec8c6e6ff57827dda28a1fa5b2c2d727dffff92dd47/pymorphy2-0.8-py2.py3-none-any.whl (46kB)\n",
            "\r\u001b[K     |███████                         | 10kB 30.4MB/s eta 0:00:01\r\u001b[K     |██████████████▏                 | 20kB 5.4MB/s eta 0:00:01\r\u001b[K     |█████████████████████▎          | 30kB 6.3MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▍   | 40kB 5.2MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 51kB 4.0MB/s \n",
            "\u001b[?25hRequirement already satisfied: docopt>=0.6 in /usr/local/lib/python3.6/dist-packages (from pymorphy2) (0.6.2)\n",
            "Collecting pymorphy2-dicts<3.0,>=2.4\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/02/51/2465fd4f72328ab50877b54777764d928da8cb15b74e2680fc1bd8cb3173/pymorphy2_dicts-2.4.393442.3710985-py2.py3-none-any.whl (7.1MB)\n",
            "\u001b[K     |████████████████████████████████| 7.1MB 14.2MB/s \n",
            "\u001b[?25hCollecting dawg-python>=0.7\n",
            "  Downloading https://files.pythonhosted.org/packages/6a/84/ff1ce2071d4c650ec85745766c0047ccc3b5036f1d03559fd46bb38b5eeb/DAWG_Python-0.7.2-py2.py3-none-any.whl\n",
            "Installing collected packages: pymorphy2-dicts, dawg-python, pymorphy2\n",
            "Successfully installed dawg-python-0.7.2 pymorphy2-0.8 pymorphy2-dicts-2.4.393442.3710985\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kPgT06yYpHFv",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 662
        },
        "outputId": "15f48b8c-7789-45ea-a864-d3ef2e26f5a4"
      },
      "source": [
        "!pip install pyLDAvis"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting pyLDAvis\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/a5/3a/af82e070a8a96e13217c8f362f9a73e82d61ac8fff3a2561946a97f96266/pyLDAvis-2.1.2.tar.gz (1.6MB)\n",
            "\u001b[K     |████████████████████████████████| 1.6MB 9.6MB/s \n",
            "\u001b[?25hRequirement already satisfied: wheel>=0.23.0 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (0.34.2)\n",
            "Requirement already satisfied: numpy>=1.9.2 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (1.17.5)\n",
            "Requirement already satisfied: scipy>=0.18.0 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (1.4.1)\n",
            "Requirement already satisfied: pandas>=0.17.0 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (0.25.3)\n",
            "Requirement already satisfied: joblib>=0.8.4 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (0.14.1)\n",
            "Requirement already satisfied: jinja2>=2.7.2 in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (2.11.1)\n",
            "Requirement already satisfied: numexpr in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (2.7.1)\n",
            "Requirement already satisfied: pytest in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (3.6.4)\n",
            "Requirement already satisfied: future in /usr/local/lib/python3.6/dist-packages (from pyLDAvis) (0.16.0)\n",
            "Collecting funcy\n",
            "\u001b[?25l  Downloading https://files.pythonhosted.org/packages/ce/4b/6ffa76544e46614123de31574ad95758c421aae391a1764921b8a81e1eae/funcy-1.14.tar.gz (548kB)\n",
            "\u001b[K     |████████████████████████████████| 552kB 45.6MB/s \n",
            "\u001b[?25hRequirement already satisfied: python-dateutil>=2.6.1 in /usr/local/lib/python3.6/dist-packages (from pandas>=0.17.0->pyLDAvis) (2.6.1)\n",
            "Requirement already satisfied: pytz>=2017.2 in /usr/local/lib/python3.6/dist-packages (from pandas>=0.17.0->pyLDAvis) (2018.9)\n",
            "Requirement already satisfied: MarkupSafe>=0.23 in /usr/local/lib/python3.6/dist-packages (from jinja2>=2.7.2->pyLDAvis) (1.1.1)\n",
            "Requirement already satisfied: py>=1.5.0 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (1.8.1)\n",
            "Requirement already satisfied: atomicwrites>=1.0 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (1.3.0)\n",
            "Requirement already satisfied: more-itertools>=4.0.0 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (8.2.0)\n",
            "Requirement already satisfied: pluggy<0.8,>=0.5 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (0.7.1)\n",
            "Requirement already satisfied: attrs>=17.4.0 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (19.3.0)\n",
            "Requirement already satisfied: setuptools in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (45.1.0)\n",
            "Requirement already satisfied: six>=1.10.0 in /usr/local/lib/python3.6/dist-packages (from pytest->pyLDAvis) (1.12.0)\n",
            "Building wheels for collected packages: pyLDAvis, funcy\n",
            "  Building wheel for pyLDAvis (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for pyLDAvis: filename=pyLDAvis-2.1.2-py2.py3-none-any.whl size=97711 sha256=88935fd6a7ec365e78ab210d215a4bd15f47f113544353cf1e09cbc50a17dd06\n",
            "  Stored in directory: /root/.cache/pip/wheels/98/71/24/513a99e58bb6b8465bae4d2d5e9dba8f0bef8179e3051ac414\n",
            "  Building wheel for funcy (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for funcy: filename=funcy-1.14-py2.py3-none-any.whl size=32042 sha256=4c0c972212b4e19228fe4f0f869a0b0bb5967f0b2ea9b425485aef2ef90157ff\n",
            "  Stored in directory: /root/.cache/pip/wheels/20/5a/d8/1d875df03deae6f178dfdf70238cca33f948ef8a6f5209f2eb\n",
            "Successfully built pyLDAvis funcy\n",
            "Installing collected packages: funcy, pyLDAvis\n",
            "Successfully installed funcy-1.14 pyLDAvis-2.1.2\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SiiTpE56HLei",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import re\n",
        "import json\n",
        "import gensim\n",
        "import pandas as pd\n",
        "import nltk\n",
        "from nltk.tokenize import word_tokenize\n",
        "from nltk.corpus import stopwords\n",
        "from pymorphy2 import MorphAnalyzer\n",
        "import pyLDAvis.gensim\n",
        "import string\n",
        "from collections import Counter\n",
        "\n",
        "morph = MorphAnalyzer()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1hItPr_Otu6q",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        },
        "outputId": "29bad3f0-7d1b-4a88-d604-2d8515eca29f"
      },
      "source": [
        "nltk.download('stopwords')"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Unzipping corpora/stopwords.zip.\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 5
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FcU2m3OpTYoD",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!wget https://github.com/mannefedov/compling_nlp_hse_course/raw/master/data/habr_texts.txt.zip\n",
        "!unzip habr_texts.txt.zip"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Nw8v3eYqpDE6",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "with open('habr_texts.txt', encoding='utf-8') as file:\n",
        "    source = file.read().splitlines()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JRqR-46et-qG",
        "colab_type": "text"
      },
      "source": [
        "**1. Нормализация**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RxdiVbNjs77F",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "stop_words = set(stopwords.words('russian')) | {'gt',}\n",
        "\n",
        "def clean_text(text):\n",
        "    text = re.sub(r'<[^>]+>', '', text)\n",
        "    text = re.sub(r'{[^}]+}', ' ', text)\n",
        "    text = re.sub(r'\\&[a-z]+\\;', ' ', text)\n",
        "    text = text.replace('\\t', ' ')\n",
        "    return text\n",
        "\n",
        "def tokenize(text):\n",
        "    return re.findall(r'[А-ЯЁа-яё]+', text)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "V-Zoyvz4tmzW",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def opt_normalize(texts, top=None):\n",
        "    uniq = Counter()\n",
        "    for text in texts:\n",
        "        uniq.update(text)\n",
        "    \n",
        "    norm_uniq = {word:morph.parse(word)[0].normal_form for word, _ in uniq.most_common(top)}\n",
        "    \n",
        "    norm_texts = []\n",
        "    for text in texts:\n",
        "        \n",
        "        norm_words = [norm_uniq.get(word) for word in text]\n",
        "        norm_words = [word for word in norm_words if word and word not in stop_words]\n",
        "        norm_texts.append(norm_words)\n",
        "        \n",
        "    return norm_texts"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PE0VNQM1uPYu",
        "colab_type": "text"
      },
      "source": [
        "**2. Добавление нграммов**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "mGIat1GHt1Yx",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "texts = opt_normalize([tokenize(clean_text(text)) for text in source])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9TXLMnpGuYSf",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "ph = gensim.models.Phrases(texts, scoring='npmi', min_count=8, threshold=0.2)\n",
        "p = gensim.models.phrases.Phraser(ph)\n",
        "ngrammed_texts = p[texts]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "D5YJfJJpwiUX",
        "colab_type": "text"
      },
      "source": [
        "**3. Словарь**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qYurMvDvv9PR",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "dictionary = gensim.corpora.Dictionary(ngrammed_texts)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "k3E4ANBIwnXa",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "dictionary.filter_extremes(no_above=0.1, no_below=15)\n",
        "dictionary.compactify()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xZDCw8B0wws0",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "corpus = [dictionary.doc2bow(text) for text in ngrammed_texts]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "jQ_OuChkw1zx",
        "colab_type": "text"
      },
      "source": [
        "**4. LDA модели**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "odqRfJ1XwzRE",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "lda1 = gensim.models.LdaMulticore(corpus, id2word=dictionary, eval_every=1, num_topics=10, passes=6, alpha='asymmetric')\n",
        "lda2 = gensim.models.LdaModel(corpus, id2word=dictionary, eval_every=1, num_topics=10, passes=3, alpha='auto')\n",
        "lda3 = gensim.models.LdaMulticore(corpus, id2word=dictionary, eval_every=2, num_topics=20, passes=5)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Yb9rkB1Iw9N8",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 394
        },
        "outputId": "b5d03ff7-e5d6-4ff0-fb2f-f323d89b5608"
      },
      "source": [
        "lda1.print_topics(10)"
      ],
      "execution_count": 38,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.007*\"заказчик\" + 0.006*\"мозг\" + 0.005*\"выражение\" + 0.005*\"дефект\" + 0.004*\"стикер\" + 0.004*\"доклад\" + 0.004*\"робот\" + 0.004*\"ребёнок\" + 0.004*\"лицо\" + 0.003*\"усилитель\"'),\n",
              " (1,\n",
              "  '0.004*\"производство\" + 0.004*\"звук\" + 0.004*\"двигатель\" + 0.003*\"синтезатор\" + 0.002*\"изделие\" + 0.002*\"поезд\" + 0.002*\"фотография\" + 0.002*\"представитель\" + 0.002*\"советский\" + 0.002*\"ядро\"'),\n",
              " (2,\n",
              "  '0.006*\"цикл\" + 0.005*\"узел\" + 0.004*\"процессор\" + 0.004*\"браузер\" + 0.003*\"инфраструктура\" + 0.003*\"переменный\" + 0.003*\"кластер\" + 0.003*\"контент\" + 0.003*\"виртуальный\" + 0.003*\"задержка\"'),\n",
              " (3,\n",
              "  '0.009*\"массив\" + 0.006*\"кампания\" + 0.005*\"ключ\" + 0.004*\"репликация\" + 0.004*\"шаблон\" + 0.003*\"электроника\" + 0.003*\"бизнес_логика\" + 0.003*\"диск\" + 0.003*\"олимпиада\" + 0.003*\"загрузка\"'),\n",
              " (4,\n",
              "  '0.007*\"вакансия\" + 0.005*\"камера\" + 0.004*\"яркость\" + 0.004*\"датчик\" + 0.004*\"дом\" + 0.003*\"смартфон\" + 0.003*\"стандарт\" + 0.003*\"инвестиция\" + 0.003*\"офис\" + 0.003*\"свет\"'),\n",
              " (5,\n",
              "  '0.015*\"игрок\" + 0.007*\"удача\" + 0.007*\"клетка\" + 0.006*\"рефакторинг\" + 0.005*\"стиль\" + 0.005*\"вычисление\" + 0.005*\"бот\" + 0.005*\"квеста\" + 0.004*\"структура_дать\" + 0.004*\"логика\"'),\n",
              " (6,\n",
              "  '0.010*\"услуга\" + 0.009*\"игрок\" + 0.004*\"реклама\" + 0.004*\"продажа\" + 0.004*\"партнёр\" + 0.004*\"публикация\" + 0.003*\"играть\" + 0.003*\"трафик\" + 0.003*\"цифровой\" + 0.003*\"аудитория\"'),\n",
              " (7,\n",
              "  '0.014*\"боль\" + 0.008*\"домен\" + 0.006*\"релиз\" + 0.006*\"чек_лист\" + 0.005*\"бот\" + 0.004*\"доклад\" + 0.004*\"тестировщик\" + 0.004*\"контент\" + 0.004*\"музыка\" + 0.004*\"скачать\"'),\n",
              " (8,\n",
              "  '0.010*\"студент\" + 0.007*\"курс\" + 0.005*\"программирование\" + 0.005*\"перевод\" + 0.004*\"контейнер\" + 0.004*\"обучение\" + 0.004*\"лекция\" + 0.003*\"раздел\" + 0.003*\"аудитория\" + 0.003*\"индекс\"'),\n",
              " (9,\n",
              "  '0.007*\"атрибут\" + 0.007*\"температура\" + 0.005*\"печать\" + 0.005*\"головка\" + 0.005*\"прибор\" + 0.004*\"координата\" + 0.004*\"принтер\" + 0.004*\"сериализация\" + 0.004*\"спецификация\" + 0.004*\"поль\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 38
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oRkJNxatzRBx",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 394
        },
        "outputId": "7103187c-94c6-4f4c-fcf4-cc2c4abd26a1"
      },
      "source": [
        "lda2.print_topics(10)"
      ],
      "execution_count": 39,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.008*\"массив\" + 0.007*\"узел\" + 0.006*\"ядро\" + 0.005*\"репликация\" + 0.005*\"раздел\" + 0.005*\"контейнер\" + 0.005*\"ос\" + 0.005*\"порт\" + 0.004*\"загрузка\" + 0.004*\"прибор\"'),\n",
              " (1,\n",
              "  '0.007*\"браузер\" + 0.004*\"студент\" + 0.004*\"контент\" + 0.004*\"курс\" + 0.004*\"релиз\" + 0.004*\"бот\" + 0.004*\"программирование\" + 0.003*\"аудитория\" + 0.003*\"перевод\" + 0.003*\"чек_лист\"'),\n",
              " (2,\n",
              "  '0.017*\"услуга\" + 0.014*\"вакансия\" + 0.011*\"домен\" + 0.008*\"дефект\" + 0.007*\"трафик\" + 0.007*\"партнёр\" + 0.006*\"инцидент\" + 0.004*\"мониторинг\" + 0.004*\"профиль\" + 0.004*\"хостинг\"'),\n",
              " (3,\n",
              "  '0.007*\"робот\" + 0.006*\"электроника\" + 0.006*\"китай\" + 0.006*\"олимпиада\" + 0.005*\"двигатель\" + 0.004*\"южный_корея\" + 0.004*\"закон\" + 0.003*\"российский\" + 0.003*\"заявить\" + 0.003*\"китайский\"'),\n",
              " (4,\n",
              "  '0.005*\"цикл\" + 0.005*\"атрибут\" + 0.005*\"контекст\" + 0.005*\"переменный\" + 0.004*\"шаблон\" + 0.004*\"вычисление\" + 0.004*\"логика\" + 0.004*\"поль\" + 0.003*\"дерево\" + 0.003*\"возвращать\"'),\n",
              " (5,\n",
              "  '0.010*\"боль\" + 0.008*\"мозг\" + 0.005*\"клетка\" + 0.005*\"учёный\" + 0.004*\"тело\" + 0.004*\"лицо\" + 0.004*\"кожа\" + 0.003*\"ребёнок\" + 0.003*\"глаз\" + 0.003*\"движение\"'),\n",
              " (6,\n",
              "  '0.013*\"игрок\" + 0.004*\"играть\" + 0.003*\"продажа\" + 0.003*\"инвестиция\" + 0.002*\"игровой\" + 0.002*\"цифровой\" + 0.002*\"дизайнер\" + 0.002*\"публикация\" + 0.002*\"интерес\" + 0.002*\"ия\"'),\n",
              " (7,\n",
              "  '0.009*\"заказчик\" + 0.007*\"доклад\" + 0.007*\"услуга\" + 0.006*\"пароль\" + 0.004*\"атака\" + 0.004*\"конференция\" + 0.004*\"уязвимость\" + 0.004*\"ожидание\" + 0.004*\"студент\" + 0.003*\"инцидент\"'),\n",
              " (8,\n",
              "  '0.007*\"яркость\" + 0.006*\"звук\" + 0.005*\"усилитель\" + 0.005*\"стандарт\" + 0.005*\"камера\" + 0.005*\"синтезатор\" + 0.005*\"цвет\" + 0.004*\"свет\" + 0.003*\"характеристика\" + 0.003*\"веб\"'),\n",
              " (9,\n",
              "  '0.009*\"кампания\" + 0.009*\"температура\" + 0.008*\"головка\" + 0.006*\"корпус\" + 0.006*\"аккумулятор\" + 0.004*\"производство\" + 0.004*\"принтер\" + 0.004*\"питание\" + 0.004*\"печать\" + 0.004*\"конвертер\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 39
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kUGeOSkqxw8G",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 752
        },
        "outputId": "30d354b7-02d1-4f8c-acc4-6261f7b702f5"
      },
      "source": [
        "lda3.print_topics(20)"
      ],
      "execution_count": 40,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.008*\"цифровой\" + 0.007*\"бот\" + 0.006*\"публикация\" + 0.006*\"шаблон\" + 0.005*\"распространение\" + 0.005*\"твит\" + 0.005*\"набор_дать\" + 0.005*\"лицо\" + 0.004*\"контакт\" + 0.004*\"директива\"'),\n",
              " (1,\n",
              "  '0.034*\"кампания\" + 0.015*\"объявление\" + 0.014*\"конвертер\" + 0.012*\"таймер\" + 0.012*\"заголовок\" + 0.010*\"доклад\" + 0.009*\"перенос\" + 0.008*\"ключ\" + 0.008*\"фоновый\" + 0.008*\"бюджет\"'),\n",
              " (2,\n",
              "  '0.017*\"ядро\" + 0.016*\"процессор\" + 0.014*\"студент\" + 0.013*\"батарея\" + 0.013*\"аккумулятор\" + 0.010*\"байт\" + 0.008*\"отметка\" + 0.008*\"линия\" + 0.007*\"контрольный\" + 0.007*\"ёмкость\"'),\n",
              " (3,\n",
              "  '0.015*\"заказчик\" + 0.014*\"игрок\" + 0.008*\"услуга\" + 0.007*\"партнёр\" + 0.006*\"ожидание\" + 0.005*\"играть\" + 0.005*\"респондент\" + 0.005*\"трафик\" + 0.005*\"инцидент\" + 0.004*\"аудитория\"'),\n",
              " (4,\n",
              "  '0.014*\"стикер\" + 0.010*\"синтезатор\" + 0.009*\"спецификация\" + 0.008*\"китай\" + 0.007*\"логин\" + 0.007*\"загрузчик\" + 0.007*\"доска\" + 0.006*\"браузер\" + 0.006*\"шаблон\" + 0.006*\"фильтр\"'),\n",
              " (5,\n",
              "  '0.021*\"массив\" + 0.010*\"доклад\" + 0.010*\"репликация\" + 0.007*\"выражение\" + 0.006*\"конференция\" + 0.005*\"макрос\" + 0.005*\"компилятор\" + 0.004*\"индекс\" + 0.004*\"асинхронный\" + 0.004*\"передать\"'),\n",
              " (6,\n",
              "  '0.006*\"цикл\" + 0.003*\"предприятие\" + 0.003*\"вектор\" + 0.003*\"товар\" + 0.003*\"сумма\" + 0.002*\"внедрение\" + 0.002*\"руководство\" + 0.002*\"матрица\" + 0.002*\"срок\" + 0.002*\"классический\"'),\n",
              " (7,\n",
              "  '0.012*\"мозг\" + 0.008*\"рефакторинг\" + 0.007*\"вычисление\" + 0.007*\"лицо\" + 0.006*\"раздел\" + 0.006*\"структура_дать\" + 0.006*\"контекст\" + 0.006*\"логика\" + 0.005*\"преобразование\" + 0.005*\"книга\"'),\n",
              " (8,\n",
              "  '0.018*\"боль\" + 0.013*\"узел\" + 0.007*\"задержка\" + 0.007*\"двигатель\" + 0.006*\"ос\" + 0.005*\"виртуальный\" + 0.005*\"физический\" + 0.004*\"сопротивление\" + 0.004*\"адаптер\" + 0.004*\"стиль\"'),\n",
              " (9,\n",
              "  '0.009*\"инфраструктура\" + 0.007*\"кожа\" + 0.007*\"инцидент\" + 0.006*\"облако\" + 0.006*\"дата_центр\" + 0.005*\"печать\" + 0.005*\"услуга\" + 0.005*\"облачный\" + 0.004*\"коннектор\" + 0.004*\"атака\"'),\n",
              " (10,\n",
              "  '0.007*\"клетка\" + 0.005*\"инвестиция\" + 0.003*\"ген\" + 0.003*\"магазин\" + 0.003*\"тело\" + 0.003*\"российский\" + 0.003*\"дисплей\" + 0.003*\"смартфон\" + 0.003*\"дурак\" + 0.002*\"камера\"'),\n",
              " (11,\n",
              "  '0.007*\"дом\" + 0.007*\"реклама\" + 0.005*\"продажа\" + 0.004*\"робот\" + 0.004*\"ребёнок\" + 0.004*\"смартфон\" + 0.003*\"площадка\" + 0.003*\"публикация\" + 0.003*\"комната\" + 0.003*\"сообщество\"'),\n",
              " (12,\n",
              "  '0.008*\"ия\" + 0.007*\"ключ\" + 0.007*\"датчик\" + 0.007*\"порт\" + 0.007*\"хост\" + 0.006*\"контейнер\" + 0.006*\"нода\" + 0.006*\"ос\" + 0.006*\"веб\" + 0.005*\"кластер\"'),\n",
              " (13,\n",
              "  '0.020*\"вакансия\" + 0.012*\"яркость\" + 0.009*\"бизнес_логика\" + 0.008*\"стандарт\" + 0.006*\"цвет\" + 0.006*\"свет\" + 0.005*\"гибкость\" + 0.004*\"уравнение\" + 0.004*\"поездка\" + 0.004*\"представление\"'),\n",
              " (14,\n",
              "  '0.013*\"головка\" + 0.010*\"чек_лист\" + 0.008*\"тестировщик\" + 0.007*\"принтер\" + 0.007*\"температура\" + 0.006*\"печать\" + 0.006*\"поезд\" + 0.005*\"пластик\" + 0.005*\"математика\" + 0.005*\"тепло\"'),\n",
              " (15,\n",
              "  '0.015*\"атрибут\" + 0.015*\"домен\" + 0.013*\"электроника\" + 0.009*\"сериализация\" + 0.009*\"олимпиада\" + 0.009*\"квеста\" + 0.007*\"поль\" + 0.007*\"словарь\" + 0.006*\"южный_корея\" + 0.006*\"загадка\"'),\n",
              " (16,\n",
              "  '0.021*\"игрок\" + 0.016*\"услуга\" + 0.009*\"удача\" + 0.007*\"контейнер\" + 0.006*\"дизайнер\" + 0.005*\"консоль\" + 0.004*\"перезагрузка\" + 0.004*\"играть\" + 0.004*\"подборка\" + 0.003*\"сборка\"'),\n",
              " (17,\n",
              "  '0.010*\"браузер\" + 0.010*\"бот\" + 0.008*\"контент\" + 0.007*\"протокол\" + 0.007*\"релиз\" + 0.005*\"скачать\" + 0.005*\"интеграция\" + 0.004*\"музыка\" + 0.004*\"пароль\" + 0.004*\"провайдер\"'),\n",
              " (18,\n",
              "  '0.010*\"студент\" + 0.009*\"курс\" + 0.006*\"прибор\" + 0.006*\"координата\" + 0.005*\"сигнал\" + 0.005*\"лекция\" + 0.005*\"звук\" + 0.004*\"аудитория\" + 0.004*\"автомобиль\" + 0.004*\"обучение\"'),\n",
              " (19,\n",
              "  '0.008*\"дефект\" + 0.006*\"усилитель\" + 0.006*\"температура\" + 0.005*\"перевод\" + 0.005*\"корпус\" + 0.004*\"земля\" + 0.004*\"питание\" + 0.003*\"кабель\" + 0.003*\"геометрический\" + 0.003*\"токен\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 40
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "EiUk0nDp0hoU",
        "colab_type": "text"
      },
      "source": [
        "**5. 3 темы для модели**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "hmGvFNE0eDI5",
        "colab_type": "text"
      },
      "source": [
        "На мой взгляд все модели справились одинаково плохо. Тем не менее, наиболее приемлимый результат у второй модели."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "A8Nc2AT33Ue8",
        "colab_type": "text"
      },
      "source": [
        "Тема, связанная с МО\n",
        "\n",
        ">   '0.008*\"массив\" + 0.007*\"узел\" + 0.006*\"ядро\" + 0.005*\"репликация\" + 0.005*\"раздел\" + 0.005*\"контейнер\" + 0.005*\"ос\" + 0.005*\"порт\" + 0.004*\"загрузка\" + 0.004*\"прибор\"'\n",
        "\n",
        "Тема, связанная с роботами\n",
        "\n",
        ">   '0.007*\"робот\" + 0.006*\"электроника\" + 0.006*\"китай\" + 0.006*\"олимпиада\" + 0.005*\"двигатель\" + 0.004*\"южный_корея\" + 0.004*\"закон\" + 0.003*\"российский\" + 0.003*\"заявить\" + 0.003*\"китайский\"'\n",
        "\n",
        "Что-то про игры\n",
        ">  '0.013*\"игрок\" + 0.004*\"играть\" + 0.003*\"продажа\" + 0.003*\"инвестиция\" + 0.002*\"игровой\" + 0.002*\"цифровой\" + 0.002*\"дизайнер\" + 0.002*\"публикация\" + 0.002*\"интерес\" + 0.002*\"ия\"'\n",
        "\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "k__-vOlw7E5v",
        "colab_type": "text"
      },
      "source": [
        "**6. TfIdf**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Qy_u72mt7Dx0",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "tfidf = gensim.models.TfidfModel(corpus, id2word=dictionary)\n",
        "corpus_tfidf = tfidf[corpus]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "l7mSMFAV7Jni",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "lda1_tfidf = gensim.models.LdaMulticore(corpus_tfidf, id2word=dictionary, eval_every=1, num_topics=10, passes=6, alpha='asymmetric')\n",
        "lda2_tfidf = gensim.models.LdaModel(corpus_tfidf, id2word=dictionary, eval_every=1, num_topics=10, passes=3, alpha='auto')\n",
        "lda3_tfidf = gensim.models.LdaMulticore(corpus_tfidf, id2word=dictionary, eval_every=2, num_topics=20, passes=5)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "9gdGk3Yn9LTL",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 394
        },
        "outputId": "d9354414-f37b-4d03-85d3-73f7dba52ebd"
      },
      "source": [
        "lda1_tfidf.print_topics(10)"
      ],
      "execution_count": 45,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.001*\"браузер\" + 0.001*\"услуга\" + 0.001*\"игрок\" + 0.001*\"доклад\" + 0.001*\"контейнер\" + 0.001*\"заказчик\" + 0.001*\"контекст\" + 0.001*\"бот\" + 0.001*\"программирование\" + 0.001*\"контент\"'),\n",
              " (1,\n",
              "  '0.000*\"подложка\" + 0.000*\"паяльник\" + 0.000*\"регистр\" + 0.000*\"шт\" + 0.000*\"астероид\" + 0.000*\"плис\" + 0.000*\"закрытый_ключ\" + 0.000*\"объектив\" + 0.000*\"узор\" + 0.000*\"битый\"'),\n",
              " (2,\n",
              "  '0.000*\"ибп\" + 0.000*\"бот\" + 0.000*\"игрок\" + 0.000*\"пароль\" + 0.000*\"товар\" + 0.000*\"книга\" + 0.000*\"сигнал\" + 0.000*\"доклад\" + 0.000*\"шаблон\" + 0.000*\"запоминание\"'),\n",
              " (3,\n",
              "  '0.000*\"сборка\" + 0.000*\"виртуальный_машина\" + 0.000*\"агент\" + 0.000*\"секция\" + 0.000*\"ядро\" + 0.000*\"ключ\" + 0.000*\"указатель\" + 0.000*\"анимация\" + 0.000*\"опция\" + 0.000*\"облако\"'),\n",
              " (4,\n",
              "  '0.000*\"змейка\" + 0.000*\"звук\" + 0.000*\"игрок\" + 0.000*\"абонент\" + 0.000*\"ботнет\" + 0.000*\"зуб\" + 0.000*\"контекст\" + 0.000*\"вагон\" + 0.000*\"письмо\" + 0.000*\"оператор\"'),\n",
              " (5,\n",
              "  '0.000*\"кэш\" + 0.000*\"диск\" + 0.000*\"массив\" + 0.000*\"охрана\" + 0.000*\"меню\" + 0.000*\"колонка\" + 0.000*\"торрент\" + 0.000*\"звук\" + 0.000*\"плис\" + 0.000*\"музыка\"'),\n",
              " (6,\n",
              "  '0.000*\"игрок\" + 0.000*\"синтезатор\" + 0.000*\"байт\" + 0.000*\"набор_дать\" + 0.000*\"комната\" + 0.000*\"спрайт\" + 0.000*\"уязвимость\" + 0.000*\"кандидат\" + 0.000*\"миссия\" + 0.000*\"плазма\"'),\n",
              " (7,\n",
              "  '0.000*\"мегафон\" + 0.000*\"принтер\" + 0.000*\"консоль\" + 0.000*\"провайдер\" + 0.000*\"проигрыватель\" + 0.000*\"нода\" + 0.000*\"ключ\" + 0.000*\"орбита\" + 0.000*\"планета\" + 0.000*\"теория\"'),\n",
              " (8,\n",
              "  '0.000*\"стакан\" + 0.000*\"конференция\" + 0.000*\"мозг\" + 0.000*\"спринт\" + 0.000*\"участник\" + 0.000*\"человек_любить\" + 0.000*\"умение\" + 0.000*\"нагрузка\" + 0.000*\"организатор\" + 0.000*\"криптовалюта\"'),\n",
              " (9,\n",
              "  '0.000*\"стрелка\" + 0.000*\"ребёнок\" + 0.000*\"беспроводный\" + 0.000*\"хостинг\" + 0.000*\"ассемблер\" + 0.000*\"мужчина\" + 0.000*\"питер\" + 0.000*\"теория\" + 0.000*\"босс\" + 0.000*\"форум\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 45
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vyrZYgiJ9UaF",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 394
        },
        "outputId": "b513120d-285b-481d-a970-97ec18866c70"
      },
      "source": [
        "lda2_tfidf.print_topics(10)"
      ],
      "execution_count": 46,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.001*\"система_видеонаблюдение\" + 0.000*\"частное_облако\" + 0.000*\"снаряд\" + 0.000*\"шейдёр\" + 0.000*\"протез\" + 0.000*\"место_проведение\" + 0.000*\"веб_камера\" + 0.000*\"эксплойт\" + 0.000*\"датчик\" + 0.000*\"нота\"'),\n",
              " (1,\n",
              "  '0.009*\"усилитель\" + 0.002*\"бактерия\" + 0.001*\"паяльник\" + 0.001*\"полупроводниковый\" + 0.001*\"геном\" + 0.001*\"составлять_миллиард\" + 0.001*\"антибиотик\" + 0.001*\"препарат\" + 0.001*\"вич\" + 0.000*\"стабилизатор\"'),\n",
              " (2,\n",
              "  '0.007*\"клетка\" + 0.006*\"ген\" + 0.002*\"генетический\" + 0.002*\"белка\" + 0.002*\"мутация\" + 0.002*\"клеточный\" + 0.002*\"днк\" + 0.001*\"молекула\" + 0.001*\"биолог\" + 0.001*\"болезнь\"'),\n",
              " (3,\n",
              "  '0.010*\"стикер\" + 0.006*\"двигатель\" + 0.006*\"километр_число\" + 0.006*\"протон\" + 0.004*\"тоннель\" + 0.004*\"роскосмос\" + 0.004*\"пуск\" + 0.003*\"половый\" + 0.003*\"орбита\" + 0.003*\"ракета_носитель\"'),\n",
              " (4,\n",
              "  '0.001*\"браузер\" + 0.001*\"услуга\" + 0.001*\"доклад\" + 0.001*\"контейнер\" + 0.001*\"контекст\" + 0.001*\"программирование\" + 0.001*\"шаблон\" + 0.001*\"контент\" + 0.001*\"бот\" + 0.001*\"цикл\"'),\n",
              " (5,\n",
              "  '0.002*\"дефект\" + 0.000*\"телеметрия\" + 0.000*\"меркурий\" + 0.000*\"единственный_вариант\" + 0.000*\"планета\" + 0.000*\"сатурн\" + 0.000*\"орбита\" + 0.000*\"космонавт\" + 0.000*\"симметрия\" + 0.000*\"небесный_тело\"'),\n",
              " (6,\n",
              "  '0.003*\"игрок\" + 0.003*\"заказчик\" + 0.002*\"аккумулятор\" + 0.002*\"датчик\" + 0.002*\"мозг\" + 0.002*\"кабель\" + 0.002*\"олимпиада\" + 0.002*\"кожа\" + 0.002*\"координата\" + 0.002*\"слайд\"'),\n",
              " (7,\n",
              "  '0.000*\"законопроект\" + 0.000*\"алиас\" + 0.000*\"нейронный_сеть\" + 0.000*\"датасет\" + 0.000*\"нейрон\" + 0.000*\"автопилот\" + 0.000*\"унылый\" + 0.000*\"глубокий_обучение\" + 0.000*\"весы\" + 0.000*\"перечисление\"'),\n",
              " (8,\n",
              "  '0.007*\"законопроект\" + 0.006*\"фсб\" + 0.002*\"беспилотный_автомобиль\" + 0.001*\"плазма\" + 0.001*\"заместитель\" + 0.001*\"роскосмос\" + 0.001*\"небоскрёб\" + 0.001*\"слово_представитель\" + 0.001*\"протон\" + 0.001*\"яркость\"'),\n",
              " (9,\n",
              "  '0.000*\"пират\" + 0.000*\"ходьба\" + 0.000*\"результат_опрос\" + 0.000*\"бумажный_книга\" + 0.000*\"перчатка\" + 0.000*\"закон_мура\" + 0.000*\"книга\" + 0.000*\"метан\" + 0.000*\"станция\" + 0.000*\"хранить_процедура\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 46
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5vSgWIB19ZlN",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 752
        },
        "outputId": "cec6e2e8-23ce-480e-b693-03f06670e1b9"
      },
      "source": [
        "lda3_tfidf.print_topics(20)"
      ],
      "execution_count": 47,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[(0,\n",
              "  '0.009*\"контекст\" + 0.008*\"логин\" + 0.007*\"шаблон\" + 0.007*\"бизнес_логика\" + 0.006*\"перевод\" + 0.006*\"тег\" + 0.004*\"блокировать\" + 0.004*\"туториал\" + 0.004*\"виджет\" + 0.004*\"граф\"'),\n",
              " (1,\n",
              "  '0.016*\"законопроект\" + 0.014*\"реле\" + 0.007*\"регулирование\" + 0.006*\"качать\" + 0.005*\"щит\" + 0.004*\"микросервис\" + 0.004*\"кэширование\" + 0.004*\"закон\" + 0.004*\"стабилизатор\" + 0.004*\"тасс\"'),\n",
              " (2,\n",
              "  '0.018*\"синтезатор\" + 0.012*\"загрузчик\" + 0.011*\"хук\" + 0.006*\"линия\" + 0.005*\"советский\" + 0.005*\"связующий\" + 0.005*\"спецификация\" + 0.004*\"неисправный\" + 0.003*\"значительный_степень\" + 0.002*\"сподвигнуть\"'),\n",
              " (3,\n",
              "  '0.006*\"исполнительный_директор\" + 0.006*\"текстура\" + 0.006*\"переадресация\" + 0.006*\"сделка\" + 0.004*\"республика\" + 0.004*\"губа\" + 0.004*\"холдинг\" + 0.003*\"отклонить\" + 0.003*\"софтверный\" + 0.003*\"туннель\"'),\n",
              " (4,\n",
              "  '0.006*\"студент\" + 0.006*\"вакансия\" + 0.004*\"олимпиада\" + 0.004*\"электроника\" + 0.004*\"чек_лист\" + 0.004*\"лекция\" + 0.004*\"курс\" + 0.003*\"привязка\" + 0.003*\"фсб\" + 0.002*\"фич\"'),\n",
              " (5,\n",
              "  '0.014*\"усилитель\" + 0.011*\"датчик\" + 0.008*\"кампания\" + 0.007*\"шт\" + 0.007*\"температура\" + 0.006*\"корпус\" + 0.006*\"индивидуальный_подход\" + 0.005*\"система_видеонаблюдение\" + 0.005*\"культовый\" + 0.005*\"конденсатор\"'),\n",
              " (6,\n",
              "  '0.003*\"доклад\" + 0.002*\"игрок\" + 0.002*\"заказчик\" + 0.002*\"бот\" + 0.002*\"массив\" + 0.002*\"контент\" + 0.001*\"раздел\" + 0.001*\"мессенджер\" + 0.001*\"провайдер\" + 0.001*\"стикер\"'),\n",
              " (7,\n",
              "  '0.004*\"цикл\" + 0.004*\"выражение\" + 0.003*\"переменный\" + 0.003*\"атрибут\" + 0.003*\"макрос\" + 0.003*\"дерево\" + 0.003*\"коллекция\" + 0.003*\"преобразование\" + 0.003*\"стиль\" + 0.002*\"объект_тип\"'),\n",
              " (8,\n",
              "  '0.008*\"майнинга\" + 0.006*\"рабочий_место\" + 0.006*\"версия_продукт\" + 0.004*\"разворачиваться\" + 0.004*\"социальный\" + 0.003*\"надёжность\" + 0.003*\"сконфигурировать\" + 0.003*\"личный_информация\" + 0.003*\"кольцо\" + 0.003*\"вовлеченность\"'),\n",
              " (9,\n",
              "  '0.007*\"мозг\" + 0.006*\"боль\" + 0.006*\"клетка\" + 0.005*\"аккумулятор\" + 0.004*\"прибор\" + 0.004*\"гибкость\" + 0.003*\"ген\" + 0.003*\"ребёнок\" + 0.003*\"печать\" + 0.003*\"жанр\"'),\n",
              " (10,\n",
              "  '0.009*\"пилот\" + 0.008*\"утечка_дать\" + 0.007*\"коннектор\" + 0.006*\"корпоративный_приложение\" + 0.006*\"кабина\" + 0.004*\"утечка\" + 0.003*\"шифрование_дать\" + 0.003*\"футуристический\" + 0.003*\"электромотор\" + 0.003*\"отпуск\"'),\n",
              " (11,\n",
              "  '0.011*\"выкуп\" + 0.009*\"англ\" + 0.008*\"вредоносный_код\" + 0.006*\"загрузить_файл\" + 0.006*\"паттерн\" + 0.005*\"система_безопасность\" + 0.004*\"скриптовый_язык\" + 0.003*\"круглосуточный\" + 0.003*\"последний_обновление\" + 0.003*\"ик\"'),\n",
              " (12,\n",
              "  '0.013*\"дефект\" + 0.011*\"мастер_класс\" + 0.009*\"квеста\" + 0.006*\"контрольный\" + 0.005*\"прям\" + 0.005*\"сброс\" + 0.005*\"выражение\" + 0.005*\"достоинство_недостаток\" + 0.004*\"обязывать\" + 0.004*\"отметка\"'),\n",
              " (13,\n",
              "  '0.003*\"инцидент\" + 0.003*\"атака\" + 0.003*\"мобильный_приложение\" + 0.003*\"трафик\" + 0.003*\"южный_корея\" + 0.002*\"кабель\" + 0.002*\"торрент\" + 0.002*\"хакер\" + 0.002*\"уязвимость\" + 0.002*\"партнёр\"'),\n",
              " (14,\n",
              "  '0.008*\"нативный_приложение\" + 0.008*\"экзамен\" + 0.007*\"половый\" + 0.007*\"выполнить_команда\" + 0.005*\"электромобиль\" + 0.005*\"статус\" + 0.005*\"домашний_задание\" + 0.004*\"локальный_переменный\" + 0.004*\"обновить\" + 0.003*\"проводник\"'),\n",
              " (15,\n",
              "  '0.013*\"репликация\" + 0.008*\"поезд\" + 0.007*\"подкаста\" + 0.007*\"батарея\" + 0.006*\"избранный\" + 0.006*\"километр_число\" + 0.005*\"перезапись\" + 0.005*\"принудительный\" + 0.004*\"сколько_часы\" + 0.004*\"ознакомительный\"'),\n",
              " (16,\n",
              "  '0.010*\"кожа\" + 0.007*\"ставка\" + 0.006*\"паяльник\" + 0.005*\"имя_файл\" + 0.005*\"актив\" + 0.005*\"освобождение\" + 0.004*\"родитель\" + 0.004*\"долг\" + 0.004*\"обеспечение_безопасность\" + 0.004*\"учётный_дать\"'),\n",
              " (17,\n",
              "  '0.005*\"браузер\" + 0.002*\"пароль\" + 0.002*\"конвертер\" + 0.002*\"порт\" + 0.002*\"расширение\" + 0.002*\"ядро\" + 0.002*\"робот\" + 0.002*\"токен\" + 0.002*\"битрикс\" + 0.002*\"контейнер\"'),\n",
              " (18,\n",
              "  '0.005*\"болт\" + 0.005*\"поделиться_опыт\" + 0.005*\"единомышленник\" + 0.004*\"типизация\" + 0.004*\"познакомить\" + 0.004*\"почтовый_адрес\" + 0.004*\"тред\" + 0.003*\"самый_оптимальный\" + 0.002*\"свойство_класс\" + 0.002*\"намного_лёгкий\"'),\n",
              " (19,\n",
              "  '0.004*\"ия\" + 0.004*\"услуга\" + 0.004*\"слайд\" + 0.003*\"головка\" + 0.003*\"облако\" + 0.003*\"базовый_станция\" + 0.003*\"хостинг\" + 0.003*\"помещение\" + 0.002*\"абонент\" + 0.002*\"кластер\"')]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 47
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_BadTfCq9qOA",
        "colab_type": "text"
      },
      "source": [
        "**7. Анализ**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "y3p5b8i-9xk1",
        "colab_type": "text"
      },
      "source": [
        "Заметила, что в tfidf моделях извлеклось большое количество словосочетаний, и из-за этого легче понять тему, например:\n",
        "\n",
        "> '0.001*\"система_видеонаблюдение\" + 0.000*\"частное_облако\" + 0.000*\"снаряд\" + 0.000*\"шейдёр\" + 0.000*\"протез\" + 0.000*\"место_проведение\" + 0.000*\"веб_камера\" + 0.000*\"эксплойт\" + 0.000*\"датчик\" + 0.000*\"нота\"'\n",
        "\n",
        "Понятно, что тема скорее всего про вебкамеры\\видеонаблюдение\n",
        "\n",
        "Особенно выделяются словосочетания в третьей модели: некоторые словосочетания практически готовые темы\n",
        "> \"загрузить_файл\" + 0.006*\"паттерн\" + 0.005*\"система_безопасность\" + 0.004*\"скриптовый_язык\n",
        "\n",
        "\n",
        "Вторая модель\n",
        "\n",
        "Законопроект,затрагивающий беспилотные автомобили (непонятно, причем тут роскосмос и небоскрёб)\n",
        "> '0.007*\"законопроект\" + 0.006*\"фсб\" + 0.002*\"беспилотный_автомобиль\" + 0.001*\"плазма\" + 0.001*\"заместитель\" + 0.001*\"роскосмос\" + 0.001*\"небоскрёб\" + 0.001*\"слово_представитель\" + 0.001*\"протон\" + 0.001*\"яркость\"'\n",
        "\n",
        "Космос - это тема не была выделена в модели LDA\n",
        "> '0.002*\"дефект\" + 0.000*\"телеметрия\" + 0.000*\"меркурий\" + 0.000*\"единственный_вариант\" + 0.000*\"планета\" + 0.000*\"сатурн\" + 0.000*\"орбита\" + 0.000*\"космонавт\" + 0.000*\"симметрия\" + 0.000*\"небесный_тело\"'\n",
        "\n",
        "Генетика\\биология - тоже была не совсем явно выделена в предыдущей модели\n",
        "> '0.007*\"клетка\" + 0.006*\"ген\" + 0.002*\"генетический\" + 0.002*\"белка\" + 0.002*\"мутация\" + 0.002*\"клеточный\" + 0.002*\"днк\" + 0.001*\"молекула\" + 0.001*\"биолог\" + 0.001*\"болезнь\"'\n",
        "\n",
        "Выделилась тема МО и нейросети, в LDA такого не было \n",
        ">'0.000*\"законопроект\" + 0.000*\"алиас\" + 0.000*\"нейронный_сеть\" + 0.000*\"датасет\" + 0.000*\"нейрон\" + 0.000*\"автопилот\" + 0.000*\"унылый\" + 0.000*\"глубокий_обучение\" + 0.000*\"весы\" + 0.000*\"перечисление\"')\n",
        "В третьей модели еще выделилась тема майнинга.\n",
        "\n",
        "В целом, кажется, что с использованием tfidf темы выделять проще\n",
        "\n",
        "\n",
        "\n",
        "\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6jm78zuJ-Hmp",
        "colab_type": "text"
      },
      "source": [
        "**8. NMF + Tfidf Vectorizer**"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LPGD3GHh9dD4",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from sklearn.decomposition import NMF\n",
        "from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer\n",
        "import pandas as pd"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pZ1zF7ep-aGc",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "str_texts = [' '.join(text) for text in texts]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1F2cxOY1-dTt",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "vectorizer = TfidfVectorizer(max_features=800, min_df=12, max_df=0.4, ngram_range=(1,2))\n",
        "X = vectorizer.fit_transform(str_texts)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RwbA-ywm-hUV",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "model = NMF(n_components=30)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dsRrqBCb-nOZ",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 71
        },
        "outputId": "8e1b96b5-eabd-4981-c647-e0c85dee7d58"
      },
      "source": [
        "model.fit(X)"
      ],
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "NMF(alpha=0.0, beta_loss='frobenius', init=None, l1_ratio=0.0, max_iter=200,\n",
              "    n_components=30, random_state=None, shuffle=False, solver='cd', tol=0.0001,\n",
              "    verbose=0)"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 28
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xWzjXFX4-ppp",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "pd.set_option('display.max_columns', 100)\n",
        "pd.set_option('display.max_rows', 100)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kxJemy94-uG4",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "feat_names = vectorizer.get_feature_names()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "m_V47xJp-yTq",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 553
        },
        "outputId": "e73e1ed2-b531-4315-a911-16c48f6e1255"
      },
      "source": [
        "top_words = model.components_.argsort()[:,:-5:-1]\n",
        "\n",
        "for i in range(top_words.shape[0]):\n",
        "    words = [feat_names[j] for j in top_words[i]]\n",
        "    print(i, \"  \".join(words))"
      ],
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "0 ваш  знать  сказать  говорить\n",
            "1 файл  папка  скрипт  команда\n",
            "2 игра  игрок  игровой  играть\n",
            "3 функция  значение  переменный  массив\n",
            "4 устройство  смартфон  телефон  производитель\n",
            "5 приложение  мобильный  разработка  платформа\n",
            "6 дата центр  центр  дата  оборудование\n",
            "7 рубль  товар  цена  рынок\n",
            "8 учёный  мозг  исследование  научный\n",
            "9 уязвимость  атака  безопасность  защита\n",
            "10 сайт  страница  браузер  реклама\n",
            "11 доклад  конференция  разработчик  видео\n",
            "12 сеть  интернет  трафик  связь\n",
            "13 код  библиотека  ошибка  исходный\n",
            "14 книга  часы  читать  электронный\n",
            "15 запрос  база  таблица  база дать\n",
            "16 язык  программирование  программист  программа\n",
            "17 объект  класс  метод  тип\n",
            "18 элемент  компонент  блок  свойство\n",
            "19 память  процессор  диск  ядро\n",
            "20 тест  тестирование  тестовый  производительность\n",
            "21 сигнал  звук  частота  диапазон\n",
            "22 камера  видео  изображение  смартфон\n",
            "23 робот  автомобиль  машина  ребёнок\n",
            "24 сервер  виртуальный  машина  настройка\n",
            "25 бот  сообщение  канал  команда\n",
            "26 ключ  сертификат  пароль  сообщение\n",
            "27 продукт  команда  разработка  бизнес\n",
            "28 космический  аппарат  земля  станция\n",
            "29 клиент  сервис  услуга  письмо\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "3qTUIUvC-0fL",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 732
        },
        "outputId": "de2564d4-05f4-4a66-976b-6b641968d766"
      },
      "source": [
        "vectorizer = TfidfVectorizer(max_features=500, min_df=7, max_df=0.3, ngram_range=(1,3))\n",
        "X = vectorizer.fit_transform(str_texts)\n",
        "model = NMF(n_components=20)\n",
        "model.fit(X)\n",
        "feat_names = vectorizer.get_feature_names()\n",
        "top_words = model.components_.argsort()[:,:-5:-1]\n",
        "\n",
        "for i in range(top_words.shape[0]):\n",
        "    words = [feat_names[j] for j in top_words[i]]\n",
        "    print(i, \"  \".join(words))"
      ],
      "execution_count": 32,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "0 жизнь  друг  думать  вообще\n",
            "1 игра  игрок  игровой  играть\n",
            "2 файл  строка  пароль  формат\n",
            "3 сервер  домен  настройка  адрес\n",
            "4 устройство  мобильный  производитель  управление\n",
            "5 значение  переменный  массив  строка\n",
            "6 браузер  веб  страница  библиотека\n",
            "7 программа  компьютер  процессор  программный\n",
            "8 продукт  мобильный  рынок  дизайн\n",
            "9 сеть  интернет  трафик  связь\n",
            "10 сайт  страница  домен  контент\n",
            "11 тест  тестирование  ошибка  библиотека\n",
            "12 объект  свойство  свет  пространство\n",
            "13 запрос  таблица  ответ  страница\n",
            "14 модель  изображение  обучение  алгоритм\n",
            "15 сервис  облачный  сообщение  платформа\n",
            "16 язык  программирование  программист  библиотека\n",
            "17 бот  сообщение  канал  игрок\n",
            "18 рубль  российский  цена  россия\n",
            "19 элемент  компонент  свойство  состояние\n",
            "20 книга  читать  часы  электронный\n",
            "21 сотрудник  бизнес  рабочий  документ\n",
            "22 класс  метод  библиотека  реализация\n",
            "23 виртуальный  машина  диск  память\n",
            "24 конференция  участник  видео  тема\n",
            "25 центр  дата  оборудование  инфраструктура\n",
            "26 робот  ребёнок  датчик  движение\n",
            "27 атака  ключ  безопасность  пароль\n",
            "28 база  база дать  запись  таблица\n",
            "29 клиент  услуга  письмо  бизнес\n",
            "30 сигнал  частота  канал  связь\n",
            "31 смартфон  телефон  экран  память\n",
            "32 блок  кнопка  контроллер  диск\n",
            "33 камера  видео  движение  датчик\n",
            "34 модуль  ядро  контроллер  компонент\n",
            "35 энергия  температура  метр  скорость\n",
            "36 скрипт  пакет  установка  настройка\n",
            "37 звук  материал  частота  читать\n",
            "38 карта  номер  точка  страна\n",
            "39 учёный  исследование  мозг  группа\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7aD0OD6-Aq6S",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 732
        },
        "outputId": "341135d4-00cb-4788-a6ad-7165c223f6b5"
      },
      "source": [
        "vectorizer = TfidfVectorizer(max_features=800, min_df=17, max_df=0.3, ngram_range=(1,3))\n",
        "X = vectorizer.fit_transform(str_texts)\n",
        "model = NMF(n_components=20)\n",
        "model.fit(X)\n",
        "feat_names = vectorizer.get_feature_names()\n",
        "top_words = model.components_.argsort()[:,:-5:-1]\n",
        "\n",
        "for i in range(top_words.shape[0]):\n",
        "    words = [feat_names[j] for j in top_words[i]]\n",
        "    print(i, \"  \".join(words))"
      ],
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "0 вообще  думать  жизнь  ничто\n",
            "1 игра  игрок  игровой  играть\n",
            "2 файл  папка  скрипт  строка\n",
            "3 элемент  значение  компонент  блок\n",
            "4 устройство  смартфон  мобильный  телефон\n",
            "5 продукт  мобильный  дизайн  инструмент\n",
            "6 космический  аппарат  земля  станция\n",
            "7 язык  программирование  программист  программа\n",
            "8 сеть  интернет  трафик  связь\n",
            "9 сервер  домен  настройка  адрес\n",
            "10 доклад  конференция  тема  участник\n",
            "11 сайт  страница  браузер  веб\n",
            "12 тест  тестирование  тестовый  ошибка\n",
            "13 запрос  таблица  строка  ответ\n",
            "14 сигнал  частота  диапазон  канал\n",
            "15 бот  скрипт  канал  друг\n",
            "16 изображение  обучение  алгоритм  модель\n",
            "17 класс  метод  библиотека  реализация\n",
            "18 база  база дать  таблица  запись\n",
            "19 печать  мм  материал  температура\n",
            "20 товар  скидка  магазин  цена\n",
            "21 дата центр  центр  дата  оборудование\n",
            "22 сотрудник  бизнес  ит  рабочий\n",
            "23 книга  часы  профессиональный  читать\n",
            "24 робот  ребёнок  датчик  движение\n",
            "25 учёный  мозг  исследование  научный\n",
            "26 виртуальный  машина  реальность  резервный\n",
            "27 сервис  облачный  платформа  доступ\n",
            "28 ключ  сертификат  пароль  открытый\n",
            "29 сообщение  письмо  ошибка  адрес\n",
            "30 объект  свойство  вселенная  свет\n",
            "31 камера  видео  смартфон  экран\n",
            "32 уязвимость  атака  безопасность  защита\n",
            "33 звук  частота  читать  характеристика\n",
            "34 клиент  услуга  бизнес  письмо\n",
            "35 память  процессор  диск  ядро\n",
            "36 рынок  российский  рубль  россия\n",
            "37 модуль  компонент  контроллер  поддержка\n",
            "38 автомобиль  машина  метр  безопасность\n",
            "39 карта  номер  телефон  точка\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "QsKeI-bs_E8Z",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 374
        },
        "outputId": "899117b0-9d0d-4b07-ea67-1ffc88761eff"
      },
      "source": [
        "vectorizer = TfidfVectorizer(max_features=100, min_df=5, max_df=0.4, ngram_range=(1,4))\n",
        "X = vectorizer.fit_transform(str_texts)\n",
        "model = NMF(n_components=20)\n",
        "model.fit(X)\n",
        "feat_names = vectorizer.get_feature_names()\n",
        "top_words = model.components_.argsort()[:,:-5:-1]\n",
        "\n",
        "for i in range(top_words.shape[0]):\n",
        "    words = [feat_names[j] for j in top_words[i]]\n",
        "    print(i, \"  \".join(words))"
      ],
      "execution_count": 34,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "0 код  ошибка  программа  тест\n",
            "1 игра  разработчик  разработка  знать\n",
            "2 тип  класс  метод  интерфейс\n",
            "3 значение  состояние  строка  день\n",
            "4 элемент  список  страница  запись\n",
            "5 устройство  управление  уровень  настройка\n",
            "6 файл  модуль  добавить  параметр\n",
            "7 приложение  версия  разработчик  разработка\n",
            "8 сайт  страница  строка  интернет\n",
            "9 сервер  клиент  сервис  настройка\n",
            "10 функция  параметр  уровень  строка\n",
            "11 сеть  интерфейс  связь  интернет\n",
            "12 модель  метод  уровень  модуль\n",
            "13 точка  находиться  скорость  область\n",
            "14 язык  программа  слово  технология\n",
            "15 команда  разработка  разработчик  программа\n",
            "16 запрос  база  запись  сервис\n",
            "17 объект  метод  класс  инструмент\n",
            "18 ваш  продукт  говорить  клиент\n",
            "19 число  программа  строка  далее\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AFhsQwkLAZTU",
        "colab_type": "text"
      },
      "source": [
        "**9. Темы лучшей NMF модели. Сравнение с LDA**"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "av-OhbosAaRJ",
        "colab_type": "text"
      },
      "source": [
        "Бросаетсяв глаза, что темы теперь более четко разделены. \n",
        "\n",
        "Тем не менее, например, учитывая специфику текстлв, возможно стоило в стоп-слова включать \"функция\", \"параметр\", \"инструмент\" и т.п., потому что они встречаются часто, но редко несут ососбую смысловую нагрузку.\n",
        "На мой взгляд, лучше всего справилась вторая модель.\n",
        "\n",
        "Космос\n",
        "> космический  аппарат  земля  станция\n",
        "\n",
        "Настройка сервера\n",
        "> сервер  домен  настройка  адрес\n",
        "\n",
        "Базы данных\n",
        "> запрос  таблица  строка  ответ\n",
        "\n",
        "Информационная безопасность\n",
        ">уязвимость  атака  безопасность  защита\n",
        "\n"
      ]
    }
  ]
}