HW2.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "HW 2.ipynb",
      "provenance": [],
      "machine_shape": "hm"
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9r_dAuG6KAue",
        "colab_type": "text"
      },
      "source": [
        "# Задание 1. (5 баллов) \n",
        "В тетрадке реализована биграмная языковая модель (при генерации учитывается информация только о 1 предыдущем слове). Реализуйте триграмную модель и сгенерируйте несколько текстов. Сравните их с текстами, сгенерированными биграмной моделью. \n",
        "Можно использовать те же тексты, что в семинаре, или взять какой-то другой (на английском или русском языке).  \n",
        "\n",
        "Делать это задание будет легче после прочтения первых 7 страниц вот этой главы из Журафского - https://web.stanford.edu/~jurafsky/slp3/3.pdf\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IKUBBN_OwMW8",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from string import punctuation\n",
        "import numpy as np\n",
        "import nltk\n",
        "nltk.download('punkt')\n",
        "from nltk.tokenize import sent_tokenize\n",
        "from collections import Counter"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "P1D9_8o5J_dH",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!wget https://raw.githubusercontent.com/SvA1/texts/master/dostoevsky.txt\n",
        "dostoevsky = open('dostoevsky.txt').read()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "94fwcSG4Ff0-",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def normalize(text):\n",
        "    normalized_text = [word.strip(punctuation) for word \\\n",
        "                                                            in text.lower().split()]\n",
        "    normalized_text = [word for word in normalized_text if word]\n",
        "    return normalized_text\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "7gmlsCLZGLZh",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def ngrammer(tokens, n=2):\n",
        "    ngrams = []\n",
        "    for i in range(0,len(tokens)-n+1):\n",
        "        ngrams.append(' '.join(tokens[i:i+n]))\n",
        "    return ngrams"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uiqxsfUAGoIs",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "sentences_dostoevsky = [['<start>'] + normalize(text) + ['<end>'] for text in sent_tokenize(dostoevsky)]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "h0bFb6ENVuv9",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "unigrams_dostoevsky = Counter()\n",
        "bigrams_dostoevsky = Counter()\n",
        "trigrams_dostoevsky = Counter()\n",
        "\n",
        "for sentence in sentences_dostoevsky:\n",
        "    unigrams_dostoevsky.update(sentence)\n",
        "    bigrams_dostoevsky.update(ngrammer(sentence))\n",
        "    trigrams_dostoevsky.update(ngrammer(sentence, n=3))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "sPfwwXxSV0Cg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "id2word_unigrams = list(unigrams_dostoevsky)\n",
        "word2id_unigrams = {word:i for i, word in enumerate(id2word_unigrams)}\n",
        "\n",
        "id2word_bigrams = list(bigrams_dostoevsky)\n",
        "word2id_bigrams = {word:i for i, word in enumerate(id2word_bigrams)}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "vtaaPM2l6cs_",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "matrix_dostoevsky = np.zeros((len(bigrams_dostoevsky), \n",
        "                   len(unigrams_dostoevsky)))\n",
        "\n",
        "for ngram in trigrams_dostoevsky:\n",
        "    word1, word2, word3 = ngram.split()\n",
        "    bigram = '{} {}'.format(word1, word2)\n",
        "    matrix_dostoevsky[word2id_bigrams[bigram]][word2id_unigrams[word3]] =  (trigrams_dostoevsky[ngram]/\n",
        "                                                                                 bigrams_dostoevsky[bigram])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "23HJrnm_5fQk",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "matrix_dostoevsky_bigrams = np.zeros((len(unigrams_dostoevsky), \n",
        "                   len(unigrams_dostoevsky)))\n",
        "\n",
        "for ngram in bigrams_dostoevsky:\n",
        "    word1, word2 = ngram.split()\n",
        "    matrix_dostoevsky_bigrams[word2id_unigrams[word1]][word2id_unigrams[word2]] =  (bigrams_dostoevsky[ngram]/\n",
        "                                                                     unigrams_dostoevsky[word1])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Pt5WBhhoUvJZ",
        "colab_type": "text"
      },
      "source": [
        "### Текст, сгенерированный биграммами"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fs0geKJYTlYf",
        "colab_type": "code",
        "outputId": "2416ce8a-0d3f-41ab-b379-1d6cecf36b0e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 144
        }
      },
      "source": [
        "\n",
        "def generate(matrix, id2word, word2id, n=100, start='<start>'):\n",
        "    text = []\n",
        "    current_idx = word2id[start]\n",
        "    \n",
        "    for i in range(n):\n",
        "        \n",
        "        chosen = np.random.choice(matrix.shape[1], p=matrix[current_idx])\n",
        "        text.append(id2word[chosen])\n",
        "        \n",
        "        if id2word[chosen] == '<end>':\n",
        "            chosen = word2id['<start>']\n",
        "        current_idx = chosen\n",
        "    \n",
        "    return ' '.join(text)\n",
        "  \n",
        "print(generate(matrix_dostoevsky_bigrams, id2word_unigrams, word2id_unigrams).replace('<end>', '\\n'))"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "опять окликает астафий иваныч \n",
            " э-эх \n",
            " думаю воротится к тому попал я их взял я осерчал возьмет астафий иванович пустился вслед за него под кровать на коленках передо мной в садовой \n",
            " я сына родного хороню \n",
            " посидел я видел что же смекаю про себя посмотрел на приступочку голову срезал бы долго лежал он сударь так \n",
            " ну сам знаю зачем там и домоводка и не сводит а он сделает как вот говорю их помещик который был говорю тебя совсем собрался идти искать положил на меня обокрал да еще с утра видел что какой-то пожилой человек уговорил или что-нибудь\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XeD6f4tiU69I",
        "colab_type": "text"
      },
      "source": [
        "### Текст, сгенерированный триграммами"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kaPq8w2T9BVC",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def start_step(text, matrix_2, word2id_bigrams, id2word, start_idx):\n",
        "    second_word = np.random.choice(matrix_2.shape[1], p=matrix_2[start_idx])\n",
        "    word = id2word[second_word]\n",
        "    text.append(word)\n",
        "    current_bigram = \"<start> {}\".format(word)\n",
        "    current_idx = word2id_bigrams[current_bigram]\n",
        "    return current_bigram, current_idx\n",
        "\n",
        "def generate(matrix, matrix_2, id2word, word2id_bigrams, word2id_unigrams, n=100):\n",
        "    text = []\n",
        "    start_idx = word2id_unigrams[\"<start>\"]\n",
        "    current_bigram, current_idx = start_step(text, matrix_2, word2id_bigrams, id2word, start_idx)\n",
        "    for i in range(n):\n",
        "\n",
        "        chosen = np.random.choice(matrix.shape[1], p=matrix[current_idx])\n",
        "        word = id2word[chosen]\n",
        "        \n",
        "        if word == '<end>':\n",
        "            current_bigram, current_idx = start_step(text, matrix_2, word2id_bigrams, id2word, start_idx)\n",
        "        else:\n",
        "            text.append(word)\n",
        "            current_bigram = \"{} {}\".format(current_bigram.split()[1], word)\n",
        "            current_idx = word2id_bigrams[current_bigram]\n",
        "    \n",
        "    return ' '.join(text)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-shMqP2FZ02S",
        "colab_type": "code",
        "outputId": "55d528fc-146b-4843-831c-0feddb2fe150",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        }
      },
      "source": [
        "\n",
        "print(generate(matrix_dostoevsky, matrix_dostoevsky_bigrams, id2word_unigrams, word2id_bigrams, word2id_unigrams, n=100).replace('<end>', '\\n'))"
      ],
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "жилетку чиновнику что под нами жил переделывал думаю емеля емеля оно вот как пьянство человека испортит что ж он такой как на честного вора наутро только смотрю лежит себе на голом полу скрючившись в своей шинелишке унизился больно так и весь вечер просидел не шелохнулся уж я признаться сказать перетрусил да и улизнет поминай как звали я уж сегодня обедать не буду больше пить астафий иваныч я лучше уж пойду-с то есть энтого их не брал-с да хоть бы ты портняжному-то искусству повыучился да так нездоровится астафий иваныч уж лучше сгори вещь а вору уступить досадно не хочется я как выслушал\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PEba7VS9VJw5",
        "colab_type": "text"
      },
      "source": [
        "И биграммная и триграммная языковые модели сгенерировали довольно осмысленные тексты. \n",
        "Тем не менее,есть места, где в триграммной модели текст более связный, особенно если сравнить длинное предложение, сгенерированной биграммной моделью ('и домоводка и не сводит а он сделает') и триграммной. В триграммной модели однако есть и такие места, где теряется связность текста, например, 'не буду больше пить астафий иваныч я лучше уж пойду-с то есть энтого'.\n",
        "В целом, на мой взгляд, биграммная модель сгенерировала текст не сильно отличающийся по осмысленности от триграммной. Возможно это из-за того, что текст, на котором генерируются эти модели, довольно маленький по объему."
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "ceNrzmUmKG4d",
        "colab_type": "text"
      },
      "source": [
        "# Задание 2. (5 баллов) \n",
        "При помощи gensim.models.Phrases реализуйте byte-pair-encoding, про который говорилось на первом семинаре (https://github.com/mannefedov/compling_nlp_hse_course/blob/master/notebooks/Preprocessing.ipynb) \n",
        "А именно 1) возьмите любой текст; разбейте его на предложения, а каждое предложение разбейте на отдельные символы (не потеряйте пробелы) 2) обучите gensim.models.Phrases на полученных символьных предложениях 3) примените полученный нграммер к этим символьным предложениям 4) повторите 2 и 3 N количество раз, чтобы начали получаться целые слова\n",
        "Параметры в gensim.models.Phrases влияют на количество получаемых нграммов после каждого прохода, поэтому не забудьте их настроить"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IeaJkr5ZZFSt",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import re, collections\n",
        "import nltk\n",
        "nltk.download('punkt')\n",
        "from nltk import sent_tokenize\n",
        "from nltk import word_tokenize\n",
        "from gensim.models.phrases import Phrases, Phraser\n",
        "from gensim.models.word2vec import Text8Corpus\n",
        "from gensim.test.utils import datapath"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ho9EkG2AcbQl",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "text = '''Национальный центр кибербезопасности Великобритании (NCSC) опубликовал результаты исследования, проведенного совместно с Агентством национальной безопасности США. Доклад посвящен известной русскоязычной хакерской группировке Turla и ее новому методу работы — она проникла в инфраструктуру иранских хакеров, «украла» у иранцев доступ к взломанным ими серверам и сам хакерский инструментарий, который теперь использует в собственных целях.\n",
        "\n",
        "«Группа Turla, также известная как „Водяной жук“ и „Ядовитый медведь“, широко известна как группа, связанная с силами из России», — говорится в предисловии к докладу. Она занимается взломом правительственных, военных, энергетических и других организаций с целью сбора данных. На Западе ее связывают с российскими спецслужбами. Ранее NCSC обнаружила, что хакеры из этой группировки используют программные «закладки» под названием Neuron и Nautilus, которые позволяют взламывать серверы на платформах Microsoft Windows. После дополнительного анализа эксперты пришли к выводу, что Neuron и Nautilus — это софт иранских хакеров. Причем сами иранцы, которые их создали и использовали, «почти наверняка не знали об использовании Turla своих программных закладок и не были замешаны в их использовании», полагают в NCSC.\n",
        "\n",
        "Сначала россияне находили серверы, уже взломанные иранцами, и брали их под собственный контроль, а потом развернули чужой хакерский инструментарий против новых жертв. «Turla сканировала серверы на наличие иранских „закладок“ и пыталась использовать их для укрепления своих позиций. Основное их внимание при этом было сосредоточено на Ближнем Востоке», — говорится в докладе.\n",
        "\n",
        "Спецслужбы полагают, что Turla смогла проделать эту работу, взломав самих иранских коллег. «Чтобы установить связь с „закладками“, Turla должна была иметь доступ к соответствующим криптографическим ключам и, вероятно, доступ к контролирующему их программному обеспечению», — поясняют NCSC.\n",
        "\n",
        "Более того, группировка использовала в качестве инструмента иранскую сетевую инфраструктуру. На иранских серверах Turla установила собственные закладки — и в результате получила доступ к файлам иранских хакеров, а также «беспрецедентную осведомленность о тактике, методах и процедурах иранских APT, включая списки жертв и учетные данные для доступа к их инфраструктуре — а также код, необходимый для создания новых версий таких инструментов, как Neuron».'''"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ALtLgV-0e-CE",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "sentences = sent_tokenize(text)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "BY_cvSbCe-2s",
        "colab_type": "code",
        "outputId": "5eb65635-9e59-4c31-c846-ee78e0709f82",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 305
        }
      },
      "source": [
        "sentences"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "['Национальный центр кибербезопасности Великобритании (NCSC) опубликовал результаты исследования, проведенного совместно с Агентством национальной безопасности США.',\n",
              " 'Доклад посвящен известной русскоязычной хакерской группировке Turla и ее новому методу работы — она проникла в инфраструктуру иранских хакеров, «украла» у иранцев доступ к взломанным ими серверам и сам хакерский инструментарий, который теперь использует в собственных целях.',\n",
              " '«Группа Turla, также известная как „Водяной жук“ и „Ядовитый медведь“, широко известна как группа, связанная с силами из России», — говорится в предисловии к докладу.',\n",
              " 'Она занимается взломом правительственных, военных, энергетических и других организаций с целью сбора данных.',\n",
              " 'На Западе ее связывают с российскими спецслужбами.',\n",
              " 'Ранее NCSC обнаружила, что хакеры из этой группировки используют программные «закладки» под названием Neuron и Nautilus, которые позволяют взламывать серверы на платформах Microsoft Windows.',\n",
              " 'После дополнительного анализа эксперты пришли к выводу, что Neuron и Nautilus — это софт иранских хакеров.',\n",
              " 'Причем сами иранцы, которые их создали и использовали, «почти наверняка не знали об использовании Turla своих программных закладок и не были замешаны в их использовании», полагают в NCSC.',\n",
              " 'Сначала россияне находили серверы, уже взломанные иранцами, и брали их под собственный контроль, а потом развернули чужой хакерский инструментарий против новых жертв.',\n",
              " '«Turla сканировала серверы на наличие иранских „закладок“ и пыталась использовать их для укрепления своих позиций.',\n",
              " 'Основное их внимание при этом было сосредоточено на Ближнем Востоке», — говорится в докладе.',\n",
              " 'Спецслужбы полагают, что Turla смогла проделать эту работу, взломав самих иранских коллег.',\n",
              " '«Чтобы установить связь с „закладками“, Turla должна была иметь доступ к соответствующим криптографическим ключам и, вероятно, доступ к контролирующему их программному обеспечению», — поясняют NCSC.',\n",
              " 'Более того, группировка использовала в качестве инструмента иранскую сетевую инфраструктуру.',\n",
              " 'На иранских серверах Turla установила собственные закладки — и в результате получила доступ к файлам иранских хакеров, а также «беспрецедентную осведомленность о тактике, методах и процедурах иранских APT, включая списки жертв и учетные данные для доступа к их инфраструктуре — а также код, необходимый для создания новых версий таких инструментов, как Neuron».']"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 90
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EzuyMRDEfrV9",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def split(word): \n",
        "    return [char for char in word]  "
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "F-wYfKM7f3Dn",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "vocab = []\n",
        "for i in range(len(sentences)):\n",
        "    vocab.append(split(sentences[i]))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Cvm3p627f8of",
        "colab_type": "code",
        "outputId": "decae812-57dc-4666-c880-b1545e1098dc",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 55
        }
      },
      "source": [
        "print(vocab)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[['Н', 'а', 'ц', 'и', 'о', 'н', 'а', 'л', 'ь', 'н', 'ы', 'й', ' ', 'ц', 'е', 'н', 'т', 'р', ' ', 'к', 'и', 'б', 'е', 'р', 'б', 'е', 'з', 'о', 'п', 'а', 'с', 'н', 'о', 'с', 'т', 'и', ' ', 'В', 'е', 'л', 'и', 'к', 'о', 'б', 'р', 'и', 'т', 'а', 'н', 'и', 'и', ' ', '(', 'N', 'C', 'S', 'C', ')', ' ', 'о', 'п', 'у', 'б', 'л', 'и', 'к', 'о', 'в', 'а', 'л', ' ', 'р', 'е', 'з', 'у', 'л', 'ь', 'т', 'а', 'т', 'ы', ' ', 'и', 'с', 'с', 'л', 'е', 'д', 'о', 'в', 'а', 'н', 'и', 'я', ',', ' ', 'п', 'р', 'о', 'в', 'е', 'д', 'е', 'н', 'н', 'о', 'г', 'о', ' ', 'с', 'о', 'в', 'м', 'е', 'с', 'т', 'н', 'о', ' ', 'с', ' ', 'А', 'г', 'е', 'н', 'т', 'с', 'т', 'в', 'о', 'м', ' ', 'н', 'а', 'ц', 'и', 'о', 'н', 'а', 'л', 'ь', 'н', 'о', 'й', ' ', 'б', 'е', 'з', 'о', 'п', 'а', 'с', 'н', 'о', 'с', 'т', 'и', ' ', 'С', 'Ш', 'А', '.'], ['Д', 'о', 'к', 'л', 'а', 'д', ' ', 'п', 'о', 'с', 'в', 'я', 'щ', 'е', 'н', ' ', 'и', 'з', 'в', 'е', 'с', 'т', 'н', 'о', 'й', ' ', 'р', 'у', 'с', 'с', 'к', 'о', 'я', 'з', 'ы', 'ч', 'н', 'о', 'й', ' ', 'х', 'а', 'к', 'е', 'р', 'с', 'к', 'о', 'й', ' ', 'г', 'р', 'у', 'п', 'п', 'и', 'р', 'о', 'в', 'к', 'е', ' ', 'T', 'u', 'r', 'l', 'a', ' ', 'и', ' ', 'е', 'е', ' ', 'н', 'о', 'в', 'о', 'м', 'у', ' ', 'м', 'е', 'т', 'о', 'д', 'у', ' ', 'р', 'а', 'б', 'о', 'т', 'ы', ' ', '—', ' ', 'о', 'н', 'а', ' ', 'п', 'р', 'о', 'н', 'и', 'к', 'л', 'а', ' ', 'в', ' ', 'и', 'н', 'ф', 'р', 'а', 'с', 'т', 'р', 'у', 'к', 'т', 'у', 'р', 'у', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'х', 'а', 'к', 'е', 'р', 'о', 'в', ',', ' ', '«', 'у', 'к', 'р', 'а', 'л', 'а', '»', ' ', 'у', ' ', 'и', 'р', 'а', 'н', 'ц', 'е', 'в', ' ', 'д', 'о', 'с', 'т', 'у', 'п', ' ', 'к', ' ', 'в', 'з', 'л', 'о', 'м', 'а', 'н', 'н', 'ы', 'м', ' ', 'и', 'м', 'и', ' ', 'с', 'е', 'р', 'в', 'е', 'р', 'а', 'м', ' ', 'и', ' ', 'с', 'а', 'м', ' ', 'х', 'а', 'к', 'е', 'р', 'с', 'к', 'и', 'й', ' ', 'и', 'н', 'с', 'т', 'р', 'у', 'м', 'е', 'н', 'т', 'а', 'р', 'и', 'й', ',', ' ', 'к', 'о', 'т', 'о', 'р', 'ы', 'й', ' ', 'т', 'е', 'п', 'е', 'р', 'ь', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'у', 'е', 'т', ' ', 'в', ' ', 'с', 'о', 'б', 'с', 'т', 'в', 'е', 'н', 'н', 'ы', 'х', ' ', 'ц', 'е', 'л', 'я', 'х', '.'], ['«', 'Г', 'р', 'у', 'п', 'п', 'а', ' ', 'T', 'u', 'r', 'l', 'a', ',', ' ', 'т', 'а', 'к', 'ж', 'е', ' ', 'и', 'з', 'в', 'е', 'с', 'т', 'н', 'а', 'я', ' ', 'к', 'а', 'к', ' ', '„', 'В', 'о', 'д', 'я', 'н', 'о', 'й', ' ', 'ж', 'у', 'к', '“', ' ', 'и', ' ', '„', 'Я', 'д', 'о', 'в', 'и', 'т', 'ы', 'й', ' ', 'м', 'е', 'д', 'в', 'е', 'д', 'ь', '“', ',', ' ', 'ш', 'и', 'р', 'о', 'к', 'о', ' ', 'и', 'з', 'в', 'е', 'с', 'т', 'н', 'а', ' ', 'к', 'а', 'к', ' ', 'г', 'р', 'у', 'п', 'п', 'а', ',', ' ', 'с', 'в', 'я', 'з', 'а', 'н', 'н', 'а', 'я', ' ', 'с', ' ', 'с', 'и', 'л', 'а', 'м', 'и', ' ', 'и', 'з', ' ', 'Р', 'о', 'с', 'с', 'и', 'и', '»', ',', ' ', '—', ' ', 'г', 'о', 'в', 'о', 'р', 'и', 'т', 'с', 'я', ' ', 'в', ' ', 'п', 'р', 'е', 'д', 'и', 'с', 'л', 'о', 'в', 'и', 'и', ' ', 'к', ' ', 'д', 'о', 'к', 'л', 'а', 'д', 'у', '.'], ['О', 'н', 'а', ' ', 'з', 'а', 'н', 'и', 'м', 'а', 'е', 'т', 'с', 'я', ' ', 'в', 'з', 'л', 'о', 'м', 'о', 'м', ' ', 'п', 'р', 'а', 'в', 'и', 'т', 'е', 'л', 'ь', 'с', 'т', 'в', 'е', 'н', 'н', 'ы', 'х', ',', ' ', 'в', 'о', 'е', 'н', 'н', 'ы', 'х', ',', ' ', 'э', 'н', 'е', 'р', 'г', 'е', 'т', 'и', 'ч', 'е', 'с', 'к', 'и', 'х', ' ', 'и', ' ', 'д', 'р', 'у', 'г', 'и', 'х', ' ', 'о', 'р', 'г', 'а', 'н', 'и', 'з', 'а', 'ц', 'и', 'й', ' ', 'с', ' ', 'ц', 'е', 'л', 'ь', 'ю', ' ', 'с', 'б', 'о', 'р', 'а', ' ', 'д', 'а', 'н', 'н', 'ы', 'х', '.'], ['Н', 'а', ' ', 'З', 'а', 'п', 'а', 'д', 'е', ' ', 'е', 'е', ' ', 'с', 'в', 'я', 'з', 'ы', 'в', 'а', 'ю', 'т', ' ', 'с', ' ', 'р', 'о', 'с', 'с', 'и', 'й', 'с', 'к', 'и', 'м', 'и', ' ', 'с', 'п', 'е', 'ц', 'с', 'л', 'у', 'ж', 'б', 'а', 'м', 'и', '.'], ['Р', 'а', 'н', 'е', 'е', ' ', 'N', 'C', 'S', 'C', ' ', 'о', 'б', 'н', 'а', 'р', 'у', 'ж', 'и', 'л', 'а', ',', ' ', 'ч', 'т', 'о', ' ', 'х', 'а', 'к', 'е', 'р', 'ы', ' ', 'и', 'з', ' ', 'э', 'т', 'о', 'й', ' ', 'г', 'р', 'у', 'п', 'п', 'и', 'р', 'о', 'в', 'к', 'и', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'у', 'ю', 'т', ' ', 'п', 'р', 'о', 'г', 'р', 'а', 'м', 'м', 'н', 'ы', 'е', ' ', '«', 'з', 'а', 'к', 'л', 'а', 'д', 'к', 'и', '»', ' ', 'п', 'о', 'д', ' ', 'н', 'а', 'з', 'в', 'а', 'н', 'и', 'е', 'м', ' ', 'N', 'e', 'u', 'r', 'o', 'n', ' ', 'и', ' ', 'N', 'a', 'u', 't', 'i', 'l', 'u', 's', ',', ' ', 'к', 'о', 'т', 'о', 'р', 'ы', 'е', ' ', 'п', 'о', 'з', 'в', 'о', 'л', 'я', 'ю', 'т', ' ', 'в', 'з', 'л', 'а', 'м', 'ы', 'в', 'а', 'т', 'ь', ' ', 'с', 'е', 'р', 'в', 'е', 'р', 'ы', ' ', 'н', 'а', ' ', 'п', 'л', 'а', 'т', 'ф', 'о', 'р', 'м', 'а', 'х', ' ', 'M', 'i', 'c', 'r', 'o', 's', 'o', 'f', 't', ' ', 'W', 'i', 'n', 'd', 'o', 'w', 's', '.'], ['П', 'о', 'с', 'л', 'е', ' ', 'д', 'о', 'п', 'о', 'л', 'н', 'и', 'т', 'е', 'л', 'ь', 'н', 'о', 'г', 'о', ' ', 'а', 'н', 'а', 'л', 'и', 'з', 'а', ' ', 'э', 'к', 'с', 'п', 'е', 'р', 'т', 'ы', ' ', 'п', 'р', 'и', 'ш', 'л', 'и', ' ', 'к', ' ', 'в', 'ы', 'в', 'о', 'д', 'у', ',', ' ', 'ч', 'т', 'о', ' ', 'N', 'e', 'u', 'r', 'o', 'n', ' ', 'и', ' ', 'N', 'a', 'u', 't', 'i', 'l', 'u', 's', ' ', '—', ' ', 'э', 'т', 'о', ' ', 'с', 'о', 'ф', 'т', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'х', 'а', 'к', 'е', 'р', 'о', 'в', '.'], ['П', 'р', 'и', 'ч', 'е', 'м', ' ', 'с', 'а', 'м', 'и', ' ', 'и', 'р', 'а', 'н', 'ц', 'ы', ',', ' ', 'к', 'о', 'т', 'о', 'р', 'ы', 'е', ' ', 'и', 'х', ' ', 'с', 'о', 'з', 'д', 'а', 'л', 'и', ' ', 'и', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'о', 'в', 'а', 'л', 'и', ',', ' ', '«', 'п', 'о', 'ч', 'т', 'и', ' ', 'н', 'а', 'в', 'е', 'р', 'н', 'я', 'к', 'а', ' ', 'н', 'е', ' ', 'з', 'н', 'а', 'л', 'и', ' ', 'о', 'б', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'о', 'в', 'а', 'н', 'и', 'и', ' ', 'T', 'u', 'r', 'l', 'a', ' ', 'с', 'в', 'о', 'и', 'х', ' ', 'п', 'р', 'о', 'г', 'р', 'а', 'м', 'м', 'н', 'ы', 'х', ' ', 'з', 'а', 'к', 'л', 'а', 'д', 'о', 'к', ' ', 'и', ' ', 'н', 'е', ' ', 'б', 'ы', 'л', 'и', ' ', 'з', 'а', 'м', 'е', 'ш', 'а', 'н', 'ы', ' ', 'в', ' ', 'и', 'х', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'о', 'в', 'а', 'н', 'и', 'и', '»', ',', ' ', 'п', 'о', 'л', 'а', 'г', 'а', 'ю', 'т', ' ', 'в', ' ', 'N', 'C', 'S', 'C', '.'], ['С', 'н', 'а', 'ч', 'а', 'л', 'а', ' ', 'р', 'о', 'с', 'с', 'и', 'я', 'н', 'е', ' ', 'н', 'а', 'х', 'о', 'д', 'и', 'л', 'и', ' ', 'с', 'е', 'р', 'в', 'е', 'р', 'ы', ',', ' ', 'у', 'ж', 'е', ' ', 'в', 'з', 'л', 'о', 'м', 'а', 'н', 'н', 'ы', 'е', ' ', 'и', 'р', 'а', 'н', 'ц', 'а', 'м', 'и', ',', ' ', 'и', ' ', 'б', 'р', 'а', 'л', 'и', ' ', 'и', 'х', ' ', 'п', 'о', 'д', ' ', 'с', 'о', 'б', 'с', 'т', 'в', 'е', 'н', 'н', 'ы', 'й', ' ', 'к', 'о', 'н', 'т', 'р', 'о', 'л', 'ь', ',', ' ', 'а', ' ', 'п', 'о', 'т', 'о', 'м', ' ', 'р', 'а', 'з', 'в', 'е', 'р', 'н', 'у', 'л', 'и', ' ', 'ч', 'у', 'ж', 'о', 'й', ' ', 'х', 'а', 'к', 'е', 'р', 'с', 'к', 'и', 'й', ' ', 'и', 'н', 'с', 'т', 'р', 'у', 'м', 'е', 'н', 'т', 'а', 'р', 'и', 'й', ' ', 'п', 'р', 'о', 'т', 'и', 'в', ' ', 'н', 'о', 'в', 'ы', 'х', ' ', 'ж', 'е', 'р', 'т', 'в', '.'], ['«', 'T', 'u', 'r', 'l', 'a', ' ', 'с', 'к', 'а', 'н', 'и', 'р', 'о', 'в', 'а', 'л', 'а', ' ', 'с', 'е', 'р', 'в', 'е', 'р', 'ы', ' ', 'н', 'а', ' ', 'н', 'а', 'л', 'и', 'ч', 'и', 'е', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', '„', 'з', 'а', 'к', 'л', 'а', 'д', 'о', 'к', '“', ' ', 'и', ' ', 'п', 'ы', 'т', 'а', 'л', 'а', 'с', 'ь', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'о', 'в', 'а', 'т', 'ь', ' ', 'и', 'х', ' ', 'д', 'л', 'я', ' ', 'у', 'к', 'р', 'е', 'п', 'л', 'е', 'н', 'и', 'я', ' ', 'с', 'в', 'о', 'и', 'х', ' ', 'п', 'о', 'з', 'и', 'ц', 'и', 'й', '.'], ['О', 'с', 'н', 'о', 'в', 'н', 'о', 'е', ' ', 'и', 'х', ' ', 'в', 'н', 'и', 'м', 'а', 'н', 'и', 'е', ' ', 'п', 'р', 'и', ' ', 'э', 'т', 'о', 'м', ' ', 'б', 'ы', 'л', 'о', ' ', 'с', 'о', 'с', 'р', 'е', 'д', 'о', 'т', 'о', 'ч', 'е', 'н', 'о', ' ', 'н', 'а', ' ', 'Б', 'л', 'и', 'ж', 'н', 'е', 'м', ' ', 'В', 'о', 'с', 'т', 'о', 'к', 'е', '»', ',', ' ', '—', ' ', 'г', 'о', 'в', 'о', 'р', 'и', 'т', 'с', 'я', ' ', 'в', ' ', 'д', 'о', 'к', 'л', 'а', 'д', 'е', '.'], ['С', 'п', 'е', 'ц', 'с', 'л', 'у', 'ж', 'б', 'ы', ' ', 'п', 'о', 'л', 'а', 'г', 'а', 'ю', 'т', ',', ' ', 'ч', 'т', 'о', ' ', 'T', 'u', 'r', 'l', 'a', ' ', 'с', 'м', 'о', 'г', 'л', 'а', ' ', 'п', 'р', 'о', 'д', 'е', 'л', 'а', 'т', 'ь', ' ', 'э', 'т', 'у', ' ', 'р', 'а', 'б', 'о', 'т', 'у', ',', ' ', 'в', 'з', 'л', 'о', 'м', 'а', 'в', ' ', 'с', 'а', 'м', 'и', 'х', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'к', 'о', 'л', 'л', 'е', 'г', '.'], ['«', 'Ч', 'т', 'о', 'б', 'ы', ' ', 'у', 'с', 'т', 'а', 'н', 'о', 'в', 'и', 'т', 'ь', ' ', 'с', 'в', 'я', 'з', 'ь', ' ', 'с', ' ', '„', 'з', 'а', 'к', 'л', 'а', 'д', 'к', 'а', 'м', 'и', '“', ',', ' ', 'T', 'u', 'r', 'l', 'a', ' ', 'д', 'о', 'л', 'ж', 'н', 'а', ' ', 'б', 'ы', 'л', 'а', ' ', 'и', 'м', 'е', 'т', 'ь', ' ', 'д', 'о', 'с', 'т', 'у', 'п', ' ', 'к', ' ', 'с', 'о', 'о', 'т', 'в', 'е', 'т', 'с', 'т', 'в', 'у', 'ю', 'щ', 'и', 'м', ' ', 'к', 'р', 'и', 'п', 'т', 'о', 'г', 'р', 'а', 'ф', 'и', 'ч', 'е', 'с', 'к', 'и', 'м', ' ', 'к', 'л', 'ю', 'ч', 'а', 'м', ' ', 'и', ',', ' ', 'в', 'е', 'р', 'о', 'я', 'т', 'н', 'о', ',', ' ', 'д', 'о', 'с', 'т', 'у', 'п', ' ', 'к', ' ', 'к', 'о', 'н', 'т', 'р', 'о', 'л', 'и', 'р', 'у', 'ю', 'щ', 'е', 'м', 'у', ' ', 'и', 'х', ' ', 'п', 'р', 'о', 'г', 'р', 'а', 'м', 'м', 'н', 'о', 'м', 'у', ' ', 'о', 'б', 'е', 'с', 'п', 'е', 'ч', 'е', 'н', 'и', 'ю', '»', ',', ' ', '—', ' ', 'п', 'о', 'я', 'с', 'н', 'я', 'ю', 'т', ' ', 'N', 'C', 'S', 'C', '.'], ['Б', 'о', 'л', 'е', 'е', ' ', 'т', 'о', 'г', 'о', ',', ' ', 'г', 'р', 'у', 'п', 'п', 'и', 'р', 'о', 'в', 'к', 'а', ' ', 'и', 'с', 'п', 'о', 'л', 'ь', 'з', 'о', 'в', 'а', 'л', 'а', ' ', 'в', ' ', 'к', 'а', 'ч', 'е', 'с', 'т', 'в', 'е', ' ', 'и', 'н', 'с', 'т', 'р', 'у', 'м', 'е', 'н', 'т', 'а', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'у', 'ю', ' ', 'с', 'е', 'т', 'е', 'в', 'у', 'ю', ' ', 'и', 'н', 'ф', 'р', 'а', 'с', 'т', 'р', 'у', 'к', 'т', 'у', 'р', 'у', '.'], ['Н', 'а', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'с', 'е', 'р', 'в', 'е', 'р', 'а', 'х', ' ', 'T', 'u', 'r', 'l', 'a', ' ', 'у', 'с', 'т', 'а', 'н', 'о', 'в', 'и', 'л', 'а', ' ', 'с', 'о', 'б', 'с', 'т', 'в', 'е', 'н', 'н', 'ы', 'е', ' ', 'з', 'а', 'к', 'л', 'а', 'д', 'к', 'и', ' ', '—', ' ', 'и', ' ', 'в', ' ', 'р', 'е', 'з', 'у', 'л', 'ь', 'т', 'а', 'т', 'е', ' ', 'п', 'о', 'л', 'у', 'ч', 'и', 'л', 'а', ' ', 'д', 'о', 'с', 'т', 'у', 'п', ' ', 'к', ' ', 'ф', 'а', 'й', 'л', 'а', 'м', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'х', 'а', 'к', 'е', 'р', 'о', 'в', ',', ' ', 'а', ' ', 'т', 'а', 'к', 'ж', 'е', ' ', '«', 'б', 'е', 'с', 'п', 'р', 'е', 'ц', 'е', 'д', 'е', 'н', 'т', 'н', 'у', 'ю', ' ', 'о', 'с', 'в', 'е', 'д', 'о', 'м', 'л', 'е', 'н', 'н', 'о', 'с', 'т', 'ь', ' ', 'о', ' ', 'т', 'а', 'к', 'т', 'и', 'к', 'е', ',', ' ', 'м', 'е', 'т', 'о', 'д', 'а', 'х', ' ', 'и', ' ', 'п', 'р', 'о', 'ц', 'е', 'д', 'у', 'р', 'а', 'х', ' ', 'и', 'р', 'а', 'н', 'с', 'к', 'и', 'х', ' ', 'A', 'P', 'T', ',', ' ', 'в', 'к', 'л', 'ю', 'ч', 'а', 'я', ' ', 'с', 'п', 'и', 'с', 'к', 'и', ' ', 'ж', 'е', 'р', 'т', 'в', ' ', 'и', ' ', 'у', 'ч', 'е', 'т', 'н', 'ы', 'е', ' ', 'д', 'а', 'н', 'н', 'ы', 'е', ' ', 'д', 'л', 'я', ' ', 'д', 'о', 'с', 'т', 'у', 'п', 'а', ' ', 'к', ' ', 'и', 'х', ' ', 'и', 'н', 'ф', 'р', 'а', 'с', 'т', 'р', 'у', 'к', 'т', 'у', 'р', 'е', ' ', '—', ' ', 'а', ' ', 'т', 'а', 'к', 'ж', 'е', ' ', 'к', 'о', 'д', ',', ' ', 'н', 'е', 'о', 'б', 'х', 'о', 'д', 'и', 'м', 'ы', 'й', ' ', 'д', 'л', 'я', ' ', 'с', 'о', 'з', 'д', 'а', 'н', 'и', 'я', ' ', 'н', 'о', 'в', 'ы', 'х', ' ', 'в', 'е', 'р', 'с', 'и', 'й', ' ', 'т', 'а', 'к', 'и', 'х', ' ', 'и', 'н', 'с', 'т', 'р', 'у', 'м', 'е', 'н', 'т', 'о', 'в', ',', ' ', 'к', 'а', 'к', ' ', 'N', 'e', 'u', 'r', 'o', 'n', '»', '.']]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "72vYTOV1yukY",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "phrases = Phrases(vocab, min_count=19, scoring='npmi', threshold=-1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ieOYAnTBzyJj",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "p0=Phrases (phrases[vocab], min_count=10, scoring='npmi', threshold=-1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PaRjaT040YFH",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "p1=Phrases (p0[phrases[vocab]], min_count=1, scoring='npmi', threshold=0)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WzeWa_9D10Pv",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "p2=Phrases (p1[p0[phrases[vocab]]], min_count=2, scoring='npmi', threshold=0.1)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bH8NgpVU0dmq",
        "colab_type": "code",
        "outputId": "024710dd-853c-40c4-df42-2acaadfc80e0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 91
        }
      },
      "source": [
        "print(list(p2[p1[p0[vocab]]]))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[['Н_а', 'ц_и_о_н_а', 'л_ь_н_ы', 'й_ _ц', 'е_н_т', 'р_ _к', 'и', 'б_е_р', 'б_е', 'з_о', 'п_а', 'с_н_о', 'с_т_и_ ', 'В_е', 'л_и', 'к_о', 'б_р', 'и_т', 'а_н_и', 'и_ _(', 'N_C', 'S_C', ')_ ', 'о_п', 'у_б', 'л_и', 'к_о_в', 'а_л', ' _р', 'е_з', 'у_л_ь', 'т_а', 'т_ы', ' _и_с', 'с_л', 'е_д_о', 'в', 'а_н_и', 'я', ',', ' _п_р_о', 'в_е_д', 'е_н_н_о', 'г_о', ' _с_о_в', 'м_е_с_т', 'н_о_ _с', ' _А', 'г_е_н', 'т_с_т', 'в_о_м', ' _н_а', 'ц_и_о_н_а', 'л_ь_н_о', 'й_ _б', 'е_з', 'о_п', 'а_с', 'н_о_с_т', 'и_ _С', 'Ш_А', '.'], ['Д_о', 'к_л_а', 'д_ _п', 'о_с', 'в_я', 'щ_е_н', ' _и_з_в_е_с_т', 'н_о_й_ ', 'р_у_с', 'с_к_о', 'я_з', 'ы_ч', 'н_о_й_ ', 'х_а_к', 'е_р_с_к', 'о_й_ ', 'г_р_у_п_п', 'и_р_о_в_к', 'е_ _T', 'u_r_l', 'a_ _и', ' ', 'е_е_ ', 'н_о_в', 'о_м_у', ' _м_е', 'т_о_д', 'у_ ', 'р_а_б', 'о_т', 'ы_ ', '—_ ', 'о_н_а', ' _п_р_о', 'н_и', 'к_л_а', ' _в_ _и', 'н_ф_р_а_с_т', 'р_у_к_т_у', 'р_у_ _и', 'р_а_н', 'с_к_и_х_ _х', 'а_к_е_р', 'о_в', ',', ' ', '«_у', 'к_р_а', 'л_а_»', ' _у', ' _и', 'р_а_н', 'ц_е', 'в_ _д', 'о_с_т', 'у_п_ _к', ' _в_з', 'л_о_м', 'а_н_н_ы', 'м_ _и', 'м_и_ ', 'с_е_р', 'в_е_р_а', 'м_ _и', ' _с_а', 'м_ ', 'х_а_к', 'е_р_с_к', 'и_й_ ', 'и', 'н_с_т_р_у_м_е', 'н_т_а_р', 'и_й', ',', ' _к_о', 'т_о_р', 'ы_й_ ', 'т_е', 'п_е_р', 'ь_ _и', 'с_п_о_л_ь_з', 'у_е', 'т_ _в', ' _с_о_б_с_т', 'в_е_н', 'н_ы_х_ ', 'ц_е', 'л_я', 'х_.'], ['«_Г', 'р_у_п', 'п_а_ ', 'T_u_r_l_a', ',', ' ', 'т_а_к', 'ж_е_ ', 'и_з', 'в_е_с_т', 'н_а_я', ' _к_а_к', ' _„', 'В_о', 'д_я', 'н_о_й_ ', 'ж_у', 'к_“', ' _и_ ', '„_Я', 'д_о_в', 'и_т', 'ы_й_ ', 'м_е_д', 'в_е_д', 'ь_“', ',', ' ', 'ш_и', 'р_о_к', 'о', ' _и_з_в_е_с_т', 'н_а_ _к', 'а_к_ ', 'г_р_у_п_п', 'а', ',', ' _с_в', 'я_з', 'а_н_н_а', 'я_ _с', ' _с', 'и_л_а', 'м_и_ ', 'и_з', ' _Р', 'о_с', 'с_и', 'и_»', ',', ' _—', ' _г_о_в_о', 'р_и_т_с', 'я_ _в', ' _п_р', 'е_д', 'и_с', 'л_о_в', 'и', 'и_ _к', ' _д_о_к_л_а', 'д_у', '.'], ['О_н_а', ' ', 'з_а_н', 'и_м', 'а', 'е_т', 'с_я', ' _в_з', 'л_о_м', 'о_м_ _п', 'р_а_в', 'и_т', 'е_л_ь', 'с_т_в_е_н_н_ы', 'х', ',', ' _в', 'о_е_н', 'н_ы_х', ',', ' _э', 'н_е_р', 'г_е', 'т_и', 'ч_е', 'с_к_и_х', ' _и_ _д', 'р_у_г', 'и_х_ ', 'о_р', 'г', 'а_н_и', 'з_а', 'ц_и', 'й_ _с', ' _ц', 'е_л_ь', 'ю_ _с', 'б_о', 'р_а_ _д', 'а_н_н_ы', 'х_.'], ['Н_а_ ', 'З_а', 'п_а', 'д_е_ ', 'е_е_ ', 'с_в_я_з', 'ы_в', 'а_ю', 'т_ _с', ' _р_о_с_с', 'и_й', 'с_к_и', 'м_и_ ', 'с_п', 'е_ц_с_л', 'у_ж', 'б_а', 'м_и', '.'], ['Р_а_н', 'е_е_ ', 'N_C', 'S_C', ' _о', 'б_н_а', 'р_у_ж', 'и_л_а', ',', ' ', 'ч_т_о', ' _х_а_к_е_р', 'ы_ _и', 'з_ ', 'э_т_о', 'й_ _г', 'р_у_п', 'п_и', 'р_о_в', 'к_и_ ', 'и_с_п_о_л_ь', 'з_у', 'ю_т', ' _п_р_о', 'г_р_а_м_м', 'н_ы_е_ ', '«_з', 'а_к_л_а', 'д_к', 'и_»', ' _п_о', 'д', ' _н_а', 'з_в', 'а_н_и', 'е_м', ' _N_e_u_r', 'o_n', ' _и_ ', 'N_a', 'u_t', 'i_l', 'u_s', ',', ' _к_о', 'т_о_р', 'ы_е_ ', 'п_о_з', 'в_о', 'л_я', 'ю_т', ' _в_з', 'л_а_м', 'ы_в', 'а_т', 'ь_ _с', 'е_р_в_е', 'р_ы', ' _н_а', ' _п_л_а', 'т_ф', 'о_р', 'м_а', 'х_ _M', 'i_c', 'r_o', 's_o', 'f_t', ' _W', 'i_n', 'd_o', 'w_s', '.'], ['П_о', 'с_л', 'е_ _д_о', 'п_о_л', 'н_и', 'т_е', 'л_ь_н_о', 'г_о', ' _а_н', 'а_л', 'и_з', 'а_ _э', 'к_с', 'п_е_р', 'т_ы', ' _п_р', 'и_ш', 'л_и_ ', 'к_ _в', 'ы_в', 'о_д', 'у', ',', ' ', 'ч_т_о', ' _N_e_u_r', 'o_n', ' _и_ ', 'N_a', 'u_t', 'i_l', 'u_s', ' _—', ' _э', 'т_о_ _с', 'о_ф', 'т', ' _и', 'р_а_н', 'с_к_и_х_ _х', 'а_к_е_р', 'о_в_.'], ['П_р', 'и_ч', 'е_м', ' _с_а', 'м_и_ ', 'и', 'р_а_н', 'ц_ы', ',', ' _к_о', 'т_о_р', 'ы_е_ ', 'и_х_ _с', 'о_з', 'д_а', 'л_и_ ', 'и_ _и', 'с_п_о_л_ь_з', 'о_в_а', 'л_и', ',', ' ', '«_п_о', 'ч_т', 'и_ _н_а', 'в_е_р', 'н_я', 'к_а_ ', 'н_е_ ', 'з_н_а', 'л_и_ ', 'о_б', ' _и_с_п_о_л_ь', 'з_о_в', 'а_н_и', 'и_ _T', 'u_r_l', 'a_ _с', 'в_о', 'и_х_ _п', 'р_о_г', 'р_а_м', 'м_н_ы', 'х_ _з', 'а_к_л_а', 'д_о_к', ' _и_ ', 'н_е_ ', 'б_ы', 'л_и_ ', 'з_а', 'м_е_ш', 'а_н_ы', ' _в_ _и', 'х_ _и', 'с_п_о_л_ь_з', 'о_в', 'а_н_и', 'и_»', ',', ' _п_о', 'л_а_г_а_ю', 'т_ _в', ' _N_C_S', 'C_.'], ['С_н_а', 'ч_а', 'л_а', ' _р_о_с_с', 'и_я', 'н_е_ ', 'н_а_х', 'о_д', 'и', 'л_и_ ', 'с_е_р', 'в_е_р', 'ы', ',', ' _у', 'ж_е_ ', 'в_з', 'л_о_м', 'а_н_н_ы', 'е_ _и', 'р_а_н', 'ц_а', 'м_и', ',', ' _и_ ', 'б_р_а', 'л_и_ ', 'и_х_ _п', 'о_д', ' _с_о_б_с_т', 'в_е_н', 'н_ы_й_ ', 'к_о', 'н_т', 'р_о_л_ь', ',', ' _а_ ', 'п_о_т_о', 'м_ ', 'р_а_з', 'в_е_р', 'н_у', 'л_и_ ', 'ч_у', 'ж_о', 'й_ _х', 'а_к_е_р_с_к_и', 'й_ _и_н_с_т', 'р_у_м_е_н_т', 'а_р', 'и_й_ ', 'п_р_о', 'т_и', 'в', ' _н_о_в_ы', 'х_ _ж', 'е_р_т', 'в_.'], ['«_T', 'u_r_l', 'a_ _с', 'к', 'а_н_и', 'р_о_в', 'а_л_а', ' _с_е_р', 'в_е_р', 'ы_ ', 'н_а_ ', 'н_а_л', 'и_ч', 'и', 'е_ _и', 'р_а_н', 'с_к_и_х', ' _„', 'з_а_к', 'л_а_д_о', 'к_“', ' _и_ _п', 'ы_т', 'а_л_а', 'с_ь', ' _и_с_п_о_л_ь', 'з_о_в', 'а_т', 'ь_ _и', 'х_ _д', 'л_я', ' _у', 'к_р', 'е_п', 'л_е_н', 'и_я', ' _с_в', 'о_и_х', ' _п_о', 'з', 'и_ц', 'и_й', '.'], ['О_с', 'н_о_в', 'н_о_е_ ', 'и_х_ _в', 'н_и', 'м', 'а_н_и', 'е_ _п', 'р_и_ ', 'э_т_о', 'м_ ', 'б_ы', 'л', 'о_ _с', 'о_с', 'р_е', 'д_о_т_о', 'ч_е_н', 'о', ' _н_а', ' _Б', 'л_и', 'ж_н', 'е_м', ' _В', 'о_с_т', 'о_к', 'е_»', ',', ' _—', ' _г_о_в_о', 'р_и_т_с', 'я_ _в', ' _д_о_к_л_а', 'д_е', '.'], ['С_п', 'е_ц_с_л', 'у_ж', 'б_ы', ' _п_о', 'л_а_г_а_ю', 'т', ',', ' ', 'ч_т_о', ' _T', 'u_r_l', 'a_ _с', 'м', 'о_г', 'л_а_ _п', 'р_о_д', 'е_л_а', 'т_ь', ' _э', 'т_у', ' _р_а', 'б_о', 'т_у', ',', ' _в_з', 'л_о_м', 'а_в', ' _с_а', 'м_и_х', ' _и', 'р_а_н', 'с_к_и_х', ' _к_о', 'л_л', 'е_г', '.'], ['«_Ч', 'т_о_б', 'ы_ ', 'у_с_т_а_н_о_в', 'и_т', 'ь_ _с', 'в_я', 'з_ь', ' _с_ ', '„_з_а_к_л_а', 'д_к', 'а_м', 'и_“', ',', ' _T', 'u_r_l', 'a_ _д', 'о_л', 'ж_н_а', ' _б', 'ы_л_а', ' _и_м_е', 'т_ь', ' _д_о_с_т_у_п', ' _к_ _с', 'о', 'о_т', 'в_е_т', 'с_т_в', 'у_ю', 'щ_и', 'м_ _к', 'р_и', 'п_т_о', 'г_р_а', 'ф_и', 'ч_е', 'с_к_и', 'м_ _к', 'л_ю_ч_а', 'м_ _и', ',', ' _в', 'е_р', 'о_я', 'т_н_о', ',', ' _д_о_с_т_у_п', ' _к_ _к', 'о_н', 'т_р_о', 'л_и', 'р_у_ю', 'щ_е', 'м_у', ' _и_х_ ', 'п_р_о', 'г_р_а_м_м', 'н_о_м', 'у_ ', 'о_б', 'е_с', 'п_е', 'ч_е_н', 'и_ю', '»', ',', ' _—', ' _п_о', 'я_с', 'н_я', 'ю_т', ' _N_C_S', 'C_.'], ['Б_о', 'л_е', 'е_ _т_о', 'г_о', ',', ' _г', 'р_у_п', 'п_и', 'р_о_в', 'к_а_ ', 'и_с_п_о_л_ь', 'з_о_в', 'а_л_а', ' _в_ _к', 'а_ч', 'е_с_т', 'в_е_ _и', 'н_с_т_р_у_м_е', 'н_т', 'а_ _и', 'р_а_н', 'с_к_у', 'ю_ _с', 'е_т', 'е_в', 'у_ю', ' _и_н', 'ф_р_а', 'с_т_р_у', 'к_т', 'у_р_у', '.'], ['Н_а_ ', 'и', 'р_а_н', 'с_к_и_х', ' _с_е_р', 'в_е_р_а', 'х_ _T', 'u_r_l', 'a_ ', 'у_с_т_а_н_о_в', 'и_л_а', ' _с_о_б_с_т', 'в_е_н', 'н_ы_е_ ', 'з_а_к_л_а_д', 'к_и_ ', '—_ _и', ' _в_ ', 'р_е', 'з_у', 'л_ь_т', 'а_т', 'е_ _п_о', 'л_у', 'ч_и', 'л_а_ _д', 'о_с_т', 'у_п_ _к', ' _ф', 'а_й', 'л_а_м', ' _и', 'р_а_н', 'с_к_и_х_ _х', 'а_к_е_р', 'о_в', ',', ' _а_ ', 'т_а_к', 'ж_е_ ', '«_б', 'е_с', 'п_р', 'е_ц', 'е_д', 'е_н_т', 'н_у', 'ю_ ', 'о_с', 'в_е_д_о', 'м_л', 'е_н_н_о', 'с_т_ь', ' _о', ' ', 'т_а_к', 'т_и', 'к_е', ',', ' _м_е', 'т_о_д', 'а_х_ ', 'и_ _п', 'р_о_ц', 'е_д', 'у_р_а', 'х_ _и', 'р_а_н', 'с_к_и_х', ' _A', 'P_T', ',', ' _в', 'к_л', 'ю_ч', 'а_я', ' _с_п', 'и_с_к', 'и_ _ж', 'е_р_т', 'в_ _и', ' _у', 'ч_е', 'т_н_ы', 'е_ _д', 'а_н_н_ы', 'е_ _д', 'л_я', ' _д_о_с_т_у_п', 'а_ _к', ' _и_х_ ', 'и', 'н_ф_р_а_с_т', 'р_у_к_т_у', 'р_е_ ', '—_ ', 'а_ _т_а_к_ж', 'е_ _к', 'о_д', ',', ' ', 'н_е', 'о_б', 'х_о', 'д_и', 'м_ы', 'й_ _д', 'л_я', ' _с_о_з_д', 'а_н_и', 'я_ ', 'н_о_в', 'ы_х_ ', 'в_е_р', 'с_и', 'й_ _т', 'а_к_и_х', ' _и_н', 'с_т_р_у', 'м_е_н', 'т_о_в', ',', ' _к_а_к', ' _N_e_u_r', 'o_n', '»_.']]\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/gensim/models/phrases.py:598: UserWarning: For a faster implementation, use the gensim.models.phrases.Phraser class\n",
            "  warnings.warn(\"For a faster implementation, use the gensim.models.phrases.Phraser class\")\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Bzv1r5wjgFjM",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "phrases_input = phrases[vocab]\n",
        "for i in range(100):\n",
        "    phrases = Phrases(phrases_input, min_count=1, scoring='npmi', threshold=-1)\n",
        "    phrases_input = phrases[phrases_input]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Nw4G7FFOgGUI",
        "colab_type": "code",
        "outputId": "5aab1372-a239-4fdf-83c2-cdc8eda768d6",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 91
        }
      },
      "source": [
        "print(list(phrases[phrases_input]))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[['Н_а_ц_и_о_н_а_л_ь_н_ы_й_ _ц_е_н_т_р_ _к_и_б_е_р_б_е_з_о_п_а_с_н_о_с_т_и_ _В_е_л_и_к_о_б_р_и_т_а_н_и_и_ _(_N_C_S_C_)_ _о_п_у_б_л_и_к_о_в_а_л_ _р_е_з_у_л_ь_т_а_т_ы_ _и_с_с_л_е_д_о_в_а_н_и_я_,_ _п_р_о_в_е_д_е_н_н_о_г_о_ _с_о_в_м_е_с_т_н_о_ _с_ _А_г_е_н_т_с_т_в_о_м_ _н_а_ц_и_о_н_а_л_ь_н_о_й_ _б_е_з_о_п_а_с_н_о_с_т_и_ _С_Ш_А_.'], ['Д_о_к_л_а_д_ _п_о_с_в_я_щ_е_н_ _и_з_в_е_с_т_н_о_й_ _р_у_с_с_к_о_я_з_ы_ч_н_о_й_ _х_а_к_е_р_с_к_о_й_ _г_р_у_п_п_и_р_о_в_к_е_ _T_u_r_l_a_ _и_ _е_е_ _н_о_в_о_м_у_ _м_е_т_о_д_у_ _р_а_б_о_т_ы_ _—_ _о_н_а_ _п_р_о_н_и_к_л_а_ _в_ _и_н_ф_р_а_с_т_р_у_к_т_у_р_у_ _и_р_а_н_с_к_и_х_ _х_а_к_е_р_о_в_,_ _«_у_к_р_а_л_а_»_ _у_ _и_р_а_н_ц_е_в_ _д_о_с_т_у_п_ _к_ _в_з_л_о_м_а_н_н_ы_м_ _и_м_и_ _с_е_р_в_е_р_а_м_ _и_ _с_а_м_ _х_а_к_е_р_с_к_и_й_ _и_н_с_т_р_у_м_е_н_т_а_р_и_й_,_ _к_о_т_о_р_ы_й_ _т_е_п_е_р_ь_ _и_с_п_о_л_ь_з_у_е_т_ _в_ _с_о_б_с_т_в_е_н_н_ы_х_ _ц_е_л_я_х_.'], ['«_Г_р_у_п_п_а_ _T_u_r_l_a_,_ _т_а_к_ж_е_ _и_з_в_е_с_т_н_а_я_ _к_а_к_ _„_В_о_д_я_н_о_й_ _ж_у_к_“_ _и_ _„_Я_д_о_в_и_т_ы_й_ _м_е_д_в_е_д_ь_“_,_ _ш_и_р_о_к_о_ _и_з_в_е_с_т_н_а_ _к_а_к_ _г_р_у_п_п_а_,_ _с_в_я_з_а_н_н_а_я_ _с_ _с_и_л_а_м_и_ _и_з_ _Р_о_с_с_и_и_»_,_ _—_ _г_о_в_о_р_и_т_с_я_ _в_ _п_р_е_д_и_с_л_о_в_и_и_ _к_ _д_о_к_л_а_д_у_.'], ['О_н_а_ _з_а_н_и_м_а_е_т_с_я_ _в_з_л_о_м_о_м_ _п_р_а_в_и_т_е_л_ь_с_т_в_е_н_н_ы_х_,_ _в_о_е_н_н_ы_х_,_ _э_н_е_р_г_е_т_и_ч_е_с_к_и_х_ _и_ _д_р_у_г_и_х_ _о_р_г_а_н_и_з_а_ц_и_й_ _с_ _ц_е_л_ь_ю_ _с_б_о_р_а_ _д_а_н_н_ы_х_.'], ['Н_а_ _З_а_п_а_д_е_ _е_е_ _с_в_я_з_ы_в_а_ю_т_ _с_ _р_о_с_с_и_й_с_к_и_м_и_ _с_п_е_ц_с_л_у_ж_б_а_м_и_.'], ['Р_а_н_е_е_ _N_C_S_C_ _о_б_н_а_р_у_ж_и_л_а_,_ _ч_т_о_ _х_а_к_е_р_ы_ _и_з_ _э_т_о_й_ _г_р_у_п_п_и_р_о_в_к_и_ _и_с_п_о_л_ь_з_у_ю_т_ _п_р_о_г_р_а_м_м_н_ы_е_ _«_з_а_к_л_а_д_к_и_»_ _п_о_д_ _н_а_з_в_а_н_и_е_м_ _N_e_u_r_o_n_ _и_ _N_a_u_t_i_l_u_s_,_ _к_о_т_о_р_ы_е_ _п_о_з_в_о_л_я_ю_т_ _в_з_л_а_м_ы_в_а_т_ь_ _с_е_р_в_е_р_ы_ _н_а_ _п_л_а_т_ф_о_р_м_а_х_ _M_i_c_r_o_s_o_f_t_ _W_i_n_d_o_w_s_.'], ['П_о_с_л_е_ _д_о_п_о_л_н_и_т_е_л_ь_н_о_г_о_ _а_н_а_л_и_з_а_ _э_к_с_п_е_р_т_ы_ _п_р_и_ш_л_и_ _к_ _в_ы_в_о_д_у_,_ _ч_т_о_ _N_e_u_r_o_n_ _и_ _N_a_u_t_i_l_u_s_ _—_ _э_т_о_ _с_о_ф_т_ _и_р_а_н_с_к_и_х_ _х_а_к_е_р_о_в_.'], ['П_р_и_ч_е_м_ _с_а_м_и_ _и_р_а_н_ц_ы_,_ _к_о_т_о_р_ы_е_ _и_х_ _с_о_з_д_а_л_и_ _и_ _и_с_п_о_л_ь_з_о_в_а_л_и_,_ _«_п_о_ч_т_и_ _н_а_в_е_р_н_я_к_а_ _н_е_ _з_н_а_л_и_ _о_б_ _и_с_п_о_л_ь_з_о_в_а_н_и_и_ _T_u_r_l_a_ _с_в_о_и_х_ _п_р_о_г_р_а_м_м_н_ы_х_ _з_а_к_л_а_д_о_к_ _и_ _н_е_ _б_ы_л_и_ _з_а_м_е_ш_а_н_ы_ _в_ _и_х_ _и_с_п_о_л_ь_з_о_в_а_н_и_и_»_,_ _п_о_л_а_г_а_ю_т_ _в_ _N_C_S_C_.'], ['С_н_а_ч_а_л_а_ _р_о_с_с_и_я_н_е_ _н_а_х_о_д_и_л_и_ _с_е_р_в_е_р_ы_,_ _у_ж_е_ _в_з_л_о_м_а_н_н_ы_е_ _и_р_а_н_ц_а_м_и_,_ _и_ _б_р_а_л_и_ _и_х_ _п_о_д_ _с_о_б_с_т_в_е_н_н_ы_й_ _к_о_н_т_р_о_л_ь_,_ _а_ _п_о_т_о_м_ _р_а_з_в_е_р_н_у_л_и_ _ч_у_ж_о_й_ _х_а_к_е_р_с_к_и_й_ _и_н_с_т_р_у_м_е_н_т_а_р_и_й_ _п_р_о_т_и_в_ _н_о_в_ы_х_ _ж_е_р_т_в_.'], ['«_T_u_r_l_a_ _с_к_а_н_и_р_о_в_а_л_а_ _с_е_р_в_е_р_ы_ _н_а_ _н_а_л_и_ч_и_е_ _и_р_а_н_с_к_и_х_ _„_з_а_к_л_а_д_о_к_“_ _и_ _п_ы_т_а_л_а_с_ь_ _и_с_п_о_л_ь_з_о_в_а_т_ь_ _и_х_ _д_л_я_ _у_к_р_е_п_л_е_н_и_я_ _с_в_о_и_х_ _п_о_з_и_ц_и_й_.'], ['О_с_н_о_в_н_о_е_ _и_х_ _в_н_и_м_а_н_и_е_ _п_р_и_ _э_т_о_м_ _б_ы_л_о_ _с_о_с_р_е_д_о_т_о_ч_е_н_о_ _н_а_ _Б_л_и_ж_н_е_м_ _В_о_с_т_о_к_е_»_,_ _—_ _г_о_в_о_р_и_т_с_я_ _в_ _д_о_к_л_а_д_е_.'], ['С_п_е_ц_с_л_у_ж_б_ы_ _п_о_л_а_г_а_ю_т_,_ _ч_т_о_ _T_u_r_l_a_ _с_м_о_г_л_а_ _п_р_о_д_е_л_а_т_ь_ _э_т_у_ _р_а_б_о_т_у_,_ _в_з_л_о_м_а_в_ _с_а_м_и_х_ _и_р_а_н_с_к_и_х_ _к_о_л_л_е_г_.'], ['«_Ч_т_о_б_ы_ _у_с_т_а_н_о_в_и_т_ь_ _с_в_я_з_ь_ _с_ _„_з_а_к_л_а_д_к_а_м_и_“_,_ _T_u_r_l_a_ _д_о_л_ж_н_а_ _б_ы_л_а_ _и_м_е_т_ь_ _д_о_с_т_у_п_ _к_ _с_о_о_т_в_е_т_с_т_в_у_ю_щ_и_м_ _к_р_и_п_т_о_г_р_а_ф_и_ч_е_с_к_и_м_ _к_л_ю_ч_а_м_ _и_,_ _в_е_р_о_я_т_н_о_,_ _д_о_с_т_у_п_ _к_ _к_о_н_т_р_о_л_и_р_у_ю_щ_е_м_у_ _и_х_ _п_р_о_г_р_а_м_м_н_о_м_у_ _о_б_е_с_п_е_ч_е_н_и_ю_»_,_ _—_ _п_о_я_с_н_я_ю_т_ _N_C_S_C_.'], ['Б_о_л_е_е_ _т_о_г_о_,_ _г_р_у_п_п_и_р_о_в_к_а_ _и_с_п_о_л_ь_з_о_в_а_л_а_ _в_ _к_а_ч_е_с_т_в_е_ _и_н_с_т_р_у_м_е_н_т_а_ _и_р_а_н_с_к_у_ю_ _с_е_т_е_в_у_ю_ _и_н_ф_р_а_с_т_р_у_к_т_у_р_у_.'], ['Н_а_ _и_р_а_н_с_к_и_х_ _с_е_р_в_е_р_а_х_ _T_u_r_l_a_ _у_с_т_а_н_о_в_и_л_а_ _с_о_б_с_т_в_е_н_н_ы_е_ _з_а_к_л_а_д_к_и_ _—_ _и_ _в_ _р_е_з_у_л_ь_т_а_т_е_ _п_о_л_у_ч_и_л_а_ _д_о_с_т_у_п_ _к_ _ф_а_й_л_а_м_ _и_р_а_н_с_к_и_х_ _х_а_к_е_р_о_в_,_ _а_ _т_а_к_ж_е_ _«_б_е_с_п_р_е_ц_е_д_е_н_т_н_у_ю_ _о_с_в_е_д_о_м_л_е_н_н_о_с_т_ь_ _о_ _т_а_к_т_и_к_е_,_ _м_е_т_о_д_а_х_ _и_ _п_р_о_ц_е_д_у_р_а_х_ _и_р_а_н_с_к_и_х_ _A_P_T_,_ _в_к_л_ю_ч_а_я_ _с_п_и_с_к_и_ _ж_е_р_т_в_ _и_ _у_ч_е_т_н_ы_е_ _д_а_н_н_ы_е_ _д_л_я_ _д_о_с_т_у_п_а_ _к_ _и_х_ _и_н_ф_р_а_с_т_р_у_к_т_у_р_е_ _—_ _а_ _т_а_к_ж_е_ _к_о_д_,_ _н_е_о_б_х_о_д_и_м_ы_й_ _д_л_я_ _с_о_з_д_а_н_и_я_ _н_о_в_ы_х_ _в_е_р_с_и_й_ _т_а_к_и_х_ _и_н_с_т_р_у_м_е_н_т_о_в_,_ _к_а_к_ _N_e_u_r_o_n_»_.']]\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/gensim/models/phrases.py:598: UserWarning: For a faster implementation, use the gensim.models.phrases.Phraser class\n",
            "  warnings.warn(\"For a faster implementation, use the gensim.models.phrases.Phraser class\")\n"
          ],
          "name": "stderr"
        }
      ]
    }
  ]
}