br_fake_news_embeddings.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "br_fake_news_detection.ipynb",
      "provenance": [],
      "authorship_tag": "ABX9TyPE6XW2qMZeAGpw9oTdalr9",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/Talendar/br_fake_news_detection/blob/main/br_fake_news_detection.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "x4mHP2h67TNN"
      },
      "source": [
        "# Fake News Detection\n",
        "\n",
        "In this notebook, we'll use *deep learning* to classify texts written in Brazilian Portuguese as true or fake. The *corpus* used was created by NILC researches and is available [here](https://github.com/roneysco/Fake.br-Corpus). Let's start by downloading the data directly from GitHub."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jE-6bkw0Yks3",
        "outputId": "16a9a0f2-fc0e-43a6-cd16-6d96e97e96b7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "!git clone https://github.com/roneysco/Fake.br-Corpus\n",
        "DATA_PATH = \"./Fake.br-Corpus/size_normalized_texts\""
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "fatal: destination path 'Fake.br-Corpus' already exists and is not an empty directory.\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "48n43eJVYrP1"
      },
      "source": [
        "Dealing with the project's dependencies:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xqjGIQgVjyOz"
      },
      "source": [
        "import warnings\n",
        "warnings.filterwarnings(action='once')\n",
        "\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import os\n",
        "import re\n",
        "import zipfile\n",
        "\n",
        "%tensorflow_version 2.x\n",
        "import tensorflow as tf\n",
        "from sklearn.utils import shuffle\n",
        "\n",
        "from tensorflow.keras.callbacks import Callback\n",
        "from IPython.display import clear_output\n",
        "from gensim.models import KeyedVectors\n",
        "\n",
        "import nltk\n",
        "nltk.download('stopwords')\n",
        "nltk.download('punkt')\n",
        "nltk.download('rslp')\n",
        "\n",
        "# this class will be used later on\n",
        "class ClearCallback(Callback):\n",
        "    \"\"\" Handles the cleaning of the log during the training of a model. \"\"\"\n",
        "\n",
        "    def __init__(self, current_k, total_k):\n",
        "        self._current_k = current_k\n",
        "        self._total_k = total_k\n",
        "\n",
        "    def on_epoch_end(self, epoch, logs=None):\n",
        "        \"\"\" Clears the log. Called when a training epoch ends. \"\"\"\n",
        "        clear_output(wait=True)\n",
        "        print(\"Running %d-folds cross-validation. Current fold: %d.\\n\" % (self._total_k, self._current_k))"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "u7OAYYqsFCWL"
      },
      "source": [
        "TO_DO: Load and explore data"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xXDnyaoZBQc4",
        "outputId": "be0fd655-7d12-4b05-c98b-41b5bf636448",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 419
        }
      },
      "source": [
        "def load_txts(path):\n",
        "    txts = []\n",
        "    for filename in sorted(os.listdir(path), key=lambda x: int(re.match(\"[0-9]+\", x).group())):\n",
        "        with open(os.path.join(path, filename)) as f:\n",
        "            txts.append(f.read())\n",
        "    return txts\n",
        "\n",
        "\n",
        "true_txts = load_txts(os.path.join(DATA_PATH, \"true\"))\n",
        "fake_txts = load_txts(os.path.join(DATA_PATH, \"fake\"))\n",
        "assert(len(true_txts) == len(fake_txts))\n",
        "\n",
        "data = pd.DataFrame( [{\"text\": t, \"label\": 0} for t in true_txts] + [{\"text\": f, \"label\": 1} for f in fake_txts] ).sample(frac=1)\n",
        "%xdel true_txts\n",
        "%xdel fake_txts\n",
        "\n",
        "pd.set_option('max_colwidth', 200)\n",
        "data"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>label</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>1097</th>\n",
              "      <td>Temer faz viagem oficial para Rússia e Noruega; Maia assume Presidência. Presidente vai participar de reuniões com autoridades da Rússia e da Noruega. Em entrevista, Joesley Batista afirmou que Te...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3098</th>\n",
              "      <td>STF recebe primeira ação popular contra nomeação de Lula à Casa Civil. Residente de Jaguariúna, em São Paulo, grupo alega que Dilma cometeu abuso de poder ao nomear o ex-presidente para ministro-c...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4959</th>\n",
              "      <td>Lula, Dilma e FHC aparecem na lista de Janot e serão investigados. Detalhe: eles não têm foro!.  FHC, Lula e Dilma foram citados na lista do PGR, Rodrigo Janot.  Os casos serão investigados por in...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2813</th>\n",
              "      <td>Quarta-feira, 11 de outubro de 2017. Boa noite! Aqui estão as principais notícias para você terminar o dia bem-informado. Em uma sessão bastante tumultuada e marcada por bastante discordância sobr...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6782</th>\n",
              "      <td>Em 1 ano,  número de desempregados aumenta 41, 5%.  Na comparação com o mesmo período de 2014,  o aumento foi de 41, 5%,  com 2, 7 milhões de desempregados a mais,  segundo o IBGE (Instituto Brasi...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>454</th>\n",
              "      <td>Quem foi Giordano Bruno, o místico visionário queimado na fogueira há 418 anos. De temperamento rebelde e contestador, ele não seria considerado um cientista nos moldes atuais - mas defendeu teori...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2322</th>\n",
              "      <td>Formalmente longe do Senado, desde 1º de fevereiro de 2015, após não ser reeleito para outro mandato na Casa em 2014, Gim Argello (PTB-DF) acompanhava dos bastidores as movimentações do Congresso....</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6997</th>\n",
              "      <td>O ANTAGONISTA: Dilma usa agência estatal (sustentada com dinheiro público) para espionar o vice Michel Temer. .  A mando do ministro da Secretaria de Governo,  o governo federal está espionando,  ...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3806</th>\n",
              "      <td>Líder do PT, Gleise Homann promete \"detonar\" Sergio Moro. E como sempre o PT nos surpreendendo mais uma vez, a bancada escolheu nesta\\nquarta-feira (8), Gleisi Hoffmann para assumir o posto de líd...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>176</th>\n",
              "      <td>Advogado de Crespo defendeu Tiririca em investigação sobre analfabetismo Ricardo Vita Porto representa o prefeito de Sorocaba na sessão extraordinária que vota o pedido de cassação feito pela Comi...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>7200 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                                                                                                                                         text  label\n",
              "1097  Temer faz viagem oficial para Rússia e Noruega; Maia assume Presidência. Presidente vai participar de reuniões com autoridades da Rússia e da Noruega. Em entrevista, Joesley Batista afirmou que Te...      0\n",
              "3098  STF recebe primeira ação popular contra nomeação de Lula à Casa Civil. Residente de Jaguariúna, em São Paulo, grupo alega que Dilma cometeu abuso de poder ao nomear o ex-presidente para ministro-c...      0\n",
              "4959  Lula, Dilma e FHC aparecem na lista de Janot e serão investigados. Detalhe: eles não têm foro!.  FHC, Lula e Dilma foram citados na lista do PGR, Rodrigo Janot.  Os casos serão investigados por in...      1\n",
              "2813  Quarta-feira, 11 de outubro de 2017. Boa noite! Aqui estão as principais notícias para você terminar o dia bem-informado. Em uma sessão bastante tumultuada e marcada por bastante discordância sobr...      0\n",
              "6782  Em 1 ano,  número de desempregados aumenta 41, 5%.  Na comparação com o mesmo período de 2014,  o aumento foi de 41, 5%,  com 2, 7 milhões de desempregados a mais,  segundo o IBGE (Instituto Brasi...      1\n",
              "...                                                                                                                                                                                                       ...    ...\n",
              "454   Quem foi Giordano Bruno, o místico visionário queimado na fogueira há 418 anos. De temperamento rebelde e contestador, ele não seria considerado um cientista nos moldes atuais - mas defendeu teori...      0\n",
              "2322  Formalmente longe do Senado, desde 1º de fevereiro de 2015, após não ser reeleito para outro mandato na Casa em 2014, Gim Argello (PTB-DF) acompanhava dos bastidores as movimentações do Congresso....      0\n",
              "6997  O ANTAGONISTA: Dilma usa agência estatal (sustentada com dinheiro público) para espionar o vice Michel Temer. .  A mando do ministro da Secretaria de Governo,  o governo federal está espionando,  ...      1\n",
              "3806  Líder do PT, Gleise Homann promete \"detonar\" Sergio Moro. E como sempre o PT nos surpreendendo mais uma vez, a bancada escolheu nesta\\nquarta-feira (8), Gleisi Hoffmann para assumir o posto de líd...      1\n",
              "176   Advogado de Crespo defendeu Tiririca em investigação sobre analfabetismo Ricardo Vita Porto representa o prefeito de Sorocaba na sessão extraordinária que vota o pedido de cassação feito pela Comi...      0\n",
              "\n",
              "[7200 rows x 2 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 4
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9RTUm-YNoKU8"
      },
      "source": [
        "# BAG-OF-WORDS"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4-TfcLz2n_qJ"
      },
      "source": [
        "import string\n",
        "from sklearn.feature_extraction.text import CountVectorizer\n",
        "\n",
        "STOPWORDS = nltk.corpus.stopwords.words('portuguese')\n",
        "STEMMER = nltk.stem.RSLPStemmer()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "JYTNTVKxl-Mp",
        "outputId": "d4b7df3a-a097-4201-c292-21df3faf72bc",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 436
        }
      },
      "source": [
        "def normalize_texts(corpus, stem):\n",
        "    processed_texts = []\n",
        "    counter = 0\n",
        "    for i, row in corpus.iterrows():\n",
        "        clear_output(wait=True)\n",
        "        print(\"[%.2f%%] Processing text %d of %d.\" % (100*(counter+1)/len(corpus), counter+1, len(corpus)))\n",
        "        counter += 1\n",
        "        \n",
        "        text = \" \".join( [   \n",
        "                (w if not stem else STEMMER.stem(w)) \n",
        "                    for w in nltk.tokenize.word_tokenize(row[\"text\"]) if w not in STOPWORDS and w not in string.punctuation\n",
        "        ] )\n",
        "        processed_texts.append({\"text\": text, \"label\": row[\"label\"]})\n",
        "    return pd.DataFrame(processed_texts)\n",
        "\n",
        "norm_data = normalize_texts(data, stem=True)\n",
        "norm_data"
      ],
      "execution_count": 132,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "[99.99%] Processing text 7200 of 7200.\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>label</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>após denúnc vej irmã aéci publ víde chor `` vam prov ment '' após ser denunci matér revist vej nest fim seman sen aéci nev mostr indign acus receb de acord revist benedict juni execu odebrecht afi...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>quatr pesso fic fer acid carr caminh br-376 motor automó sofr fer grav resgat helicópter samu nest terça-f 23 em sarand carr peg fog mandaguaçu ônibu escol bat contr mot quatr pesso fic fer acid c...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>mor aceit denúnc contr lul outr 12 cas envolv síti atiba segund força-taref lav jat empreit odebrecht oa compr pag melh síti form propin ex-presid o juiz sérgi mor aceit nest terça-f 1º denúnc con...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>reun urgent for sp dilm cheg capit paul encontr lul a presid futur ex-presid dilm rousseff ness tard dest são paul encontr lul dilm vai hosped hotel renaissanc ond far encontr `` secret '' ... tão...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>no prim dia 2017 antig próx espírit sant orelh michel miguel eli tem lul deu-lh conselh chef ent parec promis com alç massacr result 56 mort complex penitenci anísi jobim manau am dev faz part pre...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7195</th>\n",
              "      <td>um corr seguranç arm divid gabinet juiz sérgi mor sal audi segund and edifíci justiç feder curitib uma câm acopl comput registr prim depo açã penal luiz ináci lul silv réu acus receb r 3,7 milhã o...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7196</th>\n",
              "      <td>os rela propost pod alter sistem eleitor brasil próx ele admit óbvi ont dur “ fórum estad – reform polít debat ” realiz parc centr lideranç públic discuss send feit congress pan fund inter parlame...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7197</th>\n",
              "      <td>evandr mesquit protest cham sen verm `` quer cal sérgi mor '' ao ver problem polít econôm brasil mesquit mostr artist poli mantém anten lig real o at can declar ser contr trup sen petist formaliz ...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7198</th>\n",
              "      <td>investig mostr real caus alt preç pedági paran diz procur lav jat 48ª fas deflagr nest quinta-f 22 seil pesso pres o procur minist públic feder mpf carl fern sant lim afirm manhã dest quinta-f 22 ...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7199</th>\n",
              "      <td>de acord pf fatur r 2 5 milhã faz `` crtl+c '' `` crtl+v '' sit wikipéd o pf investig negóci filh lul luil cláudi lul silv apont base `` mer reproduç conteúd dispon `` internet `` específ sit wiki...</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>7200 rows × 2 columns</p>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                                                                                                                                         text  label\n",
              "0     após denúnc vej irmã aéci publ víde chor `` vam prov ment '' após ser denunci matér revist vej nest fim seman sen aéci nev mostr indign acus receb de acord revist benedict juni execu odebrecht afi...      1\n",
              "1     quatr pesso fic fer acid carr caminh br-376 motor automó sofr fer grav resgat helicópter samu nest terça-f 23 em sarand carr peg fog mandaguaçu ônibu escol bat contr mot quatr pesso fic fer acid c...      0\n",
              "2     mor aceit denúnc contr lul outr 12 cas envolv síti atiba segund força-taref lav jat empreit odebrecht oa compr pag melh síti form propin ex-presid o juiz sérgi mor aceit nest terça-f 1º denúnc con...      0\n",
              "3     reun urgent for sp dilm cheg capit paul encontr lul a presid futur ex-presid dilm rousseff ness tard dest são paul encontr lul dilm vai hosped hotel renaissanc ond far encontr `` secret '' ... tão...      1\n",
              "4     no prim dia 2017 antig próx espírit sant orelh michel miguel eli tem lul deu-lh conselh chef ent parec promis com alç massacr result 56 mort complex penitenci anísi jobim manau am dev faz part pre...      0\n",
              "...                                                                                                                                                                                                       ...    ...\n",
              "7195  um corr seguranç arm divid gabinet juiz sérgi mor sal audi segund and edifíci justiç feder curitib uma câm acopl comput registr prim depo açã penal luiz ináci lul silv réu acus receb r 3,7 milhã o...      0\n",
              "7196  os rela propost pod alter sistem eleitor brasil próx ele admit óbvi ont dur “ fórum estad – reform polít debat ” realiz parc centr lideranç públic discuss send feit congress pan fund inter parlame...      0\n",
              "7197  evandr mesquit protest cham sen verm `` quer cal sérgi mor '' ao ver problem polít econôm brasil mesquit mostr artist poli mantém anten lig real o at can declar ser contr trup sen petist formaliz ...      1\n",
              "7198  investig mostr real caus alt preç pedági paran diz procur lav jat 48ª fas deflagr nest quinta-f 22 seil pesso pres o procur minist públic feder mpf carl fern sant lim afirm manhã dest quinta-f 22 ...      0\n",
              "7199  de acord pf fatur r 2 5 milhã faz `` crtl+c '' `` crtl+v '' sit wikipéd o pf investig negóci filh lul luil cláudi lul silv apont base `` mer reproduç conteúd dispon `` internet `` específ sit wiki...      1\n",
              "\n",
              "[7200 rows x 2 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 132
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "n4e4fDFOQUWp",
        "outputId": "6cbbbbce-4568-4b43-ba9b-7909d0cdced6",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 153
        }
      },
      "source": [
        "# k-fold cross-validation\n",
        "k = 10\n",
        "folds = np.split(norm_data.sample(frac=1), k)\n",
        "\n",
        "accuracies = []\n",
        "for i in range(len(folds)):\n",
        "    # separating data\n",
        "    test_data, test_labels = folds[i][\"text\"].values, folds[i][\"label\"].values\n",
        "    training_data = np.concatenate( [folds[j][\"text\"].values for j in range(len(folds)) if j != i] )\n",
        "    training_labels = np.concatenate( [folds[j][\"label\"].values for j in range(len(folds)) if j != i] )\n",
        "\n",
        "    # extracting features\n",
        "    vectorizer = CountVectorizer(max_features=1000)\n",
        "    training_data = vectorizer.fit_transform(training_data).toarray()  # fit the vectorizer to the training corpus\n",
        "    test_data = vectorizer.transform(test_data).toarray()  # words of the test corpus that don't appear in the training corpus will be ignored!\n",
        "\n",
        "    # preparing model\n",
        "    model = tf.keras.Sequential([\n",
        "        tf.keras.layers.Dense(32, activation=\"relu\", kernel_regularizer=tf.keras.regularizers.l2(1e-3)),\n",
        "        tf.keras.layers.Dense(1, activation=\"sigmoid\")\n",
        "    ])\n",
        "    model.compile(loss=\"binary_crossentropy\",\n",
        "                  optimizer=tf.keras.optimizers.Adam(1e-3),\n",
        "                  metrics=[\"accuracy\"])\n",
        "    \n",
        "    # training\n",
        "    model.fit(training_data, training_labels, epochs=50, \n",
        "              validation_data=(test_data, test_labels), \n",
        "              callbacks=[ClearCallback(i + 1, k)])\n",
        "    \n",
        "    # evaluating\n",
        "    loss, acc = model.evaluate(test_data, test_labels)\n",
        "    accuracies.append(acc)\n",
        "\n",
        "clear_output(wait=True)\n",
        "print(\"\\n Cross-validation finished! Results:\")\n",
        "print(\" . Mean accuracy: %.2f%%\" % (100*np.mean(accuracies)))\n",
        "print(\" . Accuracies std: %.2f%%\" % (100*np.std(accuracies)))"
      ],
      "execution_count": 179,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Running 10-folds cross-validation. Current fold: 10.\n",
            "\n",
            "203/203 [==============================] - 0s 2ms/step - loss: 0.0416 - accuracy: 1.0000 - val_loss: 0.3830 - val_accuracy: 0.8958\n",
            "23/23 [==============================] - 0s 1ms/step - loss: 0.3830 - accuracy: 0.8958\n",
            "\n",
            " Cross-validation finished! Results:\n",
            " . Mean accuracy: 88.65\n",
            " . Accuracies std: 1.61\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "k7aUVc5Wy9ID"
      },
      "source": [
        "# WORD EMBEDDINGS #"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DC5drzH1Vq_z"
      },
      "source": [
        "WVECTORS_LEN = 100  # dimenson of the word embeddings\n",
        "MAX_TEXT_TOKENS = 200"
      ],
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "832MEJTbVabB"
      },
      "source": [
        "OPTION 1: download vectors"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZGp9L0XM7-X4"
      },
      "source": [
        "# downloading vectors\n",
        "if (\"glove_s%d.zip\" % WVECTORS_LEN) not in os.listdir():\n",
        "    !wget -O {\"glove_s%d.zip\" % WVECTORS_LEN} {\"http://143.107.183.175:22980/download.php?file=embeddings/glove/glove_s%d.zip\" % WVECTORS_LEN}\n",
        "\n",
        "if (\"glove_s%d.txt\" % WVECTORS_LEN) not in os.listdir():\n",
        "    with zipfile.ZipFile(\"glove_s%d.zip\" % WVECTORS_LEN, 'r') as zip_ref:\n",
        "        zip_ref.extractall()\n",
        "\n",
        "wv_pathname = \"glove_s%d.txt\" % WVECTORS_LEN"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sgElaTlMVyen"
      },
      "source": [
        "OPTION 2: load vectors from drive"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tqDkyTJqVx55",
        "outputId": "6ee46a89-e18c-4137-824b-811a41d5de69",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "from google.colab import drive\n",
        "drive.mount('/content/gdrive', force_remount=True)\n",
        "\n",
        "wv_pathname = \"/content/gdrive/My Drive/Colab Notebooks//ml_data/glove_s%d.txt\" % WVECTORS_LEN"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Mounted at /content/gdrive\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "cGWFAYxdWV9I"
      },
      "source": [
        "Loading glove model (this might take a while)"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Cn8o6-GIzGF2"
      },
      "source": [
        "word_vectors = KeyedVectors.load_word2vec_format(wv_pathname)"
      ],
      "execution_count": 7,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "FeMg7k7gZO9N"
      },
      "source": [
        "Auxiliary functions:"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pJ4JaN6IZM_k"
      },
      "source": [
        "def vec_to_word(wv):\n",
        "    \"\"\"\n",
        "    Returns the closest word (string) to the given word vector. This is an \n",
        "    expensive operation.\n",
        "    \"\"\"\n",
        "    return word_vectors.most_similar(positive=[wv], topn=1)[0][0]\n",
        "\n",
        "\n",
        "def vecs_to_txt(wv_list):\n",
        "    \"\"\"\n",
        "    Receives a list of word vectors and returns a list of words corresponding to \n",
        "    each vector (one word per vector). This is an expensive operation.\n",
        "    \"\"\"\n",
        "    txt = []\n",
        "    for v in wv_list:\n",
        "        txt.append(vec_to_word(v))\n",
        "    return txt\n",
        "\n",
        "\n",
        "def txt_to_vecs(txt):\n",
        "    \"\"\"\n",
        "    Receives a list of tokens (words) and returns a numpy array with word vectors \n",
        "    corresponding to those tokens. If some word isn't found in the vocabulary, \n",
        "    it will be ignored.\n",
        "    \"\"\"\n",
        "    vecs, ignored = [], []\n",
        "    for word in txt:\n",
        "        try:\n",
        "            v = word_vectors[word]\n",
        "            vecs.append(v)\n",
        "        except KeyError:\n",
        "            ignored.append(word)\n",
        "    return np.array(vecs), set(ignored)\n",
        "\n",
        "\n",
        "def pad(txts, mask_value):\n",
        "    \"\"\"\n",
        "    Pad sequences shorter than the max length seuquence using the given mask value.\n",
        "    \"\"\"\n",
        "    # find max len\n",
        "    max = 0\n",
        "    for t in txts:\n",
        "        max = len(t) if len(t) > max else max\n",
        "\n",
        "    # pad\n",
        "    for i, t in enumerate(txts):\n",
        "        if len(t) < max:\n",
        "            z = np.full(shape=(max - len(t) , WVECTORS_LEN), fill_value=mask_value)\n",
        "            txts[i] = np.concatenate((t, z))\n",
        "    \n",
        "    return np.array(txts)\n",
        "\n",
        "\n",
        "def build_wv_data(corpus, mask_value):\n",
        "    features, labels, ignored_tokens = [], [], []\n",
        "    count = 0\n",
        "\n",
        "    for i, row in corpus.iterrows():\n",
        "        print(\"[%.1f%%] Processing text %d of %d.\" % ( 100 * (count)/len(corpus), count+1, len(corpus) ))\n",
        "        count += 1\n",
        "\n",
        "        tokens = nltk.tokenize.word_tokenize(row[\"text\"].lower())\n",
        "        if len(tokens) > MAX_TEXT_TOKENS:\n",
        "            tokens = tokens[:MAX_TEXT_TOKENS]\n",
        "\n",
        "        vecs, ign = txt_to_vecs( tokens )\n",
        "        features.append(vecs)\n",
        "        labels.append(row[\"label\"])\n",
        "\n",
        "        ignored_tokens += ign\n",
        "        clear_output(wait=True)\n",
        "\n",
        "    print(\"Padding texts...\")\n",
        "    return pad(features, mask_value), np.array(labels), \\\n",
        "           set(ignored_tokens)"
      ],
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Rn91LPP-e9ps",
        "outputId": "7d03d393-b1b2-4be0-ddb4-4d152d3aefa0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 122
        }
      },
      "source": [
        "MASK_VALUE = -0.123  # value to be used for the masking procedure (ignore padding)\n",
        "\n",
        "wv_data, wv_labels, ignored_tokens = build_wv_data(corpus=data, mask_value=MASK_VALUE)\n",
        "print(\"All texts processed! \\nIgnored tokens (unique): %d\\n\" % len(ignored_tokens))\n",
        "print(ignored_tokens)\n",
        "\n",
        "# freeing memory\n",
        "%xdel data\n",
        "%xdel word_vectors"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Padding texts...\n",
            "All texts processed! \n",
            "Ignored tokens (unique): 5083\n",
            "\n",
            "{'2015..', '5h', '23,6', 'flynn..', 'empreiteira..', '12,4', '9h30', 'gordofóbico', '499', \"'erotização\", '21/6', 'instituição..', 'almeida..', \"'quadrilhão\", 'larissa*', 'lamounir', '46,7', '21/03/16', '16,6', 'sáb.', '9ª', '2012/2013', \"'intolerantes\", 'baeta-', '256', '24/11', 'serveli', 'marcarenhas', '242', '12h03', '–o', 'buzfeed', '9h21', 'moro..', 'kevinho', '6h15', 'anticorrupção..', '1000', '587', 'partido-to', '163', '802', '440', 'fauso', '51.041.155', \"'irmãos\", '54', '2003/2010', \"''o\", 'f-15', 'hospital..', 'veiazinha', 'ereições', '166', 'digitaldub', 'prostar', 'adicionais..', 'f-35', 'oirunda', 'delegada..', '10°', '220', 'cravas-me', '761', '6ª', 'justiç', 'klintsevich', 'empresários..', '19.946', '28ª', 'andú', 'storyful', '971', '11/10', 'cag**', '233', '8,732', 'iniciou.', 'atibaia.', 'nome..', 'adequado..', 'bem-informado..', '1,59', \"'bandido\", 'trf4', '409/2016', 'www.livemocha.com', 'expuseram-lhe', 'sheherezade', 'verdade1', 'empapuçam', 'traquinos', \"político'..\", '22,4', '299', '2,45', 'pay-perview', 'r7', 'tanksgiving', '65ºc', '1991.', 'imóvel..', '4325/df', 'pixulequinhos', '464', 'político..', 'gatchenhas', 'trf-4..', '111', 'bukchang', 'berbat', 'so-so-sorry', 'crescer..', 'reestudou', '3,49', 'licitação..', '1985', 'bolsonaro..', '3564-2015', 'ex-nministro', '1918', 'piscina..', '90210', '20h20', 'veritasium', 'rodrimar', 'gópi', '138', 'ogiva..', 'kyungnam', 'birigui/sp', '46,8', 'condenadas..', 'negativo..', '2007', '2009es', 'caguaripano', '21:30', 'sc..', 'junho..', '73', 'fevereiro/2016', 'gbu-43b', 'trollou', 'sábado..', 'morofobia', '9,3', 'sigla..', '10h25', '8,00', 'concurso.não', 'b-2', '270.000', '14/04/2017', '132', 'chebar', 'crianças*', 'provilegiado', 'passada..', 'ak-47', 'projeto-mamute', '–mas', '23h57', 'psl-rj', 'química..', 'bh/mg', '182.833', '254', \"'governo\", 'gutembergue', 'justiça..', '12:58h', 'super-míssil', '1.800', 'disputa..', 'mundo..', 'intimação/notificação', '13h20', '83', 'sd/pa', '83,6', 'atômica.', '37.626', 'aeronaves..', 'privilegiadona', 'campo..', 'mulher.não', 'g3', 'empresinha', '2016', '1.522.700,00.', 'diariamente..', 'colo..', '5.', 'utsch', 'funda..', '276', 'liminar..', 'paraty-rj', 'réflechir', '5.500', '4,9', 'nãovaiterposse', '241', 'gibaum', '12292', '164', '08/06', 'afanaram', '68,25', 'retaliá-lo', '01/02/2011', '11/10/16', '1964.', '679', '1920', 'ferido..', 'francisca..', 'vacareza', 'xavequeiro', 'empreiras', 'reportagtem', 'cunha..', 'gordofóbicas', '10.', '85.º', \"'conclamar\", 'artes/sp', '1,02', '50,2', 'cinzas..', 'cx2', 'drogas..', 'g1.com.br', 'ba2', '15h', '16.633.510', 'haleu', '1914.', '160.', '17h45', 'grampos.caiu', 'judiciário..', 'vago.dilma', \"'desfia\", '3,4', '200', '6/3', 'gabhy', '1942-2011', 'mattis..', 'efesa', '19', 'automutilou', '2020.', 'dilmárvore', '630', '2,2', 'feito..', '1975', 'objetivo..', 'mantido..', '07/07/2017', '.45', 'shutz', 'criminoso..', '+++juristas', '92', 'rt.com', '2.100', '500.000,00', '81', '1957', '7/1', 'sírio..', 'dafolha', 'eatual', '33.763.', 'yull', 'procederdes', 'cláudia..', '4371-7433', 'itamaraty..', '417', 'arrega', '1937', '150.000', 'bombagira', '648', '23.000.000', 'petrobras..', 'gringos…', 'moro.', 'status-6', 'negado..', 'intimações/notificações', '2011.', '25/11', 'xerifinho', '896.373', 'as350', '1,5ºc', '155', '42.', '60.', 'tremembé/spinformou', '17,3', '14ª', '810', 'cultural..', 'dinheiro..', 'diretas..', 'homs..', 'telecom.telemar', 'halderman', 'palhaços.', '819', 'superprivilégio', 'internet–', '215', 'devastador..', 'conflito..', '03/01/2017', '102,5', '7h30', '1901-1969', '1h40min', '2004.', '946', \"'plano\", '’', '6,5', 'míssil..', '324', 'pesitsa', '10h35', 'al-shayrat', '353', 'batagini', 'março/16', '24.', '533', 'lula/dilma', '1979', '3,3', 'putin..', '85', 'confidecialidade', 'poderosa..', 'bzd', 'propostas..', 'é.', 'edesceua', 'dpcumentos', 'neip', '14h50', 'sulicídio', 'taypá', 'endereçando-se', '35ª', 'baderneiros.', 'ibradd', 'colegas..', 'deequilibrar', '106/2015', 'governo..', '1969.', 'denúncias..', 'p-57', '1:50', '…', '15/04', '143', 'estudei.fiz', 'fenômeno..', 'comentam..', 'h1n1', 'república..', 'investigados..', 'assinte', 'a-320', 'cidade..', '05/2014', \"'temer\", 'câmeras..', '32º', '12,5', '5.570', '1891', '438', 'teresoca', '921', '399', 'existe..', 'mundo-bolívia', '10.905', '1140', 'dögg', '1983', '0,02', 'março..', 'coworkings', '306.718.743,71-', '1987', \"'visita\", '246', 'deferida.', 'terroristas..', '68', 'divisas..', '4.473', 'outros..', 'fortaleza.uma', 'regnaldo', \"'interesse\", '4.863', '1970.', '67,7', 'ajuda..', 'acidente..', 'junto..', 'remorosos', 'pasmaceiro', 'tipo..', \"'provas\", 'encerará', 'nutrends', 'radioacidentados', 'quisesse..', '151', '10/7', '+por', 'internadas..', '10lumbrada', \"maquiavélico'..\", 'joana*', 'disk-comida', 'reagiuaos', 'vigor..', 'degravado', 'inconsistentes..', 'pyeongannam-do', '3ºc', 'centros..', '29.', '5,1', '1848', '1936', '2009..', '30,40', '1.079/50', '47,7', 'ba3', 'psdsb', '50', 'transferência..', '14hs', 'detestarão', 'entregá-los..', 'atrasos..', \"'outsiders\", 'nacional..', '14:13:39', 'esplodiu', 'homolagada', 'gocerno', 'dele..', 'bragança/portugal', '30..', '2.824', '22,64', 'capoto/jarina', 'sanearão', '–já', '937..', '7,4', 'm4', 'pouso..', 'contrapartida..', '173', '04', '102,4', 'bilhões..', 'jovens..', '2017-2018..', 'galeão/rj', 'b-1b', '239', 'completa..', 'impedidos..', '6.800', 'período..', '5.114', 'marido..', 'rameh', 'moesmo', '18:51', 'videoconferência..', 'br-267', 'psd-ms', 'v=2hna07lphj0', 'recurso..', '937.', 'rodoban', 'esporte-mãe', '136,2', '15:00', 'sedimentasse', 'aujourd-hui', '95.', 'iscurê', '158', 'testemunho..', '17.', 'desembergadores', 'sanção..', '5/03', '6.000.000', 'magistado', '5.746', 'ramagem..', '6442/2016', '1911', '740', 'longe..', '112', 'brasileira..', 'brasília-tóquio', '280/2016', \"'vivíamos\", '13h12', '24,8', '103,8', '14h20', '165', '732', 'mudança..', 'byeok', 'dedobramento', 'imaginamos..', 'garanta-se', 'barê', 'região..', '11h12', 'microepidemia', 'bbb7', '11/03', '72ª', '418', 'gokul', 'manserv', 'irlanda..', '22.612', 'psd/sp', 'ertapenem', 'gianvechio', 'destrutivo..', '2000', '2.020', 'psd/rs', 'vista..', '245', '12.850/2013', 'sumarino', 'sindipol/es', 'gratavas', '10000.', '107,6', '1954.', '19/07', 'ogos', 'ouvintes..', '999', 'bancadas..', 'segunda-feira..', 'reforma..', 'tolir', 'g7', 'tvglobinhogay', '606', '36ª', '106', 'novembro..', 'aproximadamenter', 'tu-95h', '205', '4220', '123', '222', 'kumdang-2', 'noprédio', '188', 'eua/méxico', 'pdac', 'detentos..', 'órbita..', '18:00h', 'oinstituto', '22h29', '2:38', '2009', '586', 'família..', 'trump-hao', 'contratos..', 'confirmarda', 'noviski', 'expressar.', '1.020.500,00', '‘', '11h45', 'ex-procuradores-gerais', '12.292', '1,8', 'história..', 'myboy', 'aquino..', '1,80', 'ontinua', 'rozângela', 'santana..', 'molhadelas', '914', 'empresarial..', '29.372', '191', '77.836.731', 'rodwitt', '932,58.', 'juntos..', '23/5', 'ancelmo..', 'morta..', 'país.faremos', '7hs0m', 'x.', 'apequenar-se', 'acolhida..', '12', 'cullotes', 'recorrer..', 'civil/2011', 'desejos..', '9,13', '546', 'argumetou', '973', '55', 'retorcia-se', 'jugará', 'cãodidato', '17h', '8.429/92', 'pmdb/to', 'cachoeira..', 'lear-jets', 'megacidadania', 'londres-', 'superado—', 'salas-árvore', \"'canalha\", 'ministro-general', '983', '8.', 'agências/veja', '3,6', '606.727,12', 'pmdb/ro', 'avançasse.', '305', 'macronleaks', 'bandidos..', '1964-1985', '1,60', '1949', '51ª', 'abandidada', '1968.', 'kwang-jin', 'estadão/broadcast', 'fatores..', '682', '670', 'obtstrução', 'apoiá-los..', 'galtério', '288', '13.188/2015', 'cassali', 'lizon', '9h46', 'web..', '1824', '40', '250', 'sustentabilidade-ac', 'bashar-al', '445,6', '512', 'morrinhos..', 'adania', 'pr-go', 'rivais..', 'provas..', 'rattata', '41.', '241.', '14.', '2.999,00.', 'nukey', '18/11/2016', '20', 'césio-137', 'direito..', 'chorrillero', '69', 'lula-2018', 'apartamento..', 'funfir', '422.000', 'ex-deputado..', \"'pacto\", '1,00', 'precificam', '39', 'mg.', 'mundo-áfrica', 'viver…', '94', '20.jul', 'penitenciárias..', 'retrospetiva2017', \"'ação\", '125mil', 'cagauripano', 'casal..', '864', '82.', 'psdb/rr', 'atendende', '27.', '579,613', 'trumpovski', 'coirpus', 'saud..', \"'aliás\", 'mamatório', '921,22', 'newsau', '34ª', 'criminsosos..', 'bandeira..', '6,29', '532,9', 'apresentada..', 'bbb17', '1:04', '01/12/15', '103', 'psiquátrico', '950', '1.861', 'governamentais..', 'estadual..', 'jonnata', '2..', '22/01', '3º', '8:30', '*vídeo*', 'feminismoédoença', '5º', 'dissimulá-los', '463', '6.ª', 'assediando-os', 'imprensa..', '11.', 'lima..', '118', 'otoridades', '227', '48.ª', '32.758', 'ghabriela', '133', 'sr.fausto', 'alexandrismos', 'kitarovic', \"'bigodão\", 'carnavália-sambacon..', 'roniara', '1930', '308', '19.', 'guardas..', 'sul-americana..', 'kalmoe', '74,67', 'disposição..', \"'testar\", 'cerrado.', '3,11', 'shayrat', '213.', 'segunda-feira,6', '1.500', 'cantor..', 'crtl+v', 'trasveste', 'encontro..', '1/3', 'escalfoni', 'silício..', '50.000.000', '2013..', 'subfaturou', '2016.', 'ambos..', '–empresa', 'superindulto', 'informaçõa', '11h', '17h30m', '39ª', 'desaconselhados..', '1.465/2013', 'fugiram..', 't.', 'sho-hu', '2/3', '44.953', '14h15', 'espectro/fantasma', 'uss-727', '2.138', '58,4', 'noobguide', 'v6', '14/03', 'pirata..', 'pelegada', 'www.lula.com.br', 'gededel', \"'ano\", '1,25', 'schute', \"'relação\", 'apolo11', '13h40', 'l.', 'abanco', '42ª', '22.859', '5012331-04.2015.404.7000', 'loscar', '16.666', '141', 'lorotário', '1.123', 'precedentes..', '1941', '1964', 'inclusiva..', 'abaladíssimas', 'luzia/rj', 'inthegra', '397.636,09', '1-fátima', 'dezembro..', 'cannabis..', 'pr20150042', '1.958', 'pizolatto', 'cna/senar', 'vídeo..', '46.324', 'universidades..', '699', 'figlioulo', '70º', 'udiloff', '430', '2930', 'prodeic', 'prof.', 'pixulequinho', 'sayfullo', 'b3', '126', 'nomuro', '63', 'mascaramentos', 'ex-sua', \"pesado'\", 'rede-ma', 'apotando', 'paraense..', 'infiltrated', 'demitida.', 'páscoa..', 'retorno..', 'aberta..', 'saamrco', 'aterrotiza', 'atólico', '1935.', 'capiciosas', '81,2', '17h19', 'maralee', 'folha/uol', 'netlfix', 'ex-simpatizante', 'fevereiro/14', 'esclarecimentos..', 'atrapaio', 'moustafá', '209.000', '97', '1427', 'bilhetes..', 'humanidade.', 'vice.', 'luchsinger', '50,60', 'b-52', 'fevereiro..', 'lulaaovivo', '323', 'mma/sp', 'gleiber', '13h30', '16h45', '186', '19,8', 'canuso', '2012.', 'aluguéis..', \"'cegueira\", 'documento..', '17h06', 'petistas..', 'estrangeiros..', 'preto/preta', 'sucessos..', 's1', 'pasta..', 'retiradas..', 'pl280', 'persiste.', '29º', 'saxe-coburg-gothe', 'icentivando', '26', 'ações..', 'dilma-temer..', 'psd/am', 'f-5', 'mórbida..', '45ª', 'popularidade..', 'antônyo', 'portos..', 'impunidade.', 'japonesa..', '580', 'vice..', 'empreendimentos.suassuna', 'discordam..', \"'responsável\", '122.000', '613', '22h', '115', 'rercursos', '636.', '30/05', 'pyongyang..', '21.', '1.065', 'carguinho', '1963', '30/3', '12,1', 'pousada.', '55,8', '10:18', '27,3', 'justifiquem.', 'reacionarismos', 'imível', 'denielle', '–que', 'sair—', '8,1', 'hwasongs', '15.000', '10.000.000', '470', 'bolsonaro/sheherazade', 'visiblidade', 'fiscal..', '548', '1846', '10.ª', 'corais..', '7,5', '0,6', '+++delegado', ',65', 'opparis', 'desvastadoras', '611', 'vizinho..', 'mafurreiras', '249/2017', 'criminosa..', '90.000', '819,1', 'brasil..', '16/03', '-13.2', '2010..', 'viracopos..', 'hemodinamicanente', 'frio/rj', '3,1590', '8°', '5,4', '/s', 'raswita', '32', 'goldajn', '2.561', 'a-29', 'g4', 'presidente..', 'penta-réu', 'glaucenir', 'síria.', '14h45', '04/10', '24ª', 'trabahalhadores', 'respondia..', '11/9', 'domingo..', '14,2', 'países..', '3,8bilhões', '9,9', '13.', 'acertivamente', '18h19', 'delegado-diretor', '590', 'computadores..', 'streetcap1', '2017.', 'c90gt', '280', 'onu..', 'repitam.', 'sd-rj', '90', '16ª', 'legitimidade…', 'grave..', 'duszczak', 'ensancha', '16.ago', '0,50', '1983.', 'sailson', 'fazenda/lula', '–e', '50,00', 'kabele', 'femmenino', 'negritude..', 'sessão..', '12/5', 'ético-disciplinares', 'valadaresnatv.com.br', '30/04/1994', 'ismaragda', '1980.', 'gargalha-se', '1871', '44,3', 'ss-18', '15h20', '1902.', '100º', 'ativades', '1.950', 'incompleta..', '15ª', 'sobrestadas', '79', '161', 'este..', '813', 'ai-5', 'jbs/friboi', 'quinte-feira', '75,5', \"'aprimoramento\", '735,5', 'argentina..', '1984', 'verde..', 'contraceno', 'esperar..', '28.', '209,2', '235', \"'conter\", 'alghrani', 'bem-le-vi', 'milhões..', 'capital..', '1:10', 'obeservação', 'goiânia..', 'censuradoras', '1945.', 'hasselman', 'ex-pp', 'queparticipará', 'iaciara/go', 'pluri-assassino', 'acuados…', '3/5', 'homens..', 'górpi', 'ocorrências..', 'crianças..', 'entraram..', '10/02/2017', 'disintiria', 'tucanozinhos', 'p.', '68º', 'jessthetwoofus', 'crepioca..', '20/02', '71', 'mdb-rr', 'teresa*', 'geral..', '188.853', 'negócios..', 'sexta-feira..', 'empresário..', \"'balela\", 'roussef/michel', '2014..', 'autorizar..', '504,17', '1:30', '45º', \"morrer'\", '162', 'sincor-se', 'diego/ca', 'b2', '1985/1990', '4.377,73', 'adolescentes..', 'cotia/sp', 'púlpido', 'prf-pb', 'odebrecht..', '14,7', 'sobreviventes..', '648.536', 'faccção', '1,5°c', '7,9', 'cumpanhero', '4º', '1994.', '53.', '107', '1953.', 'racionalismos', 'urológica..', '49', \"'articuladores\", '356', 'thwaltes', 'pinheiros/sp', 'correio..', 'argiloso..', '415', 'maranhão..', 'metropolitana..', 'pinheiro..', 'alberisson', 'rúbem', 'petrolina/pe', '1498', '4', 'posssíveis', '174', 'ruehlman', 'reinebo', 'coitadinho..', 'dailystar', 'defesa..', '1.67', 'ex-aerotrem', 'químico..', '3h', 'camporez', '189.857', 'suposts', 'jinghui', '1.403.417', '300.', '1,149', 'áreas..', 'ocidentais..', 'deshun', '900', 'enzzo', '1959', '001/2018', 'premitiria', 'joalyson', 'as-coa', 'mindhunter', 'a319', '871', '73,7', '15/11/2015', 'n-11', 'antiorganizações', '184', 'influ', 'badida', 'discutiram..', 'irritado.', '60,4', '2040', '32,8', 'narcos.', 'ficanda', 'tongchang-ri', 'armas..', 'quebrá-lo-ei', '2', 'reencontraríamos', 'denunciaa', '11h15', '2.0.', 'plenax', 'jornalista.', 'ristãos', 'serasa..', 'car-wash/lava-jato', 'zavascki..', 'projeto..', 'catástrofe..', 'musa..', 'magsul', 'punidade', '10.000.', 'meses.criei', '11:30', 'haisem', '4146', '24.000', 'furnas..', '55.', 'documentoscópica', 'vencer..', '47,8', 'continentes..', 'tungado', 'destruiur', '2001.', 'fv2017', 'leitores..', '16/06', 'toyal', 'transparência..', 'senador..', '2019', 's.', 'prsom', 'manhã..', '–7', 'interceptado..', 'acontece..', 'persistem..', \"'conselheiro\", 'nhc..', 'demid', 'ilicak', '9.', '59,2', 'kin-jong-un', '210', '20h15', '14h/', 'amplicate.com', '2008-2010', 'unanimidade..', '80,1', 'firmadoe', 'veremos..', '62.000,00', 'mata..', '1967', '1672', 'almasri', 'inquietante..', 'lide-pe', '101', 'dezembro/2017', '6.000', '115,00', 'produtos..', '21h', \"'fundamentação\", '60', 'itaberli', 'soit-disant', '1867-1934', '195', 'pet/ct', 'munique-1972', 'antipervertidos', 'ypbf', '3:37', '22:08', '5/6', 'sugando-a', '965', 'schianni..', 'youtube..', 'ano..', 'denúncia..', '35.', 'vítimas..', 'benningfield', 'povo..', '18:00', '*mariana', 'blogdacidadania.com.br', 'histórias..', 'outubro/2016', '10º', '726,7', 'leânia', '48.000', '25,8', 'constituição..', 'recém-perdoada', 'bims', '500,00', '78', 'corte..', 'participantes..', '9,1', 'crédito..', '1.023', 'dimensionamos', '483', 'investiga..', 'visualizações..', '10h30', 'decisões..', 'cantarovável', 'energia..', 'pós-verdade', 'rosnarem', 'relembre..', '1452', 'raioni', '114', 'abdouni', '4°', 'premiada..', '1967.', 'posicionamento..', 'poder..', 'o2', '//soundcloud.com/jose-neumanne-pinto/neumanne-2906-direto-ao-assunto-1', 'ambiente..', 'carlosmassa', '20,17', '1950.', '+++com', '3,95', 'criptografados..', 'unilateralnente', 'mais..', 'b-1bs', 'liderrol', 'bánvölgyi', 'ministroteori', '2017-2018', '23,9', 'corpo..', 'm2', '1.175,15', 'créc', 'mendes..', '31/5', 'jênio', '155,8', '4h', '92,9', 'skarphedinsson', 'herzog..', '01', 'af-1b', 'podre.quando', 'melaniafake', '2012', 'apresentador.', 'undark', 'olímipico', 'idp-sp', '1:00h', 'partido..', 'band/uol', 'occorrentes', 'desenvolvimento..', '01/02', 'verdadeiros..', 'isso..', 'milhões/', '5.000', '.provavelmente', '8.036', '979', 'r2d2', '81,8', 'rindhi', 'prioridade..', 'políticos..', '83/2017', '11h45m', 'guililov', 'peitá-los', 'unidas..', 'maio/2016', 'peliz..', 'jobes', 'twitter..', '3c14', 'procuradores..', 'truthers', '148', 'investigação..', 'fica…', 'depressão..', 'carreira..', 'engana-trouxa', 'alvo..', 'pré-adversários', 'lula.', '6', 'teriantropia', '14h', 'ex-instalador', 'bolsonaro/rj', 'diferente..', 'filmagem..', '3,2ºc', '61.619', '6.º', 'política..', 'irregularidade..', 'científica..', '1.758', 'jong-nam', '72,5', 'apreendidas..', 'dificuldades..', 'impeachmada', 'falsas..', 'waldermir', '12:33', '167', '285', 'pessoalmente..', 'amamentam..', '9m', 'ucop', 'pmdb/rs', '5.113', 'regime..', '2003.', '23', 'f-35bs', '23a', '703', '149/15', '1,594', 'demissões..', 'maçaneiro', '16,5', 'dircursando', 'budeikin', 'sabe/', 'presos..', '1992', '2009.', 'bradberry', 'funaro..', 'f-22', 'volksparteien', \"'rumo\", '4.000', 'giavina-bianchi', 'stf.jus.br', 'ipcl', '3.376', 'publicidade..', 'erotizando', 'eifell', '11:00', 'petrólão', 'winconsin', '10contextualizada', 'rei..', 'ela..', '471', '21.557,44', 'real..', '22,2', 'zakharovich', 'pseudo-teorias', 'foodtruks', 'pronina', 'comprovantes..', '896,1', '2/6', 'ladrão-geral', 'zalcman', '2007-2010', 'earthship', '497', 'irmãos..', '767-300er', 'ginq', '2008.', 'inocência..', '99,96', 'mtc-300', 'transpostava', 'oumuamua', '60.000,00.', '8º', '6h01', '3662-7449', '31/12/2018', 'derbendîxan', 'bafómetro', 'donativos..', '14h16', '760', 'sindijornalistas-es', 'zap-zap', 'grampeador-geral', '90.', '+++alckmin', '10:45', '10/11', 'coogal', '515', '14/09/2015', 'antivitimismo', 'cumpanheros', 'semáforos–', 'usuários..', '131/17', '90ºc', 'motivos..', 'al-mahid', 'carlesse', 'beneficiários..', '13,3', 'porrete.', 'jávencemos', '2/1/18', 'terra..', '22h20', '64/1990', 'ch3008679000005163446', '105.000', 'sanches/sp', 'obretaxa', '58anos', '2006.', '99', '+++janot', 'parlamentares..', '10,8', 'fdos', 'trèbes', '13,2', '14,90', '137', '29,30', 'pornográca', 'kyo-anh', 'bombona', 'hedyer', 'força..', '5.189', '\\ufeffao', '10/07', 'resguardá-las', '9,6', 'f-35b', 'redbar', '1595', \"'dom\", 'britânicothe', '2018.', 'galloro', '66', 'momento..', '2,7', '4,51', '22/3', 'brasileirxs', '2:22', 'abril/2017', 'estadão.edu', 'psdbteupassadotecondena', 'propineira', '2013', '1995', 'prisão..', 'espiagato', 'gestão..', '1862', '3016', '340', 'isswo', 'josegrei', '31.', 'cr7', '50.000', '945.358,67', 'equívocos..', '3.688/41', '141874', 'definitiva..', 'solidariedade/pa', 'jr..', 'nações..', '18.jun', '136', 'dá1like', 'royalties..', \"'hipster\", 'bockmann', '3.500.00', 'vauvernargues', '318', '693.076', '156', '9º', 'mk84', '70', '300.000', 'facções..', 'catalogarão', '2°c', '4.143.325', 'hwasong-12', 'deonna', '35/1979', '24/3', 'policiais-judiciais', '1:00', '451', '29', \"'grande\", '19:00h', '1,0', '18.000', 'brooklyns', '129', '3.839', 'r-calf', '1,2°c', 'vice-diretor-executivo', 'psiquiátrico..', 'autoaplicação', '15.315.754', '2022.', \"'s\", 'koreas', 'imóveis..', 'yunarmia', 'burrofobia', '1.900', '17.110', 'surpresa..', 'deputados..', 'suspeitos..', 'oportunosa', 'àquele', 'p1', '70.', 'cop23', 'exemplo.não', 'estar.', 'paralelidades', 'hyuday', '1950', 'piloto..', 'brainternet', '14,6', '03.', 'glory..', 'fraude..', 'a-18e', 'ex-assessor..', 'índia..', 'gerado..', '–sua', 'global..', '1942.', 'homenageados..', 'schirmer..', '576', 'vices-presidências', 'ex-marqueteiros', 'convidado..', '31.ago', 'sachelli', '629', 'bíblia.', \"'briga\", 'carginho', 'mini-presídio', '984', '–setor', 'época..', 'termo.', 'porquê..', '13h18', '541', '4,52', 'filho..', 'ultrapassado..', 'f/a-18f', '3min38seg', '1.500.000', 'país.transportes', '24/01', 'bolsa-mosquito', 'depositei-os', 'milashina', 'tollison', '11,63', 'planalto..', 'fairchance', 'bloqueadas..', '32.', 'ispinhela', 'revebe', '225', 'mosquito..', '7.º', 'casamento..', 'enino', '6:58', '2004', '1-', '05/10/17', 'foragidos–', 'comemorou..', '2000.', 'norte-coreana..', 'gislason', '199', 'news.au.com', 'v=fwzc9ciyzqq', 'g.', '1.482', '9.300', 'segura..', '5g', '2011/2016', '10:00', 'públicas..', 'ideia..', 'inclusão..', '05.', 'psicoterapeutico', 'amenizá-las', '9,5', '190', '2006', 'premiadas..', \"'tendo\", 'subordinados.', 'jéssica*', 'chulapada', 'civil..', 'g20', 'beth*', '43', '10.000', '128', '22,9', 'congonhas..', 'gunnarsdóttir', 'autointitulando', '24/11/2016', '6,15', '21,4', 'borges..', '3*', '98.000', 'posto–', 'ramsonware', '102', 'esculhambam', '524', '41.ª', '21:10', '6,00.', '1988', '3217-4175', 'zimnyaya', 'falsiê', 'usá-lo..', \"'palocci\", 'sologamia', '65.169', 'elettroacustica', '3', '172', \"'vítima\", 'mulitalo', 'eui-yong', 'americano..', 'patrimônio…', '14h30', 'ex-governdores', '-osu', '602', 'ler-lero', '25º', '295', '-44', 'cabeça..', 'bbc..', 'jph', '30.000', '–', '65', 'populares..', '24', 'desastrado-geral', 'berlanza', '1:45', 'hotel..', '9h47', '3:35', 'e-8', '//soundcloud.com/jose-neumanne-pinto/neumanne-0407-direto-ao-assunto', 'punição–', '10h', 'hoje..', '14h40', '1922', 'dezembro/15', 'faccções', '2010.', '2ºc', 'fugir..', 'jose_neumanne', '480', '40,3', '2023', 'milheres', 'ms.', 'burocráticas.', '1982.', '9:40', '80km', '34,8', '04/08/2016', '788.345.024', '8,9', 'canonize', 'aléme', 'empréstimos..', 'bravejou', 'idiotizados', 'lama..', '800,00.', 'estereotipada..', 'ex-maridão', 'devorise', '3.820', '*–', 'peruíbe..', 'câncer..', '18h48', '5,26', '12°', 'quarta-feira..', '10:43', 'sedassare', 'civi-co', \"'positivo\", '2017', 'dyomin', \"'chefe\", '2060', '987', 'embarcação..', 'assunto..', '48', 'telha..', '199,4', '.50', 'descabelam', \"'excelente\", '37', 'cleuto', 'cristica', '26,3', '342.', '19:45', 'esgarranchadas', 'internacionias', 'chega.', 'tce..', \"'bombar\", '3.1', '663', 'críticas..', '10:30', '954', 'maggi..', 'conhecimento..', '86.', 'síria..', 'regularizaão', 'remarei', '8,62', '7.689', '3120-5535', 'colo.', \"'precisava\", 'sadous', '23h30', 'repreendermos', '1998', 'prehn', 'condenados..', '58,58', '7.574.983', 'ronner', '00:01h', 'fakenews', '5,7', 'sarmat', 'forapt', '12.408', 'alterada..', 'trolou', '6,6', 'pa.', '8.213/1991', 'ética..', '209', 'f…', 'posse..', 'taxasse', 'indisciplinável', 'aashish', 'mini-exército', 'paulo..', 'curtos..', 'jangjae', '788', 'sepultamento..', '193', '6h50', '1977.', 'rousseff..', 'evangélica.', '46ª', 'lálá', 'escobar.', '1979.', 'continuou..', '35', '147', 'bambeada', '17:42', '19h37', 'plenário..', 'mês..', 'legais.', '1.000,00', 'bi..', '17:50h', '2013.', '9,11', 'rastreabilidades', 'bidognetti', '88', 'guarujá/sp', 'congresso..', '325', '61', 'obra..', '273,80', '40º', 'globonews..', '1695.', 'tepro', 'pmdb/es', '66.600', '268,798', 'crtl+c', '2012/2014', 'ditaturas', '2a', 'bedes', '126.960,94.', '1.300', 'haberbecke', 'vizinhos..', 'deuu', 'escola..', '3017', 'plesko', 'vagab', '1.5', 'procoloado', '1º', 'paulista..', 'especialista..', 'atos..', \"'comecei\", 'punitivas..', '199ª', 'kn-14', '23ª', 'isabel*', '24.ª', '3o', 'sul..', 'aécio..', 'etc..', '63.702,54', 'szetejnie', '121', '47ª', '25,6', 'mdb-ce', '290', 'petralhar', 'março/2016', '208', '43ª', 'patrimônio..', 'sun-yong', 'supertutor', 'mental..', 'pé..', 'k.', 'mega-efeméride', '10:40', '574', '*p1', '1.196,47.', 'writhes', '309', 'fofocalizando', 'mantidas..', 'dias/', '5000', 'falharei.', '1,156', 'angola..', '113', '5,8', 'bbb18', 'sentença..', '4.out', 'palen', 'esbanjassem', 'dias..', '1,45', '13/11/2013', 'tributária..', 'niburu', '80.', '145', '2.9', 'br-01185/2015', 'tovick', '154', 'recibos..', 'méxico..', 'perrella..', 'preventivos..', '82', 'record/brasília', '8/11', '64', 'passiva..', 'começar..', 'phyongan', 'vorará', \"'novos\", 'mukandawire', 'profundidade..', 'cicchelli', '9b', 'tramitação..', 'breathariana', \"'calculista\", '0,68', 'prefeitar', 'elfos..', 'neto..', 'tranalhar', '+++mesmo', 'armamentísticos', 'machione', 'sertralina..', '1840', '1.835', '35º', '1.370', '432', 'prólula', '59', '25.000', 'anti-grampo', 'fanfeat', '3,8', 'hongseong', '3,86', '3:20', 'honrado.', '8.dez.2015', '16h30', 'brasnislav', 'dom.', 'www.cubaarchive.org', 'teitel', '-2', 'atacaram..', 'campanha..', 'cutitiba', 'ex-ministro..', 'joseth', 'out/2016', 'lamínima', 'eldorado-', 'skypark', 'eugeniojosealati', 'fusarelli', 'extraoficial..', 'petralovski', 'nadelson', '1904', '19h', '5', 'hindustantimes', 'pequena..', 'niesner', 'fato..', 'homoafetivdade', 'idade..', '360', '1917', 'alcaçuz.', 'ex-minstro', '42', '42,00.', '1.892', 'curitiba.bumlai', '___________________', '–foi', 'transpetro..', 'fôlego..', '500..', 'terça-feira,17', '17:54', 'móvel..', 'estabacando', 'documento-estratégia', 'diminui-me', '15.800', 'acautelará', '5331/16', 'execução..', '1979/1982', '1,9', 'graves..', '2011-2015', 'aprceria', 'fiscalizaçãosolicitando', 'neupane', 'facultativo..', '13/06', '80', 'reinabo', 'mcnukeface', '2300', '+the', '1/2', 'itaramaty', 'coitadooo', 'carcerário..', 'está.', 'delinquido', 'reconehceu', '28.out', '42.ª', 'estado.meu', 'contágio..', '6h35min', '16', 'oantagonista.com', 'dia..', '52/2015', '13a', '49.', '2003-2010', '31.925', 'bunlai', '1.195', 'legislativo..', '10.683', 'milania', '48°', '2001', 'petezada', 'pobres..', '10,5', '44,8', '18', 'ex-ptb-df', 'federrááááuar', 'estrutural..', '–mantendo', 'gringoes.com', 'universidade..', 'pf..', '13h29', 'sisy', '6,8', '11º', '1°', 'regras..', 'blindando-o', 'julgado..', 'stf..', \"'guerra\", '01/11', 'constitucional..', 'reequilibrem', 'taepodong-1', '386', '14,8', 'aids..', '18h30', 'tedxsãopaulo', '25.700', '02/08', 'jornalistas..', 'egoísta.', 'bahia..', 'dezembro/2015', '1.196,47..', '563,7', 'gerum', '11:20hs', 'estado/sp', 'sentido..', 'supermercado..', '7200', \"ex-presidente'..\", '14,9', 'base..', '25', 'crosso', 'legislativa..', '970', 'causa..', 'eui-kyeom', 'f-1', '6662', '765', 'rachamo', 'sr/dpf/sp', 'construída..', '18h/2h', '100.', 'ruína..', \"'dei\", '11h30', 'moradores..', 'ameaça..', \"'palco\", '8,8', 'hamkyong', \"'desproporcionalmente\", '01/08', '941', 'sampadeus', '1h', 'internet..', 'descartadas..', 'anti-microbiano', 'a4', 'canaletti', 'outubro/2015', 'ministros..', '11:43am', '338', \"'época\", 'elegrafnoye', 'atividade..', 'rj-106', '32,4', 'contrato..', 'bonel', 'bahora', '07', '2027.', '380.', 'objetificadoras', '64,5', 'inferioridade.', 'atual..', '3.677', '1764', '6.361', 'lulão', 'g-20', 'véspera..', 'site..', '6.959', '269.706', '967', '1.800.', '627', 'exemplo..', \"'veementes\", 'pisemos', 'kittaeryong', '279', '2040..', 'empoleirou', '4,2', '007', 'prorrogavéis', '7,7', 'pontifíce', '12,3', '858', 'ex-catadora', '105', 'sangue..', '31/12/2015.', '7/11', 'políico', 'delito..', 'odebrecht/petrobras', 'ptdob/pe', '1600', '627/2017', 'valiente/', '11h20', 'hurricaneirma', 'analfabetofobia', '150,00.', 'brunato', 'abusos..', '347', 'cargo..', '107.3', '17', 'gelsman', 'jararacas.', 'pt/rn', 'tj/sp', 'kaydi_k', 'emburrecem', 'março/2017', '5h57', '23/06', '04/10/2017', '1910', '09', '89º', 'mulryne', '205.700', '1:38', '10:30.', 'campanhas..', '4.223', 'balístico..', 'revogue-se', 'técnico..', 'mega-tsunamis', '2,1', '10sastrada', \"'jane\", 'u2', 'procurador-geral..', '486', '31ª', \"'vergonha\", '17h30', '1,5', '2.300', 'news..', 'antistenes', '10', 'pesquisas..', '39,6', 'declarações..', '3,72', 'ameaças.segurança', '1.382.', '15h50', 'patrocinadora/apoiadora', 'trabalhista..', '18ª', 'forçachape', 'arcanjo-3', 'milhõezinhos', '265', '3.', 'cassales', 'cadaumcuidadasuapostagem', 'cid-10', 'chapuletada', 'ex-veja', '1,7', '1984.', 'mal..', 'mpirão', 'econômico..', '13º', 'devedores..', '+++lula', '4.800', '28,7', 'petista/peemedebista', 'goytacazes/rj', 'pellela', \"'recuperadíssimo\", 'a-m-a', 'esperança..', 'população..', 'bndes..', \"'aberta\", '-ministro', '19:05h', 'mitagem', '11.738/2008', 'juizecos', \"'crer\", 'comprometida..', '.40.', 'afilho', 'e.', '5394', 'civil/fazenda', '179', '2008/2012', 'autos..', \"intolerância'\", 'especialistas..', 'ato..', 'wiliberto', '282', '04/02', 'precipícios..', '1776', '1918.', 'busuu.com', '4a', '2.002', '287', 'saúde..', 'fraudáveis', 'confrmou', 'ocorrido..', '1963.', '10000', 'espirital', 'rússia/irã', 'idologia', '1968', 'velhobrahma', '1989.', '2002.', 'a.pimentel', 'abrete', 'pro-dilma', '36º', '5.746.', 'tapac', 'edmeire', 'letícia..', 'tillerson', '180', 'bomburguer', 'doenças..', '86', '08/12/15', 'ificilmente', 'art.12', 'bolsonaro/mourão', 'brasil247', 'presidencial..', '11,8', '1915.', 'cardozão', 'ejetaram-se', 'mal-estar..', '1970', '10,2', 'rio-2016', '19º', '5,73', '001/1999', 'professores..', 'conselheiros..', 'hazelman', '76', '1.055', 'impeahcment', '324698302-despacho-moro', '``', 'queermuseu', 'olshaker', 'curtura', '6.300', '22.ª', 'makukov', '747', 'valadares/mg', 'julgamento..', '1:33', '54,7', 'gugghenheim', '1947', '1634', 'trf-2', 'psc..', '2h', 'recesso..', 'costura…', 'mantra..', 'gutiérerrez', 'caranava', '471/2009', '\\ufeffapós', 'negociar..', 'cerveró..', 'mandados..', '319', 'mattoni', 'bit.ly/oficinadjmis', 'forapimentel', '99/11', 'fascistoides', '463.000', '252', 'opção..', 'oportunistas.quero', 'militar..', 'jemisin', 'meubhnk', 'pós-denúncia', '596', 'caminhoneiro.', '8ª', 'protagonizante', 'skripal', 'ferretto', 'araud', 'pre-pa-ra', '342', 'marte..', 'boatos.org', 'crimes..', 'pós-cinzas', '1,58', 'poravalism', '72', '5h50', '1,3', 'acontecesse..', 'wilque', '0:52', 'sesi-df', '252.697', 'fahur', '3.200', 'mengyuan', 'àquilo', '2008-2012', '1.160', '15', 'avião..', 'marionete..', 'leslye', '13h32', 'comentou..', 'samarco/vale', 'kalashinikov', '22h30', 'radiouvinte', 'mitador', 'obuxixo', '.380.', '42,2', '9.001', 'escapou..', '41,9', '645', '164-a', 'obedrecht', '309,2', \"'ingerência\", 'mgilmar', 'caso..', 'conteúdos..', 'audienciasgilmarmendes', '8h40', '2045', 'pânico..', 'darliane', '3,00', '+++no', 'dyts', 'implementaríamos', '379', 'cuba..', 'ministérios..', '27,5', '94.', 'cvn-76', 'taubaté..', 'agressões..', '1990', 'dangerosíssima', '8h30', \"'velha\", 'fusuê', 'pronunciaram..', '6,7', 'externo..', 'pmdb/ce', 'turco-brasileiro', 'friggi..', 'confiavél', 'prazo..', 'incompetentes.deixaram', '34,3', 'teoria..', \"'gêmeos\", 'contato..', '28.947,55', '684', '1980', 'i.', 'detran/df', '100.000', '2007.', '“', 'xing-ling', 'mega-tsunami', 'bohora', 'campos..', '1.350', 'mega-empreiteiro', '23.457', 'blogcorridaparatodos', '350', '4,6', '14,5', '2,9', 'escafeda', 'j.', '8,6', 'não-gourmetizadas', 'abouyaaqoub', '15/02', '14.000', 'paramacay', 'franaszek', 'apurações..', 'mitzvás', 'rio..', 'mañaes', 'multirréu', '\\ufefftucanos', '2011-2014', '100gr', 'cconsequência', 'exportação..', 'turco-brasileira', '303', '107,3', 'autoimposição', 'enganô', '12/08/17', 'relaxou-se', 'marmitek', '–estrangeirismo', 'pavinatto', 'vermelhou', '16/9', 's1000rr', 'sem-serviço', 'tira-teima..', 'uribe/', '100mulheres', 'sanum-dong', 'pelotizadora', 'desobediência..', '109', 'problema..', 'hidranil', 'trf2', 'printado', 'rpdk', '2015', 'anglicano..', 'agosto/2017', '180.000', 'condenação..', 'mapadocrime', '201', 'globo..', '02', 'tobé', 'b12', '1974', '33,7', '51', 'frequentes..', 'in-ryong', '6/7', '44ª', 'inocentaria', 'jornalístico..', 'pré-recesso', 'e-farsas', 'abobalhadas', 'tuitarem', 'pp/mg', 'lulocracia', '1930..', 'pré-canditato', 'segretário-geral', 'retrospectiva2017', \"'destruir\", 'tocoma', 'dilma.', 'políticopartidário', 'é…', 'mega-doador', 'textos.', 'financeira..', 'microcefalia.', '21h15', '25,07.', '657', '52', '50ª', '9°', 'terraplanista', 'mandato..', '18/03', '19h48', 'republicanas.', '18:20', 'jato.', 'citados..', '2:20', '7', 'prospectors', '37,6', '1992.', 'pronunciamento..', \"'stranger\", 'certo.cunha', 'efigenia', '21h40', '23h', 'texto..', '2025.', 'abrh-brasil', 'quinta..', 'unversitários', 'crescimento..', '131', 'h.', '5.172', 'tfr4', '1430', '15,2', 'maxsingburi', '1940', '13.º', 'peró..', '7cm', 'alugado..', 'legofield', 'manaus..', '7a', 'negociações..', '38', 'históriaa', 'gjgveiga', 'toffoli.gosta', '9,7', 'talvez..', '15.', 'tipo2', 'gotterba', 'legacy-600', '139', '21/12/2017', '41ª', 'renino', '903', '110', \"'gestão\", 'elite..', 'lavitola', '19hs', 'grafoscópica', 'wanquan', 'molhadela', '297', 'cassação..', '144', '275.949', \"inclusivo'\", 'casa..', '150', 'libras..', '5:20', 'desmascaradas..', 'sfuggire', 'jfpr', 'gravata.perguntei', '1982', 'ação..', 'laniele', 'e-2c', '985', 'anos..', 'curricular.', \"'evangelho\", 'coligações..', '314,12', 'limite.jornalistas', '5,9', 'àquela', 'ítavo', '1962.', 'sr.', 'sandoval..', '48h', 'eleitorais..', \"'bunker\", '194', '1972.', 't-800', 'guarujá..', 'v.', '27,6', 'dr.moro', '13', \"'iniciados\", 'doente..', '2.692', 'russo..', '2,5', '2005', '+++maia', '1986.', '36°c', 'atentaremos', '2h19', '250,00', 'refrescus', 'lambremont', 'pv/pr', \"'abandonando\", '7.abr', 'tecnologia..', '55km', 'pizanti', 'e-farsas.com', '11,5', 'ms-379', '368', '3,2', '26,4', '13,42', 'dem/go', '23h58', 'págs.', 'bem..', 'autoflagelo..', 'quadrúpe', '116', 'mineira..', 'relatos..', '481', '©afp', '1548', 'elba.', '9.613/1998', '4.224', 'crime.não', 'conflitos..', 'escolas..', '12/08', 'apyus', 'kristensena', 'rafatupy', '300.000.000', '2/09', 'ocorrência..', '35,1', '–proibiu', 'sociais..', 'novo..', '27ª', 'fihn', '68,2', 'parafalha', '26.', '875', 'presidenta.', 'ficção/comédia', 'consequências.', '1548-1600', \"'invasão\", 'globolixo', 'aptou', 'problemas..', 'até1989', 'apiade', '+++em', 'tabansky', 'flórida..', 'festlval', 'apto/casa', '20h31', '14h50min', '2029.', '12.º', 'brics..', 'saquarema/rj', 'vez..', '122', 'novembro/2015', 'costamarques', 'terrorista..', 'jan/fev/mar', '142', 'mar..', '213', 'alderite', 'ambiental..', '22,1', '30/01', '124', '50,1', '2010', 'g1', '181', 'deputado..', '933', '2,27', 'sambódromo..', '15/03', 'terá…', 'pró-monarquistas', 'peleumonia', '3,7', 'enéééas', 'honestinha', 'artrolho', '1991', '969', 'tragédia..', \"'guardou\", '2018', 'eiiseu', '0,23', 'imputaram-se', '8.572/2015', '74', 'osartistas', 'hwasong-15', 'exit-', '2.4', 'domiciliar..', 'mpc-rs', 'consultado..', \"'igreja\", '.sabe', '140', 'trashie', \"'financial\", 'pronunciar..', 'publico.pt', 'determinados..', '2-omar', 'aceito.', 'sinte/sc', '50.', 'erimo', 'schimid', '7h40', '14,4', '21º', 'planilha..', 'acusações-', \"'chavismo\", '880', 'públicos..', 'tucanocídio', '3.000', '04/03', 'nelvos', 'tranquila..', 'bezserra', '72/2010', 'concentradíssima', 'bsaf', '15,1', 'machado..', 'voo..', 'raôxis', 'racismo..', '2591-2593', '*segundo', 'unânime..', 'abrasgás', 'impeachment..', 'hospitais..', 'witzoe', '12.422', 'hsv-2', 'eletroacú', 'manuetenção', 'thae', 'general..', '1926-2016', '31,9', 'esclarecimento..', 'armação.', 'grizalhão', 'voltadilma', 'bjin', 'bb+', 'testemunhas..', 'driskell', 'warao', '13/03', 'acs-pe', 'senador.', 'cronometrá-lo', 'aceshowbiz', 'conviveram..', 'mebengokre', '12,6', '1,55', 'no.1', 'odebchet', 'retaliada', '50,62', '1960.', \"'ataque\", '343', 'depois..', 'dopaz', 'desdunes', 'russolo-pratella', '2x0', 'zilbovicius', '2017/2018', 'musudan-1', 'passado..', '838', 'ex..', '+++o', 'conhecidos..', '1966', 'ex-boêmio', 'lunaar', 'autoreferida', '96', '”', '24°', 'estado..', '307', '1988.', '1995.', '350.000', '1997', 'médio..', '9.400.450', '6664', 'ncautos', '84', 'segurança..', '78ªdp', 'cadeia..', '1948', 'ex-illuminati', '67', 'colorprint', '260', 'oas..', 'tremembé*', '767', '471/09', '25.000,00', 'nuclearizada', '52,4', '8,3', '29,4', 'aceite-c', 'cláudio/mg', 'senderóv', '297.', '2,07', 'uruguaio..', '57o', '39,90', '1:40', '261', '247', 'agências/r7', 'ressocializadoras', '14:00', '47', 'mpfederal', 'informaddo', 'chistiane', 'hídricos..', 'dinow', 'mistério..', 'cantordurante', 'ratolândia', 'verdade2', 'agora..', '-al', 'perguntadinha', '48ª', 'subisttuirá', '24h', 'asnático', '6628', 'janeiro/2016', '–mesmo', 'miguel*', '367', 'examinados.', 'atrasado..', '50º', '19h45', 'ar-15', 'ap39', '270', '234', 'famílias..', 'aloyso', 'asmaislidas2017', 'cometeu.', '80,2', 'pública..', 'novela..', '\\ufeffdoria', 'soviéticos..', 'triplex..', '1.650', 'colombeck', '2,25', 'pág.', '56', '11.689', 'ex-presidentelula', 'propocionaram', 'mortos..', '2.ª', 'br-319', '1200,00', '58,48', '2.765', 'nfirmados', 'f1000', '2011', 'manguaçada', '11/09', '1940.', '09.', 'song-ryol', '1999', '280/2008', '876', 'livro..', '17h50', '2.111', 'washington..', 'prosub', 'barongeno', 'pregent', 'suécia..', '3/6', '17h40', '22hs', 'vishnia', 'boechat.', '1.180', '49,3', 'aecinho', 'favelas..', 'rozeno', 'presentes..', '58', 'macacari', 'esconder..', 'brasília..', '7h40m', '9.786', '15,7', '821', 'irma..', '2012-2014', 'trombá', 'solicitados..', 'joeslei', 'periférias', 'abatido.', '0,10', 'jericada', 'f..', '34,5', 'trumpyen', 'eua..', \"'líder\", '400', 'comprove..', '51.030.866,40', 'prática..', '44º', 'branca..', 'franthiesco', '4.', 'toronto..', '46', 'capiberibe..', '2.700,00', '21/12', 'biliardário', '-criação', \"'presidentes\", 'branco..', '38ºc', 'judicial..', 'constrangendo-a', 'neves..', 'pgr/mpf', 'funcionárisa', 'leviana..', '97º', '25.070', '27,90', '1,6', 'dirpol', 'ascp', '6.700', 'w.', 'andrade..', 'aula..', 'lindo.estou', '//soundcloud.com/jose-neumanne-pinto/neumanne-1801-direto-ao-assunto', 'jujubinhas', '12:10', '1945', 'aposentadoria..', '7h45m', '11,6', '24a', 'numur', 'verdade3', '13h15', 'odbrecht', 'v=ltcmueyylqq', 'katy..', '6:30', 'natalidade..', '5,5', '1,1', '4:24', 'ex-chefões', 'desoneraram', 'javou', 'f-18', 'trumpsen', 'etiópia..', 'cassavam', '4.783', 'destaques..', 'cyber-criminosos', '1978', 'ex-petrobras', 'guillier', 'processo..', 'antigrampo', '12,2', 'travadão', 'rs-24', '413', '92.133', 'jovem..', 'perseguição..', '1961', '4:08', 'coreias..', 'pp/sp', 'buzinassem', 'russa..', '1947.', 'depor..', 'devyatkina', '9/11', 'autolesionado', 'guérum', '439', '450', '5.427', '771,6', 'paralisá-las', '125.198', '1,81', '10/01', 'br-146', '13°', '00h47', '3.780,00', 'deles..', 'vitalizam', 'arancam', 'crisper', '-psc/se', 'lorena..', 'g3-2', '17h24', 'ssc-8', 'us-bangla', 'steakehouse', 'psd-rs', 'norte-coreano..', '16h56', 'tocantins..', '48,9', 'bloqueio..', '6.185.', 'segóvia..', '1469-1527', 'outubro..', 'minisitro', 'toráxicas', '20º', '2/abaixo', 'marketing..', '33,93', 'orientação…', 'lei..', 'feridos..', '57º', 'secom/pr', '1.000.000', 'japoneses..', 'preventivo..', \"'desleixo\", 'realidade..', 'pmdb..', 'bolsas-esmolas', \"trump'..\", 'que..', 'tumiri', 'ministro..', 'câmara..', '2117-4777', '207', '236', 'neochanchada', 'harraquian', 'votos..', 'fazenda/2003-2006', '123.831,05', '16000', 'capitólio/mg', 'fractall', '34.897.211', '11ª', 'tubarões-azuis', 'requentou', 'socorro..', 'economia..', 'moedlo', 'buceta.', '82,1', '—tema', 'poznikhir', 'ellakkis', '2,216', 'ex-minc', 'perdekamp', '2100.', 'unipolaristas', 'político/econômica', 'su-24', '6,3', '279,00', 'c3', '28,4', '2024.', 'f15k', 'irregularidades..', '1532', 'wf9', 'sentenças..', '12/11', 'novinski', 'duacek', '45', 'liberdade..', '1:36', '2014', '320', 'samjiyon', 'armscontrolwonk', '271.078', 'lighthizer..', 'às', 'corpus..', '780', 'facemedia', '1.400', '13,8', '11/7', '2h10', 'monsieurs', 'proponentes..', 'ufss', '468', '6:36:05', '5,2', 'pimentel..', 'e.i.r', 'cortezal', '5h30', '13/09', 'akahi', '06', '2ª', 'sd/rj', 'obras..', '01.', '2.756.426', 'interesse..', '15.ago', 'deltadores', 'impeachmania', 'cinema…', '4,45', 'público..', 'apps..', '.pf', 'bedminster', 'almg..', 'c/', 'dc-10', 'wyllys..', '937', 'processará..', 'alexya', \"'questões\", '39,3', 'sexo..', '6:33', '1.100.', 'moriah..', '1.100', '29/04/1994', '6.624', '247.', 'prefeito..', 'ranking..', '7057', 'pmdb/ms', 'tv..', '2kg', '1.558', 'drumnond', 'pt..', 'defragrada', 'censurá-las-ei', '77', 'trappist-1', '60.000', '0,1', '825', 'comedianta', 'vivacolômbia', 'fundão..', 'doença..', '1946.', '2800', '1981.', 'alegre..', '9mm', 'rompeu..', 'anti-inamatório', 'catarina.em', '1996.', 'comira', '650', '17/02/2017', \"'consegue\", 'tv2000', 'parecer..', '18/10/2017', 'erótico..', '2,4', \"'anos\", '400.', 'bobardeiros', 'susllem', 'happyhour', '198', '21:00', 'celulares.', 'estatal..', '37.077', 'magalomaníaco', '56,8', '35ºc', '1960', 'black-blocs', 'morrido.', '\\ufeffjuiz', '1600.', 'golpe-golpe', 'ascom/stj', '14h25', 'mstb', 'passado.agosto', '20,89', 'selva..', '1.285', '13.400', '34', '1998.', 'recorreu..', 'bucalo', 'sexta..', 'super…', '1.918', '969.', 'pagto', '108', 'p13', '8,5', '277', '3,5', 'oficial..', '1.605', '426', 'trumpello', 'não-codificadas', 'zen-vergonha', '4.ª', '2019.', '10,50', '1:05', 'instância..', 'alimentos..', 'f5', 'galloro..', '1924/2015', '16:00', '…entenda', '23:43', 'pt/psdb', 'citado.vingança', 'zavacski', 'antirússia', '4,85', '147.', 'vip-lounge', '2.934,70', 'pt-s', '21,20.', '19h30', '1924', 'tudo…', 'estrepolia', 'f1', '91.300', \"'saidão\", 'almanar', 'ifcn', 'facebook..', 'psd/mt', '37º', '2.0', 'vigdor', '317', '28,5', 'não-pensantes', 'mecânica..', 'vício..', 'punggye-ri.', 'último-', '08', '375', 'antimodernidade', 'trabalhistas..', 'fubango', 'qanou', 'jato..', 'b3e', 'islâmico.', \"piedade'..\", '7ª', '2h36', '34.', '17h15..', '4850/2016', 'pm..', 'pukguksong-3', 'wannacry', '1h30', '8217', 'corrupção..', '725', '53', 'massruhá', '17ª', '22h00', '05', '4:05.', 'disse..', '11h40', 'recursos..', '1.000km', '117', '11h20m', '10/11/15', 'v=vypdabo9yuy', '344', 'tre/pi', '11°', 'ribeira..', '13:30', '57', 'crisélia', 'ferreira/divulgação', 'agu..', 'mp-df', 'lolla..', 'quarta..', 'impíngi', '51.', 'eletrônica/pop', '130º', 'sc-421', '240', '21,8', 'prostrei', 'grande..', 'trabalho..', 'diria.', '9,8', '1809-1849', 'privilegiado.', '8h22', 'apioado', 'ilícito..', '2018..', 'lúcia..', 'webre', '36', '49.ª', 'solução..', 'gabirová', 'sundayexpress', 'animais..', '718', 'c-802', 'oglobo', 'trbalhava', 'guam..', 'rede/ap', 'covfefe', '27', 'russumanno', '22:00', 'barrêto', 'americas/brasil', 'f-15k', 'indiciadas..', 'versões..', '1.031', '8', '2.800', 'folha/sp', '7h30m_', 'stoppelman', 'acomodando-a', '4.341', 'reeleição..', 'pagtos', 'nbcde', '26º', '22:00hs', '–espécie', '3ds', 'finalidade..', 'dividendos..', '10/05', '216', '662', '540', '211', '2020', 'thaméa', '404', 'detalharam-se', 'masgovi', 'autoridades..', '19.154', 'su-30', 'samgung', 'acôncia', 'festival..', 'desempregados.', '25.', \"'linha-dura\", 'moda..', '122.', '20/05', 'g5', 'fernardes', 'chronovisor', '13/11/2015', '263', 'homem-predador', 'pt-iij', 'phs/pr', 'terorrista', \"'reforma\", '1.061.650,00', 'black-', '56.', '***|', '7,64', 'br-376', '1994', 'padrão..', 'asqueiroso', '16h00', '853', '2013/2014', 'famasul/senar/ms', 'urminzokkiri', '33', '6o', '6h30', '1999.', '200.000', '14', '723', 'malandrage', 'eul-chul', 'tratada..', 'estudos..', '2003', '28/02/2017', '640', 'manguinhos..', '328', '666', '25/02/2017', '700m²', '85º', '9h', '566', 'kc-137', 'vida..', 'brasileiras..', 'novembro/16', 'klyde', '2,6', '1,32', 'educavídeo', 'salas-sombra', 'pr-som', 'poncioni', 'higienópolis/sp', 'palmeira..', '3h15', 'reencarnarei', '2021.', '2021', '1,107', 'delação-bomba', \"'padrão\", \"'inimigos\", 'ex-gerente-geral', 'saipov', '28/04', 'battistini-cornelia', 'abstinência..', 'luizzi', '8,2', 'anthès', 'pró-corrupção', 'desembolsasse', '30ª', 'jênios', '273', '19h/22h', '134', 'resistente..', 'procurad', 'alexandru.com.br', 'jugmann', 'yulita', '++publicação', 'ex-supertele', 'fisolofia', 'credibilidade..', 'dalide', 'financeiras..', '874', 'catracada', '1789', '04.', 'enlvolveu', '916', '940', 'abdul-latif', 'pretendes-me', 'presidente-candidata', '22', '2.003-2.060', 'hallawell', '669,5', '12.', '76,8', 'amigos..', 'valdemijo', '14,824', 'ex-ministro.', 'fachin..', 'luléculas', '513', 'prendê-los..', 'peneiram', 'economistas..', '15/11', 'senadores..', '600', 'contra..', 'sendor', 'podemos-pr', 'ex3', \"'armamento\", 'kosel', 'joler', '14º', '\\u2060\\u2060\\u2060', 'mpf/rs', 'helley', 'criticam..', '5.600', '12a', 'mulher..', 'investigado..', 'omertà', '1981', '00:33', 'cis-urg', 'l12', 'curitiba..', 'fomento..', '3.ª', 'pode-mt', '2014/2015', 'quintale', 'clenan', '11,4', 'corupus', '4.898/65', 'br-174', '10,4', 'biotônicos', 'não..', '7º', 'rafre', '465', 'dashdot', '4,8', '–58', 'aapesar', 'previdência..', 'ameaças..', 'jardim..', 'meirelles..', '2017..', '4,4', '5h40', 'a3', 'acesso..', 'ressaltoou', 'recuperadíssimo', 'profetinha', '.380', '19h03', 'richam', '611.666', 'mai*', 'pedido..', '7/12', '1861', 'outro..', 'final..', '1/4', 'antirrefluxo', '57,1', 'fgv-dapp', 'invstigada', '160', 'político-partidário..', 'costumes..', '230', '800.', 'teretetê', 'cristalvox', '22.045.000', 'remarcasse', 'livianu', 'minipalestras', '26/06/1968', 'luca..', '16.', 'crise..', 'importantes..', 'preso..', '500', 'posicionaram..', 'teuto-israelense', '223', '38ª', 'presidência..', '164.', \"'sbt\", '17h57', '89', '221', 'cerebral..', 'ovetskogo', 'cvn-68', 'm.am', 'veículos..', 'equipe.dizem', 'drci/mj', 'nasofibrolaringoscopia', 'fanb', 'supremo..', '8:15', 'dicor', '10.950', 'rocinha..', 'antidetecção', 'dunegan', 'chechênia..', '1.761', '48º', '153', 'temerna', 'zelotes…', '1.829', 'violência..', '18h38', '20h30', '21,7', 'corridaderua', 'carauru', 'investigam..', 'consultoria..', 'casal20', '1965-2014', 'precisa..', '18h05', 'vídeochamada', 'terça..', 'penabaz', 'b-1', 'esquerdizar', '34,4', 'ayroza', 'lider-nato', '1.200.000', 'lula..', '15h58', '6º', '2.', 'kissimmeepolice', '44,4', '2x2', 'sessões..', '149', '-23ª', '1500.', '1986', 'islâmico..', '627.', 'yanomine', 'j10', \"'erro\", 'ouanet', 'describilidade', 'lobocão', 'boys..', '1', '232', 'safronkov', 'votações..', 'cusiosidade', 'artista..', '1932', '1.ª', 'senado..', '368.140', '998', 'caixa2', 'cleyber', 'podedwony', 'femvertising', 'pen-patriota', 'tretados', '272', 'f15', '560', '2-', 'terezamurray', 'abaki', '120', '12h40', 'gomea', '23,8', 'passariam-se', 'brasil/eua', \"'beira\", 'kuczynski..', 'erechin', 'traywick', 'gaúcha..', '77,1', '20,8', '8h', '2.957', 'dotard', 'meses..', \"'operação\", 'fox8', \"'velhos\", 'viru-viru', '0:30', 'pukchang', \"''a\", 'setembro..', 's-300', '4ª', '13,4', 'trf-4', 'ulchi', \"'averiguarão\", 'ideiam', '0,91', 'gétero', '1907', 'sularto', '2024', '3,1', '127', 'maracanã/odebrecht', 'getalha', 'militares..', 'altaídes', '315', '232.000,00', 'idema/rn', '18.042.279,04', 'acusações..', 'cumpanhera', \"'saidinha\", 'episódio-', '7.out', 'calonni', 'pacífico..', 'euzenando', 'p/', '30', '26ª', '21ª', '1950-1953', '19mn50', 'ilisp', 'rodong-1', 'manifestantes..', '3000', 'trf-1', 'causou.', 'exterior..', 'psdb..', '23h59', '30.', '2.75', '192,2', '16h', '10,7', '0800', 'helicoca', '12h30', 'dcbe', '18.', '1,020', 'mancionados', '380', 'york..', 'vem..', 'filha..', 'chefe-mor', 'young-moo', '1,89.', 'aulas..', '2.6', '348', '2×0', 'aproxmadamente', 'deepfake', '19/12', '02/09/2016', 'mautuoni', 'semana.confira', 'prêt-à-porter', 'shinmun', '29.947', '1865.', '19h/0h', 'ex-pp/pe', '1990.', 'udirley', 'ensino..', 'raivosidade', 'anti-ulcerosos', 'cheorwon', '91', '2016..', 'audiovisual/documentário', 'fujiro', 'detinadas', '1964..', 'poder360', '1.200', 'ok.', '330', 'g20/2017', '66,66', 'geladeria', '400,00', 'confira..', 'exame.', 'semanas..', '146', '1987-1992', '34,1', 'sisap', 'sercab', 'afirmmou', 'aossociada', '13h', '1km', '97/2017', 'órgãos..', 'dignifica…', 'petista..', 'itapetininga..', '29/11', 'jae-in..', 'jucá-sarney-renan', 'trabalhadores..', 'rivasplata', 'criminosos..', 'mp..', 'tacaria', '149.600.000', '*luísa', '1955.', 'mendherson', '3:00', '0,05', 'transformastes', 'myung-jae', '15º', '4.500', 'dilma..', '34.070/df', 'bolsonaro-sherazade', 'psdb/es', 'cãofusão', '214', 'semión', '3,773', 'mortes..', 'cubana..', 'justificativa.nós', '237', 'unhasu', 'df..', 'huveneers', '2.891', '501', 'diplomatas..', '87', 'b/', 'inovabra', 'nomeá-la..', 'al-kadafi', 'uniformizá-las', 'antagonista.com', 'rd1', 'atravessadora', 'inimigos..', 'triplo-x', 'penhorado..', '204', '1034', '850', '873', '46,4', '6kg', '33.763', 'zhiying', 'penitenciários..', 'parecem..', '21', 'entrevista..', 'su-24m', 'ptos', 'compra..', 'assacaram', 'dívidas..', 'irreversível..', '95', 'silva..', 'b-1s', 'r.', '1.000', 'trespach', '800', '238', '21/01/2016', '268', \"'unem\", '23:15', 'fazenda/governos', 'complementares..', 'aprovado..', 'il-80', 'f57', '12h05', 'equilibrar-', 'pardellas', 'kc-390', 'descaração', 'afundar*', 'luleco', 'correspondentesestudodomeio', '3..', 'quemos', 'jusbrasil', 'excrescência…', 'matanuska', 'nformações', 'anti-bolsonaro', '15/09', '0,8', '80,5', '2,95', 'dem/am', 'olho-que-tudo-vê', '2003/2008', 'inferiores..', \"'prática\", 'cruz..', 'desobstruí-las', 'trump..', \"'ganhar\", \"'golpe\", 'vítima..', 'plénário', 'fetranspor..', \"'defender\", 'braitt', '420', '460', 'arracadar', 'uberlândia..', '1993', 'ex-presidente..', '17.713/2016', 'chermikoski', 's.a.', '1.256', '06/02', '1945/1989', 'delação..', '175', '17h..', \"'faltou\", '3:58', 'guarapari/es', 'ministeriais..', '44,7', '3,79', '49..', 'f-16', 's-300pmu2', 'pgr..', 'asmaislidas', \"'garantir\", 'illuminat', 'mente..', '5.ago', '2008', 'obamacare..', 'f.', \"'importante\", 'país..', 'fetu', '3:21', 'gaozhou', 'trumpa', 'ilegal..', 'cabral..', 'contionou', '1977', '2014.', '20.', '7,3', '4.0', 'marciojg1952', '1,057', 'alasca..', '8:00', 'deuscher', 'possível..', 'desarmamento..', '1.773', '310', 'administrativa..', 'elas..', 'goyases', '31', '726', '13,7', '/basta', '965.', 'empresa..', '2,3', 'sampaio..', \"'juiz\", 'anellysando', '2000-2008', \"'janeiro\", 'deconhece', 'eletrônica..', '07.', 'coquetéis-molotov', 'palocc', 'contratação..', 'franco..', '2015.', '9', '86,5', '7,1', '9000', '10cabida', 'polêmica..', '1.915', '2.700', '135', 'deuntay', 'pp-mam', 'midiablindapsdb', 'casarino', 'cirurgia..', '5h45', 'má-fé..', '–a', 'caxias/rs', 'ilegalidade..', 'juntossomosmaisfortes', 'dilmês', 'heildberg', '18/11/2015', '840', '3.000.000', '1953', 'mãe..', '67.', '104', 'covarde.estamos', 'rousseff.', 'gomart', \"'batalhar\", 'excesso..', 'incrusive', 'ex-\\xadpre\\xadsidente', '1o', 'cidadãos..', '11', '51,5', 'oantagonista', 'romanholo', 'violento..', 'tiré-die', '1.165.000,00.', 'valores..', 'p-48', '1969', 'trambiques..', '1925', 'pinóquia', '19/06', 'atlântida..', '2.000', 'gosudarstvennoi', '2030.', '20h16', 'terb', '159', 'br-153', 'intimado..', '2023.', '170', 'gordofóbica', 'intelectual..', 'federal..', '1.312', 'black-block', 'democracia.', 'noite..', 'jogn-un', 'atrvavés', 'pode.', '20/01', '13,5', 'discursou..', '1996', '20,15', '2.802', 'respostas..', 'químicas..', '1057', '3.820.', 'refestelou', '10/2013', '700', '22.', '512/2010', 'warnor', '10concertada', 'novichok', 'edição..', \"'testaremos\", 'gelsner', '4,3', 'tetraplagia', '693', '16.280', '253', '730', '100', '2100', 'desarmonizar', '11.º', 'provitimas', 'lulopetista', 'tvglobinho', '437', 'nega..', '90º', 'federal–', '1993-94-95', 'møbjerg', 'povoá-las', 'emergentes..', 'illusionize', '550', '0,7', 'santo-daime', 'ac24horas.com', 'pantarces', 'lúcia*', 'king-jong-un', 'saborearia', 'reabastecidos..', 'calculite', 'comando..', 'janeiro/2018', \"'artefato\", '1790.', '8,975', '97/2015', '326', '0505', 'eleitorado..', '3ª', \"'dublê\", '7h30m', 'anglo-soviético', 'zoéga', '41', '266º', 'demoralizar', '28', '737', 'placa..', 'bomani', '10/05/17', 'janeiro/16', 'pipocos', 'islã..', '31,2', 'fechado..', 'tríplex–', 'paranoía', '365', 'alucinação..', '16º', 'mdb-ba', '504', 'jato.delações', 'conscientizar-se-ão', 'b29', 'ferida..', '1973', '154.', 'instalavas', '4700', '2.133', '55.000', 'gabriela*', 'scheidel', '1935/1940', 'ptdob/rj', 'samarco..', '58,2', '2.552.400', 'fact-checkers', 'ensaboando-se', 'investigações..', 'delclarou', 'guerra..', 'pmdb/ma', 'c90', '40ª', '9269/96', 'diretora..', 'arroz-feijão', 'táxis..', 'amãe', '119', 'dasabafou', 'analto', 'light..', 'atrás..', 'grev', 'somostodos', '12ª', 'af-1', 'unidos..', '.deve', 'comum..', '6h', '++tribunal', '03', 'dr.', '832,9', '109,3', '500.', '/h', 'min.', '39.', '300', 'arrastem..', 'pontos..', '559', 'ciadão', 'queda..', '442', 'rj..', 'fakeapp', 'temer..', 'impeachmints', '01/04/1994', 'ex-pitoto', 'ea-18g', 'paterna..', 'relator..', 'escolhe…', '87,6', '355', 'predatória..', '1971', '10.865', 's-400', 'sc+', '171', 'gianotto', 'cardiocenter', 'mumbra', 'turistas..', 'deficientes..', '335/2018', \"'bomba\", '865', 'catanduva/sp', '598.700', '4:10', 'oyuza', 'macrocorrupção', 'autolesionou', 'humanos..', 'wikleaks', '23,3', 'anti-donald', \"''\", '370', 'extraorçamentários', 'anatel..', 'internacionais..', 'jucá/pmdb', '5ª', 'passageiros–', 'viralizing', 'disopnibilidade', '0,3', 'nacional-desenvolvimentistas', 'emíluio', '–havia', '19:32', 'eliseu..', '391', 'pelletir', 'fiesp..', '2005.', 'crime..', 'afirmou..', 'garrito', 'réu..', 'coassina', 'hwasong-13', '1.926', '178', '–ainda', '163,3', 'marc-william', '50°', 'extravagar-se', '3-gladson', '14.806', '1,2', 'controlada..', 'palcos..', 'rs-28', 'plutocratização', 'malfeitonas', 'automáticas..', 'protegido..', '4:45', 'parondi', 'janeiro..', '750', '199.', '782', 'salvador..', '16h37', 'estilos..', \"'diário\", 'hanashimassu', '3054', '13h05', 'amador..', '13/10/1917', 'proposta..', '1,095', 'hipoótese', '64,3', 'à', 'contrariandoi', '1,4', 'v=61b3pa3pcqo', '31/01/2013', '2002', 'jbs..', 'réplicas..', 'acaba.', '17/11', '29,000', '18,7', '18h', 'apocalipse..', '11:40', \"'difamatória\", '2,44', 'asilo..', '407', '75', 'vitimistas', 'entesourou', 'piti-dog', '130', '30.934,00.', 'terezoca', '10h20', 'social..', '3h17', 'àgua', 'latina..', 'p***', 'armadas..', 'brasileiro..', '10ª', 'jjustiça', 'ipmeachment', '356,6', 'jucé', 'piore..', '416', '4:00', 'funpresp-jud', 'moiki', '677', 'hwasong-14', 'ediondos', 'mil..', 'conheceu..', 'experiência..', '10min45s', '75,6', 'municipal..', '88.', 'ccontaminação', '9/7', 'rússia..', 'chirikova', 'akyzo', '31,5', 'a-4ku-skyhawk', '1889', '34.ª', '1ª', 'atutal', 'superdelação', '6,80', '2029', 'black-dogs', 'milagre..', '529,8', '50ºc', '21,6', '1500', '113/2015', '93', 'predidência', 'repasse..', 'nenhumos', '136.', 'norte..', 'habrich', 'vs.', 'escravo..', 'videoconferencia', '854.387', '+veja', '4-roberto', '1989..', 'obrigadoirma', 'nomeação..', 'pleiteia-se', '49,50', '2.016', 'schroeder/sc', 'fictício..', 'balestreri', \"'refugiadas\", 'ultracurto', 'foradilma', '2500', 'ah-64', 'sondassem', 'ocupação..', '229.837', 'eco-92', 'mr.', 'presidanta', 'scritório', '8.000', '30.934', '1953-1953', '11.399.285,00', '171.', '10,1', '1998/1999', 'dr.h.c', 'partiurs', '11,3', '1859.', '157.', 'heiderich', 'pessoas..', 'candidatos..', '192', 'miniguerras', 'propina..', '-renan', '–característica', 'blindarem', 'cheia..', 'trumpczyk', '300,9', 'pecuarita', 'respeite-te', 'printou', 'carnavália-sambacon', 'ministrodo', 'abril..', '10.400', '255', '13ª', '1964-85', 'frevo..', 'apoio..', 'locupletou-se', 'carvalho-brasília', 'máquinas..', 'reembaralhadas', 'desembargadores..', 'pimentorium', 'apequenou-se', '1942', 'terça\\xad-feira', 'dirapaescom', '162/2017', '1.', 'mdb-al', 'cinefoto', '7.892', 'paraná..', '2,28', '62', 'di-menor', '330.000', '14h21', 'civil/dilma', 'consumado.', \"'retribuir\", '2º', '24310', '4g', '13.ª', '15,640', '16:30', '12h07', '950.000', '163/2017', 'profissão..', '6.', 'feridas..', 'ultrapasssa', '20h', 'francinne', 'oposição..', '218', '23/02', '98ª', 'emotiv', 'desculpas..', '16,1', '14,25', '1.233/2016', '125', 'semana..', 'n9', '4,20', 'propinodutos', 'v=4o0iztvamis', 'v=ggp6mwoz0js', 'iníico', 'gastos..', 'albatroid', '30/11', 'quarto-sala', 'celso*', 'garschagen', 'adulterasse', 'multipresidente', '2,8', '14h56', 'investimentos..', '735', 'cetic', 'investigadas..', '336/2017', '7,74', 'polícia..', 'pralom', '2.500', 'exame..', 'atagonismo', 'expulsos..', '814', '6,266', 'brasileiros..', 'sheikhoun', 'lava-jato..', 'notícias..', 'kilonova', 'metrô..', 'entinho', 'fm107,3', 'caerca', '16h10', '2019..', \"'chico\", 'autoriza..', '15h30', '23/11', 'superior..', '11,9', 'drosophyla', '316', '157', '7.', 'nadar..', 'veja_tambem', 'grupo..', 'sollares', 'kn-08', 'josé/barrinha', '21mar16', '8h46', 'vaccineinjury.info', '2030', 'ohca', 'departo', '49,96', '1.º', '98', 'descobriu.esse', '4717/1965', '321,3', 'deputados.', 'bilhao', '1.274.000,00', '0h10', 'fujiura', 'brazuela', \"'eventuais\", '1997.', 'cgu..', '12h', 'tratos-infantis', 'setor..', '75/93', 'psd/rj', 'básico..', 'encarceramento..', 'desbancará', '1.874,00', 'nuclear..', '46,5', 'esú', 'bretas..', '23.', 'independência..', 'sung-han', '–como', '293', '152', 'médica..', '105º', 'danos..', 'piyako', 'penetrator', 'sp..', 'pimentel/governo', 'acusação..', '1989', 'terraplanistas', 'iskin', 'setebrasil', 'wyyllys', 'gentstvo', 'inestimada', '//www.youtube.com/watch', '60/90', '3,15', 'intracromossomial', 'gerais..', 'telefone-tronco', 'prisões..', '8.ª', 'fubangos', '9..', '4,5', 'propinas..', 'ti.', '12h/0h30', '22ª', '20.832', \"'textão\", '1917.', '6.3', '1946', '1:20', '44', '59.103', 'buzakov', 'redebrasil.net', '15,5', 'bogato', 'www.estadao.com', 'gushi', 'rak-gyom', 'printada', 'henschke', 'impeachmados', 'sempreestareiaoseulado', '1100', 'mdb-rj', '5.073'}\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KDQo6l-8jVlU",
        "outputId": "04b652e6-9425-48db-e662-d246b08e7d33",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 85
        }
      },
      "source": [
        "# k-fold cross-validation\n",
        "k = 10\n",
        "\n",
        "folds, folds_labels = shuffle(wv_data, wv_labels)\n",
        "folds = np.array_split(folds, k)\n",
        "folds_labels = np.array_split(folds_labels, k)\n",
        "\n",
        "accuracies = []\n",
        "for i in range(len(folds)):\n",
        "    # separating data\n",
        "    test_data, test_labels = folds[i], folds_labels[i]\n",
        "    training_data = np.concatenate( [folds[j] for j in range(len(folds)) if j != i] )\n",
        "    training_labels = np.concatenate( [folds_labels[j] for j in range(len(folds)) if j != i] )\n",
        "\n",
        "    # preparing model\n",
        "    model = tf.keras.Sequential([\n",
        "        tf.keras.layers.Masking(mask_value=MASK_VALUE),\n",
        "        tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32, return_sequences=True)), #, kernel_regularizer=tf.keras.regularizers.l2(3))),\n",
        "        #tf.keras.layers.Dropout(0.25),\n",
        "        tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),  #, kernel_regularizer=tf.keras.regularizers.l2(3))),\n",
        "        #tf.keras.layers.Dropout(0.25),\n",
        "        tf.keras.layers.Dense(32, activation=\"relu\"),\n",
        "        tf.keras.layers.Dense(1, activation=\"sigmoid\")\n",
        "    ])\n",
        "\n",
        "    model.compile(loss=\"binary_crossentropy\",\n",
        "                  optimizer=tf.keras.optimizers.Adam(1e-3),\n",
        "                  metrics=[\"accuracy\"])\n",
        "    \n",
        "    # training\n",
        "    model.fit(training_data, training_labels, epochs=10, \n",
        "              validation_data=(test_data, test_labels), \n",
        "              callbacks=[ClearCallback(i + 1, k)])\n",
        "    \n",
        "    # evaluating\n",
        "    loss, acc = model.evaluate(test_data, test_labels)\n",
        "    accuracies.append(acc)\n",
        "\n",
        "clear_output(wait=True)\n",
        "print(\"\\n Cross-validation finished! Results:\")\n",
        "print(\" . Mean accuracy: %.2f%%\" % (100*np.mean(accuracies)))\n",
        "print(\" . Accuracies std: %.2f%%\" % (100*np.std(accuracies)))"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\n",
            " Cross-validation finished! Results:\n",
            " . Mean accuracy: 93.56%\n",
            " . Accuracies std: 0.85%\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}