train_test_2.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from articlehelper import ArticleHandler, RePostprocessor, map_category_ukrpravda, map_category_bruk\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "from sklearn.model_selection import train_test_split\n",
    "import logging\n",
    "MASK = 'data\\\\news'\n",
    "zip_fname = MASK + '.zip'\n",
    "train_fname = MASK + '_train.txt'\n",
    "test_fname = MASK + '_test.txt'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:Can't read file blogs_pravda_com_ua__shorter/blog/blogs_pravda_com_ua_authors_farion_58f260f317f55.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 87, in _read_file\n",
      "    s = '\\n'.join(h.item['body'])\n",
      "KeyError: 'body'\n",
      "ERROR:root:Can't read file blogs_pravda_com_ua__shorter/blog/blogs_pravda_com_ua_authors_fedoriv_5aa62c7778ea9.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 90, in _read_file\n",
      "    lang = langid.classify(s)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 107, in classify\n",
      "    return identifier.classify(instance)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 294, in classify\n",
      "    fv = self.instance2fv(text)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 279, in instance2fv\n",
      "    arr[index] += statecount[state]\n",
      "KeyboardInterrupt\n",
      "ERROR:root:Can't read file www_epravda_com_ua/publications/www_epravda_com_ua_publications_2017_12_26_632533.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 87, in _read_file\n",
      "    s = '\\n'.join(h.item['body'])\n",
      "KeyError: 'body'\n",
      "ERROR:root:Can't read file www_epravda_com_ua/publications/www_epravda_com_ua_publications_2018_02_13_634011.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 90, in _read_file\n",
      "    lang = langid.classify(s)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 107, in classify\n",
      "    return identifier.classify(instance)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 295, in classify\n",
      "    probs = self.norm_probs(self.nb_classprobs(fv))\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\site-packages\\langid\\langid.py\", line 285, in nb_classprobs\n",
      "    pdc = np.dot(fv,self.nb_ptc)\n",
      "KeyboardInterrupt\n",
      "ERROR:root:Can't read file www_pravda_com_ua/articles/www_pravda_com_ua_articles_2018_03_13_7174289.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 2, column 27\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:2:27: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file www_pravda_com_ua/news/www_pravda_com_ua_news_2017_11_11_7161425.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 2, column 10\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:2:10: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file www_pravda_com_ua/news/www_pravda_com_ua_news_2017_11_4_7160678.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 2, column 19\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:2:19: not well-formed (invalid token)\n"
     ]
    }
   ],
   "source": [
    "articles = ArticleHandler.read_zip(zip_fname)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:Error with www_pravda_com_ua/articles/www_pravda_com_ua_articles_2018_03_15_7174621.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-3-42e2072f21df>\", line 4, in <module>\n",
      "    doc['category'] = map_category_ukrpravda(doc)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 215, in map_category_ukrpravda\n",
      "    url = doc['url']\n",
      "KeyError: 'url'\n",
      "ERROR:root:Error with www_pravda_com_ua/news/www_pravda_com_ua_news_2017_11_11_7161428.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-3-42e2072f21df>\", line 4, in <module>\n",
      "    doc['category'] = map_category_ukrpravda(doc)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 215, in map_category_ukrpravda\n",
      "    url = doc['url']\n",
      "KeyError: 'url'\n",
      "ERROR:root:Error with www_pravda_com_ua/news/www_pravda_com_ua_news_2017_11_4_7160679.txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-3-42e2072f21df>\", line 4, in <module>\n",
      "    doc['category'] = map_category_ukrpravda(doc)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 215, in map_category_ukrpravda\n",
      "    url = doc['url']\n",
      "KeyError: 'url'\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>authors</th>\n",
       "      <th>authors_description</th>\n",
       "      <th>autocategory</th>\n",
       "      <th>body</th>\n",
       "      <th>category</th>\n",
       "      <th>date</th>\n",
       "      <th>filename</th>\n",
       "      <th>language</th>\n",
       "      <th>tags</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Альона Матвієнко</td>\n",
       "      <td>Балетний продюсер</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Наше Министерство культуры продолжает генерир...</td>\n",
       "      <td>blog</td>\n",
       "      <td>02 квітня 2016, 23:22</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика, Уряд реформ]</td>\n",
       "      <td>Наше Министерство культуры продолжает генериро...</td>\n",
       "      <td>ИГРА В ИМИТАЦИЮ ЗА 3 МЛРД ГРИВЕН</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/amatvienko...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Альона Матвієнко</td>\n",
       "      <td>Балетний продюсер</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Причиной его стал конфликт между администраци...</td>\n",
       "      <td>blog</td>\n",
       "      <td>28 лютого 2017, 17:08</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Культура, Корупція]</td>\n",
       "      <td>Причиной его стал конфликт между администрацие...</td>\n",
       "      <td>В Национальной Опере очередной скандал или МЫ ...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/amatvienko...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Друзі,, повідомляю новину. Від сьогодні ви мо...</td>\n",
       "      <td>blog</td>\n",
       "      <td>12 грудня 2014, 11:58</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Друзі,\\nповідомляю новину. Від сьогодні ви мож...</td>\n",
       "      <td>РЕПОРТЕРСЬКА СОТНЯ ЗНІМАТИМЕ ВІДЕО ПРО ЖИТТЯ В...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Деякі депутати і досі уберігають свою професі...</td>\n",
       "      <td>blog</td>\n",
       "      <td>22 січня 2015, 00:26</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Деякі депутати і досі уберігають свою професій...</td>\n",
       "      <td>Що приховують 9 комітетів?</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Комісія з питань приватизація провела цієї се...</td>\n",
       "      <td>blog</td>\n",
       "      <td>06 березня 2015, 09:04</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Комісія з питань приватизація провела цієї сер...</td>\n",
       "      <td>Коломойський і засідання не для преси</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Народні депутати винайшли новий спосіб порушу...</td>\n",
       "      <td>blog</td>\n",
       "      <td>16 квітня 2015, 11:14</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Народні депутати винайшли новий спосіб порушув...</td>\n",
       "      <td>Новий тренд кнопкодавства</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Числені заяви з проханням не зараховувати рез...</td>\n",
       "      <td>blog</td>\n",
       "      <td>01 березня 2016, 08:12</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Числені заяви з проханням не зараховувати резу...</td>\n",
       "      <td>Голоси-привиди, чи банальні кнопкодави?: ВІДЕО</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Народні депутати рясно декларують презенти на...</td>\n",
       "      <td>blog</td>\n",
       "      <td>19 квітня 2016, 08:38</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Народні депутати рясно декларують презенти на ...</td>\n",
       "      <td>Мільйони в подарунок депутатам</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Бюджетний комітет відхилив ідею розміщувати а...</td>\n",
       "      <td>blog</td>\n",
       "      <td>06 травня 2016, 08:21</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Бюджетний комітет відхилив ідею розміщувати ау...</td>\n",
       "      <td>ДЕПУТАТИ БОЯТЬСЯ ВЛАСНОГО ГОЛОСУ. ОСЬ ЧОМУ</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Суддя вищого адміністративного суду Євгенія У...</td>\n",
       "      <td>blog</td>\n",
       "      <td>08 листопада 2016, 09:07</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Суддя вищого адміністративного суду Євгенія Ус...</td>\n",
       "      <td>ДЕКЛАРАЦІЇ СУДДІВ. ЗЕМЛЯ – ГЕКТАРАМИ, БУДИНКИ ...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Суддя Вищого господарського суду Артур Ємелья...</td>\n",
       "      <td>blog</td>\n",
       "      <td>16 листопада 2016, 08:11</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Суддя Вищого господарського суду Артур Ємельян...</td>\n",
       "      <td>Підозрюваний суддя Ємельянов подався на посаду...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Члену Вищої ради юстиції Павлу Гречківському ...</td>\n",
       "      <td>blog</td>\n",
       "      <td>02 грудня 2016, 10:23</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Члену Вищої ради юстиції Павлу Гречківському П...</td>\n",
       "      <td>Новини у справі Гречківського</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[16 лютого 2017 року відбудеться тестування пр...</td>\n",
       "      <td>blog</td>\n",
       "      <td>14 лютого 2017, 10:18</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>16 лютого 2017 року відбудеться тестування пре...</td>\n",
       "      <td>Кандидати до Верховного суду та їхній шлейф</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[У судах вважають, що журналісти та інші грома...</td>\n",
       "      <td>blog</td>\n",
       "      <td>27 лютого 2017, 07:57</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>У судах вважають, що журналісти та інші громад...</td>\n",
       "      <td>Суддівські відпустки</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Оприлюднення декларацій родинних зв'язків та ...</td>\n",
       "      <td>blog</td>\n",
       "      <td>15 травня 2017, 06:48</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Оприлюднення декларацій родинних зв'язків та д...</td>\n",
       "      <td>СУДДІВСЬКІ РОДИНИ. СПІЛЬНІ РІШЕННЯ.</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>Сергій Андрушко</td>\n",
       "      <td>Журналіст</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Справи у Вищих судах України, щоб не було упе...</td>\n",
       "      <td>blog</td>\n",
       "      <td>08 червня 2017, 17:08</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Справи у Вищих судах України, щоб не було упер...</td>\n",
       "      <td>Справи автоматом в правильні руки. Суддівські ...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/andrushko/...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[…В конце прошлого года рядом со мной на харьк...</td>\n",
       "      <td>blog</td>\n",
       "      <td>19 липня 2007, 10:33</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>…В конце прошлого года рядом со мной на харько...</td>\n",
       "      <td>\"Что делать\" (полемические заметки, основанные...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/469...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Послесловие к докладу, Итак, что есть такое И...</td>\n",
       "      <td>blog</td>\n",
       "      <td>20 липня 2007, 22:04</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Послесловие к докладу\\nИтак, что есть такое ИМ...</td>\n",
       "      <td>\"Молчание интеллигенции\" (послесловие к докладу)</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/46a...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[На улице лето 2006-го. С декабря 2004-го прош...</td>\n",
       "      <td>blog</td>\n",
       "      <td>20 липня 2007, 22:42</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>На улице лето 2006-го. С декабря 2004-го прошл...</td>\n",
       "      <td>\"Украина. Лезвие бритвы\"</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/46a...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Я задумывался над аналогиями и стал припомина...</td>\n",
       "      <td>blog</td>\n",
       "      <td>20 липня 2007, 23:26</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Я задумывался над аналогиями и стал припоминат...</td>\n",
       "      <td>\"Листопад\"</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/46a...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Украина. Апрель 2007.Президент распустил парл...</td>\n",
       "      <td>blog</td>\n",
       "      <td>21 липня 2007, 00:01</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Украина. Апрель 2007.Президент распустил парла...</td>\n",
       "      <td>\"О негодяях\" (к 200-летию негодяйского движения)</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/46a...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Претензия N3. Умышленное убийство отрасли про...</td>\n",
       "      <td>blog</td>\n",
       "      <td>28 серпня 2007, 23:18</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Претензия N3. Умышленное убийство отрасли прои...</td>\n",
       "      <td>Мимо!? – продолжение (ночь вторая)</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/46d...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Иногда, как посмотришь на объем нереализованн...</td>\n",
       "      <td>blog</td>\n",
       "      <td>02 січня 2015, 22:50</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Иногда, как посмотришь на объем нереализованны...</td>\n",
       "      <td>ПРОЩАНИЕ С ЕДАПСОМ</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/54a...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Что может выглядеть так же ужасно, дорогой мо...</td>\n",
       "      <td>blog</td>\n",
       "      <td>29 січня 2015, 17:47</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика, Корупція]</td>\n",
       "      <td>Что может выглядеть так же ужасно, дорогой мой...</td>\n",
       "      <td>Позор военкома. Тюрьма вместо Канады</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/54c...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Сегодня вручал раненым бойцам награды и кварт...</td>\n",
       "      <td>blog</td>\n",
       "      <td>17 лютого 2015, 16:36</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Сегодня вручал раненым бойцам награды и кварти...</td>\n",
       "      <td>Работа для крепких духом</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/54e...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Да, мы все генетически не любим власть и не д...</td>\n",
       "      <td>blog</td>\n",
       "      <td>05 червня 2015, 09:09</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Да, мы все генетически не любим власть и не до...</td>\n",
       "      <td>Чуваку не с Марса</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/557...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Слишком много радости расходуется на ожидание...</td>\n",
       "      <td>blog</td>\n",
       "      <td>03 липня 2015, 09:16</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Слишком много радости расходуется на ожидание ...</td>\n",
       "      <td>ТВОЯ НОВАЯ ПОЛИЦИЯ. РАБОТАЕМ!</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/559...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Сьогодні у Львові прийняла присягу нова патру...</td>\n",
       "      <td>blog</td>\n",
       "      <td>23 серпня 2015, 13:34</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Сьогодні у Львові прийняла присягу нова патрул...</td>\n",
       "      <td>ЛЬВІВСЬКА ПОЛІЦІЯ. КАПРАЛ КУЛЬЧИЦЬКА ПРОДОВЖУЄ...</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/55d...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[Вчера в Черновцах. Встретились... Львовский п...</td>\n",
       "      <td>blog</td>\n",
       "      <td>04 жовтня 2015, 21:14</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>ru</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>Вчера в Черновцах. Встретились... Львовский по...</td>\n",
       "      <td>Встретились... шаги изменений</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/561...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>Арсен Аваков</td>\n",
       "      <td>Міністр внутрішніх справ</td>\n",
       "      <td>blog</td>\n",
       "      <td>[За підсумками роботи перших місяців патрульно...</td>\n",
       "      <td>blog</td>\n",
       "      <td>06 жовтня 2015, 19:03</td>\n",
       "      <td>blogs_pravda_com_ua__shorter/blog/blogs_pravda...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Політика]</td>\n",
       "      <td>За підсумками роботи перших місяців патрульної...</td>\n",
       "      <td>ЗРАДА НА МАРШІ</td>\n",
       "      <td>https://blogs.pravda.com.ua/authors/avakov/561...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5353</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У вистній будівлі Trump Tower, що належить пр...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 03:08</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[США, надзвичайна подія]</td>\n",
       "      <td>У вистній будівлі Trump Tower, що належить пре...</td>\n",
       "      <td>У хмарочосі Trump Tower в Нью-Йорку сталася по...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177084/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5354</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Щонайменше 150 людей загинули отруївшись токс...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 04:09</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Сирія]</td>\n",
       "      <td>Щонайменше 150 людей загинули отруївшись токси...</td>\n",
       "      <td>Волонтери: В результаті хіматаки в Сирії загин...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177085/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5355</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Засуджений за звинуваченням у корупції колишн...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 04:45</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Бразилія, суд, корупція]</td>\n",
       "      <td>Засуджений за звинуваченням у корупції колишні...</td>\n",
       "      <td>Екс-президент Бразилії Лула да Сілва здався по...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177086/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5356</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Троє українських школярів посіли перші місця ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 05:56</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[діти, Міносвіти]</td>\n",
       "      <td>Троє українських школярів посіли перші місця н...</td>\n",
       "      <td>Троє українських школярів перемогли на конкурс...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177087/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5357</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Сергію та Юлії Скрипаль запропонують нові осо...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 06:50</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Велика Британія, США, Росія, шпигунство]</td>\n",
       "      <td>Сергію та Юлії Скрипаль запропонують нові особ...</td>\n",
       "      <td>ЗМІ: Скрипалям запропонують жити в США під нов...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177088/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5358</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[В результаті пожежі в хмарочосі Trump Tower в...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 07:12</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[США, надзвичайна подія]</td>\n",
       "      <td>В результаті пожежі в хмарочосі Trump Tower в ...</td>\n",
       "      <td>У пожежі в Trump Tower загинула одна людина</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177089/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5359</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Минулої доби російсько-окупаційні війська про...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 07:31</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[АТО, бойові дії, Донбас]</td>\n",
       "      <td>Минулої доби російсько-окупаційні війська прод...</td>\n",
       "      <td>Перед Великоднем бойовики стріляли 42 рази, є ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177090/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5360</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Згідно із законом, колишні учасники незаконни...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 07:57</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[АТО, Донбас, поліція]</td>\n",
       "      <td>Згідно із законом, колишні учасники незаконних...</td>\n",
       "      <td>За останні десять днів в поліцію Донеччини зда...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177091/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5361</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Президент Петро Порошенко привітав українців ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 09:32</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Порошенко, святкування, армія]</td>\n",
       "      <td>Президент Петро Порошенко привітав українців з...</td>\n",
       "      <td>Порошенко привітав з Великоднем і нагадав про ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177092/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5362</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У Держслужбі з надзвичайних ситуацій попередж...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 09:58</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[ДСНС, погода]</td>\n",
       "      <td>У Держслужбі з надзвичайних ситуацій попереджа...</td>\n",
       "      <td>Рятувальники попередили про підвищення рівня в...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177093/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5363</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Посольство Великобританії в РФ офіційно повід...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 10:43</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Велика Британія, Росія, скандал]</td>\n",
       "      <td>Посольство Великобританії в РФ офіційно повідо...</td>\n",
       "      <td>Племінниці Скрипаля офіційно повідомили, що у ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177095/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5364</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Команда судна \"Норд\" в ніч на 8 квітня намага...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 10:58</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Росія, Крим, суд]</td>\n",
       "      <td>Команда судна \"Норд\" в ніч на 8 квітня намагал...</td>\n",
       "      <td>Представники Генконсульства РФ намагалися виве...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177096/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5365</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Вперше у російській історії рейтинг популярно...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 11:47</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[соціологія, Росія]</td>\n",
       "      <td>Вперше у російській історії рейтинг популярнос...</td>\n",
       "      <td>Для росіян День перемоги став важливішим за Но...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177098/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5366</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[За злочин проти людяності, яким можуть визнат...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 12:23</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Сирія, Росія, зброя, Клімкін]</td>\n",
       "      <td>За злочин проти людяності, яким можуть визнати...</td>\n",
       "      <td>Клімкін: За атаку у Сирії мають відповісти зло...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177100/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5367</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У Криму внаслідок аварії на одному з залізнич...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 12:51</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Крим, аварія, жертви]</td>\n",
       "      <td>У Криму внаслідок аварії на одному з залізничн...</td>\n",
       "      <td>РосЗМІ: У Криму зіткнулися електричка та автоб...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177102/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5368</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Великодня ніч в Україні минула спокійно, учас...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 13:34</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[поліція, релігія]</td>\n",
       "      <td>Великодня ніч в Україні минула спокійно, участ...</td>\n",
       "      <td>Поліція: паски святили майже 7 млн людей, все ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177105/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5369</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Представники ОРДО видали 172 тисячі \"паспорті...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 13:45</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[ОРДЛО, паспорт]</td>\n",
       "      <td>Представники ОРДО видали 172 тисячі \"паспортів...</td>\n",
       "      <td>В ОРДО заявили, що вже наштампували і видали 1...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177106/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5370</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[НАБУ підозрює командування Державної спеціаль...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 14:03</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[НАБУ]</td>\n",
       "      <td>НАБУ підозрює командування Державної спеціальн...</td>\n",
       "      <td>НАБУ почало розслідувати будівництво житла \"дл...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177107/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5371</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Окупаційна влада Криму намагається терміново ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 15:08</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Крим]</td>\n",
       "      <td>Окупаційна влада Криму намагається терміново п...</td>\n",
       "      <td>Екіпажу \"Норду\" намагаються передати українськ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177110/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5372</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Представники ФСБ 6 квітня увірвалися до мечет...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 16:06</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Крим]</td>\n",
       "      <td>Представники ФСБ 6 квітня увірвалися до мечеті...</td>\n",
       "      <td>В окупованому Криму силовики увірвалися до меч...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177113/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5373</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Журналіст \"Голосу Америки\" Фатіма Тлісова опу...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 16:31</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Росія, кордон, Донбас]</td>\n",
       "      <td>Журналіст \"Голосу Америки\" Фатіма Тлісова опуб...</td>\n",
       "      <td>З'явилося відео руху російської техніки за 40 ...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177115/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5374</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[МАУ може знову подати в суд на Ryanair, якщо ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 17:19</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[авіа, суд]</td>\n",
       "      <td>МАУ може знову подати в суд на Ryanair, якщо п...</td>\n",
       "      <td>МАУ може подати в суд на Ryanair</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177116/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5375</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Президент США Дональд Трамп назвав президента...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 18:02</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Трамп, Росія, Сирія]</td>\n",
       "      <td>Президент США Дональд Трамп назвав президента ...</td>\n",
       "      <td>Трамп про Сирію: Росія та Іран заплатять велик...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177117/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5376</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Генпрокуратура РФ має намір оприлюднити матер...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 18:25</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Росія, Велика Британія]</td>\n",
       "      <td>Генпрокуратура РФ має намір оприлюднити матері...</td>\n",
       "      <td>РФ обіцяє показати компромат на Британію про Б...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177119/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5377</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У неділю зафіксовано 12 обстрілів українських...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 18:39</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[АТО]</td>\n",
       "      <td>У неділю зафіксовано 12 обстрілів українських ...</td>\n",
       "      <td>На Великдень у зоні АТО поранено 4 військових</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177120/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5378</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У неділю на території Київського зоопарку ста...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 20:03</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Київ, ДСНС]</td>\n",
       "      <td>У неділю на території Київського зоопарку стал...</td>\n",
       "      <td>У київському зоопарку сталася пожежа</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177122/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5379</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[У Миколаївському слідчому ізоляторі 8 квітня ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 20:31</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[Миколаїв, СІЗО]</td>\n",
       "      <td>У Миколаївському слідчому ізоляторі 8 квітня к...</td>\n",
       "      <td>У Миколаївському СІЗО десятки в'язнів відмовля...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177123/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5380</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[9 квітня по всій Україні очікується погода бе...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 20:49</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[погода]</td>\n",
       "      <td>9 квітня по всій Україні очікується погода без...</td>\n",
       "      <td>У понеділок в Україні буде по-літньому тепло</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177124/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5381</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Рада безпеки ООН планує в понеділок провести ...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 21:42</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[ООН, Сирія]</td>\n",
       "      <td>Рада безпеки ООН планує в понеділок провести е...</td>\n",
       "      <td>Радбез ООН проведе екстрене засідання щодо хім...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177126/</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5382</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>news</td>\n",
       "      <td>[Північна Корея вперше висловила США свою гото...</td>\n",
       "      <td>news</td>\n",
       "      <td>Неділя, 8 квітня 2018, 23:11</td>\n",
       "      <td>www_pravda_com_ua/news/www_pravda_com_ua_news_...</td>\n",
       "      <td>uk</td>\n",
       "      <td>[КНДР, США, ядерна зброя]</td>\n",
       "      <td>Північна Корея вперше висловила США свою готов...</td>\n",
       "      <td>КНДР готова обговорити з Трампом денуклеаризац...</td>\n",
       "      <td>https://www.pravda.com.ua/news/2018/04/8/7177127/</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>5383 rows × 12 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "               authors       authors_description autocategory  \\\n",
       "0     Альона Матвієнко         Балетний продюсер         blog   \n",
       "1     Альона Матвієнко         Балетний продюсер         blog   \n",
       "2      Сергій Андрушко                 Журналіст         blog   \n",
       "3      Сергій Андрушко                 Журналіст         blog   \n",
       "4      Сергій Андрушко                 Журналіст         blog   \n",
       "5      Сергій Андрушко                 Журналіст         blog   \n",
       "6      Сергій Андрушко                 Журналіст         blog   \n",
       "7      Сергій Андрушко                 Журналіст         blog   \n",
       "8      Сергій Андрушко                 Журналіст         blog   \n",
       "9      Сергій Андрушко                 Журналіст         blog   \n",
       "10     Сергій Андрушко                 Журналіст         blog   \n",
       "11     Сергій Андрушко                 Журналіст         blog   \n",
       "12     Сергій Андрушко                 Журналіст         blog   \n",
       "13     Сергій Андрушко                 Журналіст         blog   \n",
       "14     Сергій Андрушко                 Журналіст         blog   \n",
       "15     Сергій Андрушко                 Журналіст         blog   \n",
       "16        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "17        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "18        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "19        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "20        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "21        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "22        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "23        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "24        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "25        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "26        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "27        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "28        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "29        Арсен Аваков  Міністр внутрішніх справ         blog   \n",
       "...                ...                       ...          ...   \n",
       "5353               NaN                       NaN         news   \n",
       "5354               NaN                       NaN         news   \n",
       "5355               NaN                       NaN         news   \n",
       "5356               NaN                       NaN         news   \n",
       "5357               NaN                       NaN         news   \n",
       "5358               NaN                       NaN         news   \n",
       "5359               NaN                       NaN         news   \n",
       "5360               NaN                       NaN         news   \n",
       "5361               NaN                       NaN         news   \n",
       "5362               NaN                       NaN         news   \n",
       "5363               NaN                       NaN         news   \n",
       "5364               NaN                       NaN         news   \n",
       "5365               NaN                       NaN         news   \n",
       "5366               NaN                       NaN         news   \n",
       "5367               NaN                       NaN         news   \n",
       "5368               NaN                       NaN         news   \n",
       "5369               NaN                       NaN         news   \n",
       "5370               NaN                       NaN         news   \n",
       "5371               NaN                       NaN         news   \n",
       "5372               NaN                       NaN         news   \n",
       "5373               NaN                       NaN         news   \n",
       "5374               NaN                       NaN         news   \n",
       "5375               NaN                       NaN         news   \n",
       "5376               NaN                       NaN         news   \n",
       "5377               NaN                       NaN         news   \n",
       "5378               NaN                       NaN         news   \n",
       "5379               NaN                       NaN         news   \n",
       "5380               NaN                       NaN         news   \n",
       "5381               NaN                       NaN         news   \n",
       "5382               NaN                       NaN         news   \n",
       "\n",
       "                                                   body category  \\\n",
       "0     [Наше Министерство культуры продолжает генерир...     blog   \n",
       "1     [Причиной его стал конфликт между администраци...     blog   \n",
       "2     [Друзі,, повідомляю новину. Від сьогодні ви мо...     blog   \n",
       "3     [Деякі депутати і досі уберігають свою професі...     blog   \n",
       "4     [Комісія з питань приватизація провела цієї се...     blog   \n",
       "5     [Народні депутати винайшли новий спосіб порушу...     blog   \n",
       "6     [Числені заяви з проханням не зараховувати рез...     blog   \n",
       "7     [Народні депутати рясно декларують презенти на...     blog   \n",
       "8     [Бюджетний комітет відхилив ідею розміщувати а...     blog   \n",
       "9     [Суддя вищого адміністративного суду Євгенія У...     blog   \n",
       "10    [Суддя Вищого господарського суду Артур Ємелья...     blog   \n",
       "11    [Члену Вищої ради юстиції Павлу Гречківському ...     blog   \n",
       "12    [16 лютого 2017 року відбудеться тестування пр...     blog   \n",
       "13    [У судах вважають, що журналісти та інші грома...     blog   \n",
       "14    [Оприлюднення декларацій родинних зв'язків та ...     blog   \n",
       "15    [Справи у Вищих судах України, щоб не було упе...     blog   \n",
       "16    […В конце прошлого года рядом со мной на харьк...     blog   \n",
       "17    [Послесловие к докладу, Итак, что есть такое И...     blog   \n",
       "18    [На улице лето 2006-го. С декабря 2004-го прош...     blog   \n",
       "19    [Я задумывался над аналогиями и стал припомина...     blog   \n",
       "20    [Украина. Апрель 2007.Президент распустил парл...     blog   \n",
       "21    [Претензия N3. Умышленное убийство отрасли про...     blog   \n",
       "22    [Иногда, как посмотришь на объем нереализованн...     blog   \n",
       "23    [Что может выглядеть так же ужасно, дорогой мо...     blog   \n",
       "24    [Сегодня вручал раненым бойцам награды и кварт...     blog   \n",
       "25    [Да, мы все генетически не любим власть и не д...     blog   \n",
       "26    [Слишком много радости расходуется на ожидание...     blog   \n",
       "27    [Сьогодні у Львові прийняла присягу нова патру...     blog   \n",
       "28    [Вчера в Черновцах. Встретились... Львовский п...     blog   \n",
       "29    [За підсумками роботи перших місяців патрульно...     blog   \n",
       "...                                                 ...      ...   \n",
       "5353  [У вистній будівлі Trump Tower, що належить пр...     news   \n",
       "5354  [Щонайменше 150 людей загинули отруївшись токс...     news   \n",
       "5355  [Засуджений за звинуваченням у корупції колишн...     news   \n",
       "5356  [Троє українських школярів посіли перші місця ...     news   \n",
       "5357  [Сергію та Юлії Скрипаль запропонують нові осо...     news   \n",
       "5358  [В результаті пожежі в хмарочосі Trump Tower в...     news   \n",
       "5359  [Минулої доби російсько-окупаційні війська про...     news   \n",
       "5360  [Згідно із законом, колишні учасники незаконни...     news   \n",
       "5361  [Президент Петро Порошенко привітав українців ...     news   \n",
       "5362  [У Держслужбі з надзвичайних ситуацій попередж...     news   \n",
       "5363  [Посольство Великобританії в РФ офіційно повід...     news   \n",
       "5364  [Команда судна \"Норд\" в ніч на 8 квітня намага...     news   \n",
       "5365  [Вперше у російській історії рейтинг популярно...     news   \n",
       "5366  [За злочин проти людяності, яким можуть визнат...     news   \n",
       "5367  [У Криму внаслідок аварії на одному з залізнич...     news   \n",
       "5368  [Великодня ніч в Україні минула спокійно, учас...     news   \n",
       "5369  [Представники ОРДО видали 172 тисячі \"паспорті...     news   \n",
       "5370  [НАБУ підозрює командування Державної спеціаль...     news   \n",
       "5371  [Окупаційна влада Криму намагається терміново ...     news   \n",
       "5372  [Представники ФСБ 6 квітня увірвалися до мечет...     news   \n",
       "5373  [Журналіст \"Голосу Америки\" Фатіма Тлісова опу...     news   \n",
       "5374  [МАУ може знову подати в суд на Ryanair, якщо ...     news   \n",
       "5375  [Президент США Дональд Трамп назвав президента...     news   \n",
       "5376  [Генпрокуратура РФ має намір оприлюднити матер...     news   \n",
       "5377  [У неділю зафіксовано 12 обстрілів українських...     news   \n",
       "5378  [У неділю на території Київського зоопарку ста...     news   \n",
       "5379  [У Миколаївському слідчому ізоляторі 8 квітня ...     news   \n",
       "5380  [9 квітня по всій Україні очікується погода бе...     news   \n",
       "5381  [Рада безпеки ООН планує в понеділок провести ...     news   \n",
       "5382  [Північна Корея вперше висловила США свою гото...     news   \n",
       "\n",
       "                              date  \\\n",
       "0            02 квітня 2016, 23:22   \n",
       "1            28 лютого 2017, 17:08   \n",
       "2            12 грудня 2014, 11:58   \n",
       "3             22 січня 2015, 00:26   \n",
       "4           06 березня 2015, 09:04   \n",
       "5            16 квітня 2015, 11:14   \n",
       "6           01 березня 2016, 08:12   \n",
       "7            19 квітня 2016, 08:38   \n",
       "8            06 травня 2016, 08:21   \n",
       "9         08 листопада 2016, 09:07   \n",
       "10        16 листопада 2016, 08:11   \n",
       "11           02 грудня 2016, 10:23   \n",
       "12           14 лютого 2017, 10:18   \n",
       "13           27 лютого 2017, 07:57   \n",
       "14           15 травня 2017, 06:48   \n",
       "15           08 червня 2017, 17:08   \n",
       "16            19 липня 2007, 10:33   \n",
       "17            20 липня 2007, 22:04   \n",
       "18            20 липня 2007, 22:42   \n",
       "19            20 липня 2007, 23:26   \n",
       "20            21 липня 2007, 00:01   \n",
       "21           28 серпня 2007, 23:18   \n",
       "22            02 січня 2015, 22:50   \n",
       "23            29 січня 2015, 17:47   \n",
       "24           17 лютого 2015, 16:36   \n",
       "25           05 червня 2015, 09:09   \n",
       "26            03 липня 2015, 09:16   \n",
       "27           23 серпня 2015, 13:34   \n",
       "28           04 жовтня 2015, 21:14   \n",
       "29           06 жовтня 2015, 19:03   \n",
       "...                            ...   \n",
       "5353  Неділя, 8 квітня 2018, 03:08   \n",
       "5354  Неділя, 8 квітня 2018, 04:09   \n",
       "5355  Неділя, 8 квітня 2018, 04:45   \n",
       "5356  Неділя, 8 квітня 2018, 05:56   \n",
       "5357  Неділя, 8 квітня 2018, 06:50   \n",
       "5358  Неділя, 8 квітня 2018, 07:12   \n",
       "5359  Неділя, 8 квітня 2018, 07:31   \n",
       "5360  Неділя, 8 квітня 2018, 07:57   \n",
       "5361  Неділя, 8 квітня 2018, 09:32   \n",
       "5362  Неділя, 8 квітня 2018, 09:58   \n",
       "5363  Неділя, 8 квітня 2018, 10:43   \n",
       "5364  Неділя, 8 квітня 2018, 10:58   \n",
       "5365  Неділя, 8 квітня 2018, 11:47   \n",
       "5366  Неділя, 8 квітня 2018, 12:23   \n",
       "5367  Неділя, 8 квітня 2018, 12:51   \n",
       "5368  Неділя, 8 квітня 2018, 13:34   \n",
       "5369  Неділя, 8 квітня 2018, 13:45   \n",
       "5370  Неділя, 8 квітня 2018, 14:03   \n",
       "5371  Неділя, 8 квітня 2018, 15:08   \n",
       "5372  Неділя, 8 квітня 2018, 16:06   \n",
       "5373  Неділя, 8 квітня 2018, 16:31   \n",
       "5374  Неділя, 8 квітня 2018, 17:19   \n",
       "5375  Неділя, 8 квітня 2018, 18:02   \n",
       "5376  Неділя, 8 квітня 2018, 18:25   \n",
       "5377  Неділя, 8 квітня 2018, 18:39   \n",
       "5378  Неділя, 8 квітня 2018, 20:03   \n",
       "5379  Неділя, 8 квітня 2018, 20:31   \n",
       "5380  Неділя, 8 квітня 2018, 20:49   \n",
       "5381  Неділя, 8 квітня 2018, 21:42   \n",
       "5382  Неділя, 8 квітня 2018, 23:11   \n",
       "\n",
       "                                               filename language  \\\n",
       "0     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "1     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "2     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "3     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "4     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "5     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "6     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "7     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "8     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "9     blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "10    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "11    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "12    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "13    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "14    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "15    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "16    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "17    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "18    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "19    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "20    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "21    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "22    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "23    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "24    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "25    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "26    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "27    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "28    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       ru   \n",
       "29    blogs_pravda_com_ua__shorter/blog/blogs_pravda...       uk   \n",
       "...                                                 ...      ...   \n",
       "5353  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5354  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5355  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5356  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5357  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5358  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5359  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5360  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5361  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5362  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5363  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5364  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5365  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5366  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5367  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5368  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5369  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5370  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5371  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5372  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5373  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5374  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5375  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5376  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5377  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5378  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5379  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5380  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5381  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "5382  www_pravda_com_ua/news/www_pravda_com_ua_news_...       uk   \n",
       "\n",
       "                                           tags  \\\n",
       "0                       [Політика, Уряд реформ]   \n",
       "1                          [Культура, Корупція]   \n",
       "2                                    [Політика]   \n",
       "3                                    [Політика]   \n",
       "4                                    [Політика]   \n",
       "5                                    [Політика]   \n",
       "6                                    [Політика]   \n",
       "7                                    [Політика]   \n",
       "8                                    [Політика]   \n",
       "9                                    [Політика]   \n",
       "10                                   [Політика]   \n",
       "11                                   [Політика]   \n",
       "12                                   [Політика]   \n",
       "13                                   [Політика]   \n",
       "14                                   [Політика]   \n",
       "15                                   [Політика]   \n",
       "16                                          NaN   \n",
       "17                                          NaN   \n",
       "18                                          NaN   \n",
       "19                                          NaN   \n",
       "20                                          NaN   \n",
       "21                                          NaN   \n",
       "22                                   [Політика]   \n",
       "23                         [Політика, Корупція]   \n",
       "24                                   [Політика]   \n",
       "25                                   [Політика]   \n",
       "26                                   [Політика]   \n",
       "27                                   [Політика]   \n",
       "28                                   [Політика]   \n",
       "29                                   [Політика]   \n",
       "...                                         ...   \n",
       "5353                   [США, надзвичайна подія]   \n",
       "5354                                    [Сирія]   \n",
       "5355                  [Бразилія, суд, корупція]   \n",
       "5356                          [діти, Міносвіти]   \n",
       "5357  [Велика Британія, США, Росія, шпигунство]   \n",
       "5358                   [США, надзвичайна подія]   \n",
       "5359                  [АТО, бойові дії, Донбас]   \n",
       "5360                     [АТО, Донбас, поліція]   \n",
       "5361            [Порошенко, святкування, армія]   \n",
       "5362                             [ДСНС, погода]   \n",
       "5363          [Велика Британія, Росія, скандал]   \n",
       "5364                         [Росія, Крим, суд]   \n",
       "5365                        [соціологія, Росія]   \n",
       "5366             [Сирія, Росія, зброя, Клімкін]   \n",
       "5367                     [Крим, аварія, жертви]   \n",
       "5368                         [поліція, релігія]   \n",
       "5369                           [ОРДЛО, паспорт]   \n",
       "5370                                     [НАБУ]   \n",
       "5371                                     [Крим]   \n",
       "5372                                     [Крим]   \n",
       "5373                    [Росія, кордон, Донбас]   \n",
       "5374                                [авіа, суд]   \n",
       "5375                      [Трамп, Росія, Сирія]   \n",
       "5376                   [Росія, Велика Британія]   \n",
       "5377                                      [АТО]   \n",
       "5378                               [Київ, ДСНС]   \n",
       "5379                           [Миколаїв, СІЗО]   \n",
       "5380                                   [погода]   \n",
       "5381                               [ООН, Сирія]   \n",
       "5382                  [КНДР, США, ядерна зброя]   \n",
       "\n",
       "                                                   text  \\\n",
       "0     Наше Министерство культуры продолжает генериро...   \n",
       "1     Причиной его стал конфликт между администрацие...   \n",
       "2     Друзі,\\nповідомляю новину. Від сьогодні ви мож...   \n",
       "3     Деякі депутати і досі уберігають свою професій...   \n",
       "4     Комісія з питань приватизація провела цієї сер...   \n",
       "5     Народні депутати винайшли новий спосіб порушув...   \n",
       "6     Числені заяви з проханням не зараховувати резу...   \n",
       "7     Народні депутати рясно декларують презенти на ...   \n",
       "8     Бюджетний комітет відхилив ідею розміщувати ау...   \n",
       "9     Суддя вищого адміністративного суду Євгенія Ус...   \n",
       "10    Суддя Вищого господарського суду Артур Ємельян...   \n",
       "11    Члену Вищої ради юстиції Павлу Гречківському П...   \n",
       "12    16 лютого 2017 року відбудеться тестування пре...   \n",
       "13    У судах вважають, що журналісти та інші громад...   \n",
       "14    Оприлюднення декларацій родинних зв'язків та д...   \n",
       "15    Справи у Вищих судах України, щоб не було упер...   \n",
       "16    …В конце прошлого года рядом со мной на харько...   \n",
       "17    Послесловие к докладу\\nИтак, что есть такое ИМ...   \n",
       "18    На улице лето 2006-го. С декабря 2004-го прошл...   \n",
       "19    Я задумывался над аналогиями и стал припоминат...   \n",
       "20    Украина. Апрель 2007.Президент распустил парла...   \n",
       "21    Претензия N3. Умышленное убийство отрасли прои...   \n",
       "22    Иногда, как посмотришь на объем нереализованны...   \n",
       "23    Что может выглядеть так же ужасно, дорогой мой...   \n",
       "24    Сегодня вручал раненым бойцам награды и кварти...   \n",
       "25    Да, мы все генетически не любим власть и не до...   \n",
       "26    Слишком много радости расходуется на ожидание ...   \n",
       "27    Сьогодні у Львові прийняла присягу нова патрул...   \n",
       "28    Вчера в Черновцах. Встретились... Львовский по...   \n",
       "29    За підсумками роботи перших місяців патрульної...   \n",
       "...                                                 ...   \n",
       "5353  У вистній будівлі Trump Tower, що належить пре...   \n",
       "5354  Щонайменше 150 людей загинули отруївшись токси...   \n",
       "5355  Засуджений за звинуваченням у корупції колишні...   \n",
       "5356  Троє українських школярів посіли перші місця н...   \n",
       "5357  Сергію та Юлії Скрипаль запропонують нові особ...   \n",
       "5358  В результаті пожежі в хмарочосі Trump Tower в ...   \n",
       "5359  Минулої доби російсько-окупаційні війська прод...   \n",
       "5360  Згідно із законом, колишні учасники незаконних...   \n",
       "5361  Президент Петро Порошенко привітав українців з...   \n",
       "5362  У Держслужбі з надзвичайних ситуацій попереджа...   \n",
       "5363  Посольство Великобританії в РФ офіційно повідо...   \n",
       "5364  Команда судна \"Норд\" в ніч на 8 квітня намагал...   \n",
       "5365  Вперше у російській історії рейтинг популярнос...   \n",
       "5366  За злочин проти людяності, яким можуть визнати...   \n",
       "5367  У Криму внаслідок аварії на одному з залізничн...   \n",
       "5368  Великодня ніч в Україні минула спокійно, участ...   \n",
       "5369  Представники ОРДО видали 172 тисячі \"паспортів...   \n",
       "5370  НАБУ підозрює командування Державної спеціальн...   \n",
       "5371  Окупаційна влада Криму намагається терміново п...   \n",
       "5372  Представники ФСБ 6 квітня увірвалися до мечеті...   \n",
       "5373  Журналіст \"Голосу Америки\" Фатіма Тлісова опуб...   \n",
       "5374  МАУ може знову подати в суд на Ryanair, якщо п...   \n",
       "5375  Президент США Дональд Трамп назвав президента ...   \n",
       "5376  Генпрокуратура РФ має намір оприлюднити матері...   \n",
       "5377  У неділю зафіксовано 12 обстрілів українських ...   \n",
       "5378  У неділю на території Київського зоопарку стал...   \n",
       "5379  У Миколаївському слідчому ізоляторі 8 квітня к...   \n",
       "5380  9 квітня по всій Україні очікується погода без...   \n",
       "5381  Рада безпеки ООН планує в понеділок провести е...   \n",
       "5382  Північна Корея вперше висловила США свою готов...   \n",
       "\n",
       "                                                  title  \\\n",
       "0                      ИГРА В ИМИТАЦИЮ ЗА 3 МЛРД ГРИВЕН   \n",
       "1     В Национальной Опере очередной скандал или МЫ ...   \n",
       "2     РЕПОРТЕРСЬКА СОТНЯ ЗНІМАТИМЕ ВІДЕО ПРО ЖИТТЯ В...   \n",
       "3                            Що приховують 9 комітетів?   \n",
       "4                 Коломойський і засідання не для преси   \n",
       "5                             Новий тренд кнопкодавства   \n",
       "6        Голоси-привиди, чи банальні кнопкодави?: ВІДЕО   \n",
       "7                        Мільйони в подарунок депутатам   \n",
       "8            ДЕПУТАТИ БОЯТЬСЯ ВЛАСНОГО ГОЛОСУ. ОСЬ ЧОМУ   \n",
       "9     ДЕКЛАРАЦІЇ СУДДІВ. ЗЕМЛЯ – ГЕКТАРАМИ, БУДИНКИ ...   \n",
       "10    Підозрюваний суддя Ємельянов подався на посаду...   \n",
       "11                        Новини у справі Гречківського   \n",
       "12          Кандидати до Верховного суду та їхній шлейф   \n",
       "13                                 Суддівські відпустки   \n",
       "14                  СУДДІВСЬКІ РОДИНИ. СПІЛЬНІ РІШЕННЯ.   \n",
       "15    Справи автоматом в правильні руки. Суддівські ...   \n",
       "16    \"Что делать\" (полемические заметки, основанные...   \n",
       "17     \"Молчание интеллигенции\" (послесловие к докладу)   \n",
       "18                             \"Украина. Лезвие бритвы\"   \n",
       "19                                           \"Листопад\"   \n",
       "20     \"О негодяях\" (к 200-летию негодяйского движения)   \n",
       "21                   Мимо!? – продолжение (ночь вторая)   \n",
       "22                                   ПРОЩАНИЕ С ЕДАПСОМ   \n",
       "23                 Позор военкома. Тюрьма вместо Канады   \n",
       "24                             Работа для крепких духом   \n",
       "25                                    Чуваку не с Марса   \n",
       "26                        ТВОЯ НОВАЯ ПОЛИЦИЯ. РАБОТАЕМ!   \n",
       "27    ЛЬВІВСЬКА ПОЛІЦІЯ. КАПРАЛ КУЛЬЧИЦЬКА ПРОДОВЖУЄ...   \n",
       "28                        Встретились... шаги изменений   \n",
       "29                                       ЗРАДА НА МАРШІ   \n",
       "...                                                 ...   \n",
       "5353  У хмарочосі Trump Tower в Нью-Йорку сталася по...   \n",
       "5354  Волонтери: В результаті хіматаки в Сирії загин...   \n",
       "5355  Екс-президент Бразилії Лула да Сілва здався по...   \n",
       "5356  Троє українських школярів перемогли на конкурс...   \n",
       "5357  ЗМІ: Скрипалям запропонують жити в США під нов...   \n",
       "5358        У пожежі в Trump Tower загинула одна людина   \n",
       "5359  Перед Великоднем бойовики стріляли 42 рази, є ...   \n",
       "5360  За останні десять днів в поліцію Донеччини зда...   \n",
       "5361  Порошенко привітав з Великоднем і нагадав про ...   \n",
       "5362  Рятувальники попередили про підвищення рівня в...   \n",
       "5363  Племінниці Скрипаля офіційно повідомили, що у ...   \n",
       "5364  Представники Генконсульства РФ намагалися виве...   \n",
       "5365  Для росіян День перемоги став важливішим за Но...   \n",
       "5366  Клімкін: За атаку у Сирії мають відповісти зло...   \n",
       "5367  РосЗМІ: У Криму зіткнулися електричка та автоб...   \n",
       "5368  Поліція: паски святили майже 7 млн людей, все ...   \n",
       "5369  В ОРДО заявили, що вже наштампували і видали 1...   \n",
       "5370  НАБУ почало розслідувати будівництво житла \"дл...   \n",
       "5371  Екіпажу \"Норду\" намагаються передати українськ...   \n",
       "5372  В окупованому Криму силовики увірвалися до меч...   \n",
       "5373  З'явилося відео руху російської техніки за 40 ...   \n",
       "5374                   МАУ може подати в суд на Ryanair   \n",
       "5375  Трамп про Сирію: Росія та Іран заплатять велик...   \n",
       "5376  РФ обіцяє показати компромат на Британію про Б...   \n",
       "5377      На Великдень у зоні АТО поранено 4 військових   \n",
       "5378               У київському зоопарку сталася пожежа   \n",
       "5379  У Миколаївському СІЗО десятки в'язнів відмовля...   \n",
       "5380       У понеділок в Україні буде по-літньому тепло   \n",
       "5381  Радбез ООН проведе екстрене засідання щодо хім...   \n",
       "5382  КНДР готова обговорити з Трампом денуклеаризац...   \n",
       "\n",
       "                                                    url  \n",
       "0     https://blogs.pravda.com.ua/authors/amatvienko...  \n",
       "1     https://blogs.pravda.com.ua/authors/amatvienko...  \n",
       "2     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "3     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "4     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "5     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "6     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "7     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "8     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "9     https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "10    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "11    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "12    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "13    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "14    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "15    https://blogs.pravda.com.ua/authors/andrushko/...  \n",
       "16    https://blogs.pravda.com.ua/authors/avakov/469...  \n",
       "17    https://blogs.pravda.com.ua/authors/avakov/46a...  \n",
       "18    https://blogs.pravda.com.ua/authors/avakov/46a...  \n",
       "19    https://blogs.pravda.com.ua/authors/avakov/46a...  \n",
       "20    https://blogs.pravda.com.ua/authors/avakov/46a...  \n",
       "21    https://blogs.pravda.com.ua/authors/avakov/46d...  \n",
       "22    https://blogs.pravda.com.ua/authors/avakov/54a...  \n",
       "23    https://blogs.pravda.com.ua/authors/avakov/54c...  \n",
       "24    https://blogs.pravda.com.ua/authors/avakov/54e...  \n",
       "25    https://blogs.pravda.com.ua/authors/avakov/557...  \n",
       "26    https://blogs.pravda.com.ua/authors/avakov/559...  \n",
       "27    https://blogs.pravda.com.ua/authors/avakov/55d...  \n",
       "28    https://blogs.pravda.com.ua/authors/avakov/561...  \n",
       "29    https://blogs.pravda.com.ua/authors/avakov/561...  \n",
       "...                                                 ...  \n",
       "5353  https://www.pravda.com.ua/news/2018/04/8/7177084/  \n",
       "5354  https://www.pravda.com.ua/news/2018/04/8/7177085/  \n",
       "5355  https://www.pravda.com.ua/news/2018/04/8/7177086/  \n",
       "5356  https://www.pravda.com.ua/news/2018/04/8/7177087/  \n",
       "5357  https://www.pravda.com.ua/news/2018/04/8/7177088/  \n",
       "5358  https://www.pravda.com.ua/news/2018/04/8/7177089/  \n",
       "5359  https://www.pravda.com.ua/news/2018/04/8/7177090/  \n",
       "5360  https://www.pravda.com.ua/news/2018/04/8/7177091/  \n",
       "5361  https://www.pravda.com.ua/news/2018/04/8/7177092/  \n",
       "5362  https://www.pravda.com.ua/news/2018/04/8/7177093/  \n",
       "5363  https://www.pravda.com.ua/news/2018/04/8/7177095/  \n",
       "5364  https://www.pravda.com.ua/news/2018/04/8/7177096/  \n",
       "5365  https://www.pravda.com.ua/news/2018/04/8/7177098/  \n",
       "5366  https://www.pravda.com.ua/news/2018/04/8/7177100/  \n",
       "5367  https://www.pravda.com.ua/news/2018/04/8/7177102/  \n",
       "5368  https://www.pravda.com.ua/news/2018/04/8/7177105/  \n",
       "5369  https://www.pravda.com.ua/news/2018/04/8/7177106/  \n",
       "5370  https://www.pravda.com.ua/news/2018/04/8/7177107/  \n",
       "5371  https://www.pravda.com.ua/news/2018/04/8/7177110/  \n",
       "5372  https://www.pravda.com.ua/news/2018/04/8/7177113/  \n",
       "5373  https://www.pravda.com.ua/news/2018/04/8/7177115/  \n",
       "5374  https://www.pravda.com.ua/news/2018/04/8/7177116/  \n",
       "5375  https://www.pravda.com.ua/news/2018/04/8/7177117/  \n",
       "5376  https://www.pravda.com.ua/news/2018/04/8/7177119/  \n",
       "5377  https://www.pravda.com.ua/news/2018/04/8/7177120/  \n",
       "5378  https://www.pravda.com.ua/news/2018/04/8/7177122/  \n",
       "5379  https://www.pravda.com.ua/news/2018/04/8/7177123/  \n",
       "5380  https://www.pravda.com.ua/news/2018/04/8/7177124/  \n",
       "5381  https://www.pravda.com.ua/news/2018/04/8/7177126/  \n",
       "5382  https://www.pravda.com.ua/news/2018/04/8/7177127/  \n",
       "\n",
       "[5383 rows x 12 columns]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "for doc in articles:\n",
    "    try:\n",
    "        filename = doc['filename']\n",
    "        doc['category'] = map_category_ukrpravda(doc)\n",
    "    except:\n",
    "        logging.exception('Error with ' + filename)\n",
    "df = pd.DataFrame.from_dict(articles)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>authors</th>\n",
       "      <th>authors_description</th>\n",
       "      <th>autocategory</th>\n",
       "      <th>body</th>\n",
       "      <th>date</th>\n",
       "      <th>filename</th>\n",
       "      <th>language</th>\n",
       "      <th>tags</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>length</th>\n",
       "      <th>par_count</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>category</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>articles</th>\n",
       "      <td>232</td>\n",
       "      <td>0</td>\n",
       "      <td>626</td>\n",
       "      <td>626</td>\n",
       "      <td>263</td>\n",
       "      <td>626</td>\n",
       "      <td>626</td>\n",
       "      <td>180</td>\n",
       "      <td>626</td>\n",
       "      <td>253</td>\n",
       "      <td>626</td>\n",
       "      <td>626</td>\n",
       "      <td>626</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>blog</th>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1041</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "      <td>1042</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>columns</th>\n",
       "      <td>152</td>\n",
       "      <td>0</td>\n",
       "      <td>521</td>\n",
       "      <td>521</td>\n",
       "      <td>352</td>\n",
       "      <td>521</td>\n",
       "      <td>521</td>\n",
       "      <td>204</td>\n",
       "      <td>521</td>\n",
       "      <td>240</td>\n",
       "      <td>521</td>\n",
       "      <td>521</td>\n",
       "      <td>521</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>news</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2523</td>\n",
       "      <td>2523</td>\n",
       "      <td>2402</td>\n",
       "      <td>2523</td>\n",
       "      <td>2523</td>\n",
       "      <td>2309</td>\n",
       "      <td>2523</td>\n",
       "      <td>2402</td>\n",
       "      <td>2523</td>\n",
       "      <td>2523</td>\n",
       "      <td>2523</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>other</th>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "          authors  authors_description  autocategory  body  date  filename  \\\n",
       "category                                                                     \n",
       "articles      232                    0           626   626   263       626   \n",
       "blog         1042                 1042          1042  1042  1042      1042   \n",
       "columns       152                    0           521   521   352       521   \n",
       "news            0                    0          2523  2523  2402      2523   \n",
       "other           0                    0             2     2     2         2   \n",
       "\n",
       "          language  tags  text  title   url  length  par_count  \n",
       "category                                                        \n",
       "articles       626   180   626    253   626     626        626  \n",
       "blog          1042  1041  1042   1042  1042    1042       1042  \n",
       "columns        521   204   521    240   521     521        521  \n",
       "news          2523  2309  2523   2402  2523    2523       2523  \n",
       "other            2     0     2      2     2       2          2  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_uk = df.loc[df['language'] == 'uk']\n",
    "# categories = ['news', 'blog', 'columns']\n",
    "# other_category = 'article'\n",
    "\n",
    "# df_uk = df_uk.join(df_uk['autocategory'].map(lambda x: x if x in categories else other_category).rename('category'))\n",
    "df_uk = df_uk.join(df_uk['text'].map(lambda x: len(x)).rename('length'))\n",
    "df_uk = df_uk.join(df_uk['body'].map(lambda x: len(x)).rename('par_count'))\n",
    "df_uk.groupby(['category']).count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "category\n",
       "articles    6091340\n",
       "blog        5122316\n",
       "columns     3201525\n",
       "news        3541388\n",
       "other         23729\n",
       "Name: length, dtype: int64"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_uk.groupby(['category'])[\"length\"].sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "category\n",
       "articles    36410\n",
       "blog        22816\n",
       "columns     18488\n",
       "news        23133\n",
       "other         116\n",
       "Name: par_count, dtype: int64"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_uk.groupby(['category'])[\"par_count\"].sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "4717\n",
      "0\n",
      "626\n",
      "521\n",
      "2523\n",
      "1042\n",
      "3000\n",
      "category\n",
      "articles    20681\n",
      "blog        13155\n",
      "columns     16154\n",
      "news        14496\n",
      "Name: par_count, dtype: int64\n",
      "category\n",
      "articles    3403611\n",
      "blog        2945947\n",
      "columns     2778928\n",
      "news        2224192\n",
      "Name: length, dtype: int64\n",
      "          authors  authors_description  autocategory  body  date  filename  \\\n",
      "category                                                                     \n",
      "articles      138                    0           350   350   156       350   \n",
      "blog          600                  600           600   600   600       600   \n",
      "columns       132                    0           450   450   306       450   \n",
      "news            0                    0          1600  1600  1522      1600   \n",
      "\n",
      "          language  tags  text  title   url  length  par_count  \n",
      "category                                                        \n",
      "articles       350   106   350    149   350     350        350  \n",
      "blog           600   599   600    600   600     600        600  \n",
      "columns        450   178   450    208   450     450        450  \n",
      "news          1600  1459  1600   1522  1600    1600       1600  \n"
     ]
    }
   ],
   "source": [
    "categories = {'articles':350, 'columns':450, 'news':1600, 'blog':600}\n",
    "print(len(df_uk))\n",
    "df_sample = pd.DataFrame(columns=df_uk.columns)\n",
    "print(len(df_sample))\n",
    "for c, v in categories.items():\n",
    "    dfc = df_uk[df_uk['category'] == c]\n",
    "    print(len(dfc))\n",
    "    df_sample = df_sample.append(dfc.sample(v))\n",
    "print(len(df_sample))\n",
    "print(df_sample.groupby(['category'])[\"par_count\"].sum())\n",
    "print(df_sample.groupby(['category'])[\"length\"].sum())\n",
    "print(df_sample.groupby(['category']).count())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2250 750\n"
     ]
    }
   ],
   "source": [
    "X = df_sample['text'].values\n",
    "y = df_sample['category'].values\n",
    "z = df_sample['filename'].values\n",
    "X_train, X_test, y_train, y_test, z_train, z_test = train_test_split(X, y, z,  random_state=42, stratify = y, shuffle=True)\n",
    "print(len(X_train), len(X_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "# np.savetxt(train_fname, z_train, encoding='utf-8', fmt='%s')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "# np.savetxt(test_fname, z_test, encoding='utf-8', fmt='%s')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## BRUK"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:Can't read file good/A_Boryspilska_RDA_Osvita_Boryspilshchyny_biudzet_2017(ne_ZMI).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 5, column 32\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:5:32: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Doba_Bilous_Proyshov_oblasnyi_chempionat_z_boyovoho_hopaka_2012(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 51\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:51: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Doba_Chorney_mizh_strahom_i_svobodoyu_2012(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 51\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:51: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Doba_Chorney_Zymu_provodzay_pidvyshcheni_taryfy_zustrichay_2012(3).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 51\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:51: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Krymska_svitlytsia_But_Krym_Zmova_baiduzhykh_2016(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 64\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:64: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Krymska_svitlytsia_Fedorenko_Nich_bez_ranku_2015(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 64\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:64: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Krymska_svitlytsia_Khomenko_Kvitka_lomykamin_2011(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 64\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:64: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Krymska_svitlytsia_Zavoruieva_Na_onovlenii_zemli_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 64\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:64: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Podolianyn_Krylov_Shakhrai_na_kolesakh_2017(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: mismatched tag: line 16, column 21\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 86, in _read_file\n",
      "    saxparser.feed('</doc>')\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:16:21: mismatched tag\n",
      "ERROR:root:Can't read file good/A_Volyn_Blinova_Na_budynok-muzei_Natalii_Uzhvii_2015(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 48\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:48: not well-formed (invalid token)\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:Can't read file good/A_Volyn_Somova_Khto_navede_lad_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 48\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:48: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Volyn_Tymoshchuk_Studentska_stolytsia_Yevropy_trymaietsia_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 47\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:47: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_Volyn_Zaniuk_Namaliuiu_liubov_do_zhyttia_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 48\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:48: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_zaxid.net_Fomenko_Choho_chekaty_vid_ministerstva_pravdy_2014(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 85\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:85: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_zaxid.net_Sheliya_Strakh,_viyna,_imperiya_2014(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 96\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:96: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/A_zaxid.net_Znas_Vin_obrav_Ukrayinu_2014(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 66\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:66: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/B_Istoria_ta_dukhovne_znachennia_sviata_vkhodu_2017(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: not well-formed (invalid token): line 6, column 63\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:6:63: not well-formed (invalid token)\n",
      "ERROR:root:Can't read file good/D_Molchanovskyi_Peredmova_do_ukrainskoho_vydannia_2016(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: mismatched tag: line 3, column 23\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 84, in _read_file\n",
      "    saxparser.feed(line)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:3:23: mismatched tag\n",
      "ERROR:root:Can't read file good/D_Zherukha_Oksana_Lyniv_Ukrainka_na_choli_krashchykh_orkestriv_Yevropy_2017(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: mismatched tag: line 21, column 9\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 86, in _read_file\n",
      "    saxparser.feed('</doc>')\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:21:9: mismatched tag\n",
      "ERROR:root:Can't read file good/I_Malarchuk_Zabuttya_2_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: mismatched tag: line 16, column 21\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 86, in _read_file\n",
      "    saxparser.feed('</doc>')\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:16:21: mismatched tag\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:Can't read file good/I_Pahutiak_Zacharovani_muzykanty_2010(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 217, in feed\n",
      "    self._parser.Parse(data, isFinal)\n",
      "xml.parsers.expat.ExpatError: mismatched tag: line 42, column 9\n",
      "\n",
      "During handling of the above exception, another exception occurred:\n",
      "\n",
      "Traceback (most recent call last):\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 86, in _read_file\n",
      "    saxparser.feed('</doc>')\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\expatreader.py\", line 221, in feed\n",
      "    self._err_handler.fatalError(exc)\n",
      "  File \"C:\\ProgramData\\Anaconda3\\lib\\xml\\sax\\handler.py\", line 38, in fatalError\n",
      "    raise exception\n",
      "xml.sax._exceptions.SAXParseException: <unknown>:42:9: mismatched tag\n"
     ]
    }
   ],
   "source": [
    "MASK = 'data\\\\bruk'\n",
    "zip_fname = MASK + '.zip'\n",
    "train_fname = MASK + '_train.txt'\n",
    "test_fname = MASK + '_test.txt'\n",
    "articles = ArticleHandler.read_zip(zip_fname, lang='uk')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "548\n"
     ]
    }
   ],
   "source": [
    "print(len(articles))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>alt_orth</th>\n",
       "      <th>author_name</th>\n",
       "      <th>author_name_1</th>\n",
       "      <th>author_name_2</th>\n",
       "      <th>author_name_3</th>\n",
       "      <th>author_name_4</th>\n",
       "      <th>author_name_5</th>\n",
       "      <th>author_name_6</th>\n",
       "      <th>author_name_7</th>\n",
       "      <th>author_surname</th>\n",
       "      <th>...</th>\n",
       "      <th>length</th>\n",
       "      <th>pages</th>\n",
       "      <th>publ_in</th>\n",
       "      <th>publ_part</th>\n",
       "      <th>publ_place</th>\n",
       "      <th>publisher</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>year</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>Віра</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Прокопенко</td>\n",
       "      <td>...</td>\n",
       "      <td>237</td>\n",
       "      <td>1</td>\n",
       "      <td>Мій дім</td>\n",
       "      <td>6</td>\n",
       "      <td>Київ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Історія змін. Спільними зусиллями влада та гро...</td>\n",
       "      <td>Відродження велотреку</td>\n",
       "      <td>http://alumni.krok.edu.ua/images/gallery/01-04...</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>241</td>\n",
       "      <td>NaN</td>\n",
       "      <td>A</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Бровари</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Блок Петра Порошенка «Солідарність» оприлюднив...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>http://brovary.pravo-znaty.org.ua/blok-petra-p...</td>\n",
       "      <td>215</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>892</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Маєш право знати</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Бровари</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Радянський Союз вже давно мертвий, але його тр...</td>\n",
       "      <td>Шкільні лінійки в Броварах: чи оновиться формат?</td>\n",
       "      <td>http://brovary.pravo-znaty.org.ua/shkilni-lini...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>774</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Маєш право знати</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Бровари</td>\n",
       "      <td>NaN</td>\n",
       "      <td>7 школа\\nНа святкову лінійку 1-х та 11-х класі...</td>\n",
       "      <td>Шкільні лінійки в Броварах: чи оновиться формат?</td>\n",
       "      <td>http://brovary.pravo-znaty.org.ua/shkilni-lini...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>0</td>\n",
       "      <td>Олена</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Бойко-Ожередіва</td>\n",
       "      <td>...</td>\n",
       "      <td>299</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Чорноморські новини</td>\n",
       "      <td>17</td>\n",
       "      <td>Одеса</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Музика Баха, Моцарта, Гайдна завжди пробуджує ...</td>\n",
       "      <td>Торкнутися високих істин</td>\n",
       "      <td>http://chornomorka.com/archive/a-474.html</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>0</td>\n",
       "      <td>Олег</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Сокіл</td>\n",
       "      <td>...</td>\n",
       "      <td>318</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Чорноморські новини</td>\n",
       "      <td>102–103</td>\n",
       "      <td>Одеса</td>\n",
       "      <td>NaN</td>\n",
       "      <td>У середу, 16 грудня, відбулася чергова сесія н...</td>\n",
       "      <td>Реверанс перед агресором. Третій</td>\n",
       "      <td>http://chornomorka.com/archive/a-6765.html</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>282</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>50% опитаних громадян України не підтримують н...</td>\n",
       "      <td>Більшість українців не підтримують «особливіст...</td>\n",
       "      <td>http://www.depo.ua/ukr/life/bilshist-ukrayints...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>0</td>\n",
       "      <td>Роман</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Федюк</td>\n",
       "      <td>...</td>\n",
       "      <td>340</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Брюссель у своєму протистоянні з Варшавою пішо...</td>\n",
       "      <td>Чи прирівняє Брюссель Польщу до Росії</td>\n",
       "      <td>http://www.depo.ua/ukr/svit/chi-pririvnyae-bry...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>282</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>За першу половину сьогоднішньої доби в районі ...</td>\n",
       "      <td>Карта АТО на 1 вересня: Потужний обстріл Авдії...</td>\n",
       "      <td>http://www.depo.ua/ukr/war/karta-ato-na-1-vere...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>436</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Журналісти Bellingcat оприлюднили доповідь про...</td>\n",
       "      <td>Оприлюднено докази участі російської армії у н...</td>\n",
       "      <td>http://dn.depo.ua/ukr/mariupol/oprilyudneno-do...</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>224</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Президент України Петро Порошенко закликав роз...</td>\n",
       "      <td>Порошенко у розмові з Туском закликав поширити...</td>\n",
       "      <td>http://www.depo.ua/ukr/politics/poroshenko-u-r...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>0</td>\n",
       "      <td>Михайло</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Жирохов</td>\n",
       "      <td>...</td>\n",
       "      <td>568</td>\n",
       "      <td>NaN</td>\n",
       "      <td>depo.ua</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Починаючи з середини лютого, в зоні протистоян...</td>\n",
       "      <td>Українські війська змінюють тактику на Донбасі</td>\n",
       "      <td>http://www.depo.ua/ukr/war/ukrayinski-viyska-m...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>262</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Коломия</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Звільнені міською владою заслужені тренери Укр...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>﻿</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>0</td>\n",
       "      <td>Михайло</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Германюк</td>\n",
       "      <td>...</td>\n",
       "      <td>325</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Дзеркало Коломиї</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Коломия</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Знайомий лікар, якого я зустрів у коломийськом...</td>\n",
       "      <td>Виглядає на те, що для коломийських медиків пі...</td>\n",
       "      <td>https://dzerkalo.media/viglyadaye-na-te-shho-d...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>269</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Дзеркало Коломиї</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Коломия</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Піти до газового господарства для з’ясування п...</td>\n",
       "      <td>Головоломка з оплатою за газ: як коломиянам ро...</td>\n",
       "      <td>https://dzerkalo.media/golovolomka-z-oplatoyu-...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>226</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Дзеркало Коломиї</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Коломия</td>\n",
       "      <td>NaN</td>\n",
       "      <td>АЕРК проводитиме зустрічі з Нижньовербізькою, ...</td>\n",
       "      <td>У Коломиї реалізовують Проект \"Об’єднані терит...</td>\n",
       "      <td>https://dzerkalo.media/u-kolomiyi-realizovuyut...</td>\n",
       "      <td>2017</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>302</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Дзеркало Коломиї</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Коломия</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Відходять у минуле ті з коломийців, які ще, па...</td>\n",
       "      <td>Василь Нагірний презентував книжку про видатно...</td>\n",
       "      <td>https://dzerkalo.media/vasil-nagirniy-prezentu...</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>300</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Експрес-онлайн</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Львів</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Учитель-росіянин із російського провінційного ...</td>\n",
       "      <td>Чи легко в Росії любити Україну?</td>\n",
       "      <td>http://expres.ua/main/2016/09/27/204918-legko-...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>489</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Експрес-онлайн</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Цими днями Україну потряс незвичний гучний ска...</td>\n",
       "      <td>Секретні справи «прокурора-лексуса»</td>\n",
       "      <td>http://www.expres.ua/main/2015/03/30/130139-se...</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Світлана</td>\n",
       "      <td>Богдан</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>1137</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Експрес-онлайн</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Попри поширену думку, що видобуток із надр – с...</td>\n",
       "      <td>Тіньові схеми Яценюка і Мохника</td>\n",
       "      <td>http://www.expres.ua/main/2014/12/08/120994-ti...</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>297</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Львівська газета</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Упродовж 2012-2014 років національний природни...</td>\n",
       "      <td>На болото в Закарпатті повернулися вода та бобри</td>\n",
       "      <td>http://www.gazeta.lviv.ua/ecology/37205</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>293</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Громадянин України</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Цей фактор, звичайно, важливий, проте такий ви...</td>\n",
       "      <td>5 фінансових варіантів, які можуть будуть кори...</td>\n",
       "      <td>http://gukr.com/article3632.html</td>\n",
       "      <td>2013</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>...</td>\n",
       "      <td>255</td>\n",
       "      <td>2</td>\n",
       "      <td>Галицька Просвіта</td>\n",
       "      <td>25(599)</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>21 червня близько 15.00 внаслідок погіршення п...</td>\n",
       "      <td>Гроза і буревій на Прикарпатті: є жертви і зна...</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>0</td>\n",
       "      <td>Михайлович</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Василь</td>\n",
       "      <td>...</td>\n",
       "      <td>668</td>\n",
       "      <td>1</td>\n",
       "      <td>Галицька Просвіта</td>\n",
       "      <td>51(362)</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Хто такий просвітянин? Визначають, що це людин...</td>\n",
       "      <td>Перелопатити гору роботи</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>1</td>\n",
       "      <td>Василь</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Рябий</td>\n",
       "      <td>...</td>\n",
       "      <td>317</td>\n",
       "      <td>2</td>\n",
       "      <td>Галицька Просвіта</td>\n",
       "      <td>25(599)</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Анатолій Осадчий – знана людина в освіті Колом...</td>\n",
       "      <td>Невтомний посох пілігрима</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>0</td>\n",
       "      <td>Оксана</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Ясінська</td>\n",
       "      <td>...</td>\n",
       "      <td>267</td>\n",
       "      <td>4</td>\n",
       "      <td>Галицька Просвіта</td>\n",
       "      <td>27(601)</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>У Музеї писанкового розпису відкрито виставку ...</td>\n",
       "      <td>Яворівскька іграшка-забавка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>0</td>\n",
       "      <td>Любов</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Зоріна</td>\n",
       "      <td>...</td>\n",
       "      <td>574</td>\n",
       "      <td>4</td>\n",
       "      <td>Галицька Просвіта</td>\n",
       "      <td>44(355)</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Грає скрипка… Скрипаль тулить її до підборіддя...</td>\n",
       "      <td>Закоханий у скрипку</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>0</td>\n",
       "      <td>Наталя</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Деркевич</td>\n",
       "      <td>...</td>\n",
       "      <td>497</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Галицький кореспондент</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Пан Михайло розповідає, що його брат Лев Довбе...</td>\n",
       "      <td>Смерть прийшла через вікно</td>\n",
       "      <td>http://gk-press.if.ua/smert-pryjshla-cherez-vi...</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>0</td>\n",
       "      <td>Ірина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Федоляк</td>\n",
       "      <td>...</td>\n",
       "      <td>401</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Галицький кореспондент</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>На Коломийщині розгорівся скандал щодо ліквіда...</td>\n",
       "      <td>Басейн перетікає до громади</td>\n",
       "      <td>http://gk-press.if.ua/basejn-peretikaye-do-gro...</td>\n",
       "      <td>2017</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>0</td>\n",
       "      <td>Ірина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Федоляк</td>\n",
       "      <td>...</td>\n",
       "      <td>365</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Галицький кореспондент</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Івано-Франківськ</td>\n",
       "      <td>NaN</td>\n",
       "      <td>23 березня Верховна Рада підтримала поправки д...</td>\n",
       "      <td>Декларації для антикорупціонерів: холодний под...</td>\n",
       "      <td>http://gk-press.if.ua/deklaratsiyi-dlya-antyko...</td>\n",
       "      <td>2017</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>518</th>\n",
       "      <td>0</td>\n",
       "      <td>Василь</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Шкляр</td>\n",
       "      <td>...</td>\n",
       "      <td>1078</td>\n",
       "      <td>99-103</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб сімейного дозвілля</td>\n",
       "      <td>— Я кохаю тебе, — сказала вона. — Пам’ятай про...</td>\n",
       "      <td>Маруся</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>519</th>\n",
       "      <td>0</td>\n",
       "      <td>Василь</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Шкляр</td>\n",
       "      <td>...</td>\n",
       "      <td>1560</td>\n",
       "      <td>17–22</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Книжковий Клуб «Клуб Сімейного Дозвілля»</td>\n",
       "      <td>Єгер, який ставив усе під сумнів, знов хотів щ...</td>\n",
       "      <td>Чорне Сонце</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>520</th>\n",
       "      <td>0</td>\n",
       "      <td>Василь</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Шкляр</td>\n",
       "      <td>...</td>\n",
       "      <td>474</td>\n",
       "      <td>74–76</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Книжковий Клуб «Клуб Сімейного Дозвілля»</td>\n",
       "      <td>–Ні, скажете ви, кожна людина боїться, страх —...</td>\n",
       "      <td>Чорне Сонце</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>521</th>\n",
       "      <td>0</td>\n",
       "      <td>Василь</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Шкляр</td>\n",
       "      <td>...</td>\n",
       "      <td>1813</td>\n",
       "      <td>27-34</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб сімейного дозвілля</td>\n",
       "      <td>Бабуся Улита зачудовано дивиться на онука, ще ...</td>\n",
       "      <td>Тінь сови</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>522</th>\n",
       "      <td>0</td>\n",
       "      <td>Ольга</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Слоньовська</td>\n",
       "      <td>...</td>\n",
       "      <td>679</td>\n",
       "      <td>99-101</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>КСД</td>\n",
       "      <td>У ліс малою дитиною мене брали, коли тато з ма...</td>\n",
       "      <td>Дівчинка на кулі</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>523</th>\n",
       "      <td>0</td>\n",
       "      <td>Наталка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Сняданко</td>\n",
       "      <td>...</td>\n",
       "      <td>1126</td>\n",
       "      <td>21-26</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб сімейного дозвілля</td>\n",
       "      <td>У дитинстві, коли вона підіймалася цими сходам...</td>\n",
       "      <td>Фрау Мюллер не налаштована платити більше</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2013</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>524</th>\n",
       "      <td>0</td>\n",
       "      <td>Наталка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Сняданко</td>\n",
       "      <td>...</td>\n",
       "      <td>874</td>\n",
       "      <td>76-79</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб сімейного дозвілля</td>\n",
       "      <td>Мине кілька років, і Христина перестане зауваж...</td>\n",
       "      <td>Фрау Мюллер не налаштована платити більше</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2013</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>525</th>\n",
       "      <td>0</td>\n",
       "      <td>Марина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Соколян</td>\n",
       "      <td>...</td>\n",
       "      <td>1884</td>\n",
       "      <td>130-137</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Нора-Друк</td>\n",
       "      <td>Якимось шостим почуттям вона осягнула, що зара...</td>\n",
       "      <td>Серце гарпії</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2013</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>526</th>\n",
       "      <td>0</td>\n",
       "      <td>Надія</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Степула</td>\n",
       "      <td>...</td>\n",
       "      <td>432</td>\n",
       "      <td>16-17</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Український пріоритет</td>\n",
       "      <td>Мішель мріяв вибратися з кабінету й піти світ ...</td>\n",
       "      <td>Сьомий аркан</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>527</th>\n",
       "      <td>0</td>\n",
       "      <td>Надія</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Степула</td>\n",
       "      <td>...</td>\n",
       "      <td>490</td>\n",
       "      <td>110-111</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Український пріоритет</td>\n",
       "      <td>На подвір’ї галасували птахи, перелітаючи з гі...</td>\n",
       "      <td>Сьомий аркан</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>528</th>\n",
       "      <td>0</td>\n",
       "      <td>Надія</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Степула</td>\n",
       "      <td>...</td>\n",
       "      <td>846</td>\n",
       "      <td>143-145</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Український пріоритет</td>\n",
       "      <td>Віднедавна... І затримок із передачею інформац...</td>\n",
       "      <td>Сьомий аркан</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>529</th>\n",
       "      <td>0</td>\n",
       "      <td>Тетяна</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Стрижевська</td>\n",
       "      <td>...</td>\n",
       "      <td>440</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Смолоскип</td>\n",
       "      <td>Коли розгорівся серпень, Яна почала бити на сп...</td>\n",
       "      <td>Ad libitum</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>530</th>\n",
       "      <td>0</td>\n",
       "      <td>Слава</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Світова</td>\n",
       "      <td>...</td>\n",
       "      <td>705</td>\n",
       "      <td>12-18</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Брайт Стар Паблішинг</td>\n",
       "      <td>ЛЮБЛЮ\\nЛюблю, коли після дощу влітку повітря п...</td>\n",
       "      <td>Жменька слів для доброго настрою</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>531</th>\n",
       "      <td>0</td>\n",
       "      <td>Слава</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Світова</td>\n",
       "      <td>...</td>\n",
       "      <td>878</td>\n",
       "      <td>49-58</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Брайт Стар Паблішинг</td>\n",
       "      <td>РУСАЛКА\\nКолись давно я була русалкою. З довги...</td>\n",
       "      <td>Жменька слів для доброго настрою</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>532</th>\n",
       "      <td>0</td>\n",
       "      <td>Слава</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Світова</td>\n",
       "      <td>...</td>\n",
       "      <td>814</td>\n",
       "      <td>64-71</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Брайт Стар Паблішинг</td>\n",
       "      <td>ШОКОЛАДНИЦЯ\\nУсе змінилося того дня, коли вона...</td>\n",
       "      <td>Жменька слів для доброго настрою</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>533</th>\n",
       "      <td>0</td>\n",
       "      <td>Світлана</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Талан</td>\n",
       "      <td>...</td>\n",
       "      <td>472</td>\n",
       "      <td>94–97</td>\n",
       "      <td>Залізниці, потяги, вокзали</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Видавнича група КМ-БУКС</td>\n",
       "      <td>Я з батьками жила у невеличкій кімнаті гуртожи...</td>\n",
       "      <td>Диво вокзалу</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>534</th>\n",
       "      <td>0</td>\n",
       "      <td>Світлана</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Талан</td>\n",
       "      <td>...</td>\n",
       "      <td>326</td>\n",
       "      <td>97–98</td>\n",
       "      <td>Залізниці, потяги, вокзали</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Видавнича група КМ-БУКС</td>\n",
       "      <td>Я з батьками жила у невеличкій кімнаті гуртожи...</td>\n",
       "      <td>Диво вокзалу</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>535</th>\n",
       "      <td>0</td>\n",
       "      <td>Світлана</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Талан</td>\n",
       "      <td>...</td>\n",
       "      <td>849</td>\n",
       "      <td>???20-25</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб Сімейного Дозвілля</td>\n",
       "      <td>Увечері Вероніка не вийшла до Кіри, щоб не сер...</td>\n",
       "      <td>Помилка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>536</th>\n",
       "      <td>0</td>\n",
       "      <td>Валентин</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Тарасов</td>\n",
       "      <td>...</td>\n",
       "      <td>2025</td>\n",
       "      <td>184-193</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб Сімейного Дозвілля</td>\n",
       "      <td>Чеслав лежав, прикривши дівчину своїм тілом. Ї...</td>\n",
       "      <td>Чеслав. В темряві сонця</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2013</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>537</th>\n",
       "      <td>0</td>\n",
       "      <td>Галина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вдовиченко</td>\n",
       "      <td>...</td>\n",
       "      <td>782</td>\n",
       "      <td>5-15</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Львів</td>\n",
       "      <td>Видавництво Старого Лева</td>\n",
       "      <td>ВСТУП\\nЦя історія — про одне котяче товариство...</td>\n",
       "      <td>36 і 6 котів</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>538</th>\n",
       "      <td>0</td>\n",
       "      <td>Галина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вдовиченко</td>\n",
       "      <td>...</td>\n",
       "      <td>758</td>\n",
       "      <td>85-89</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Львів</td>\n",
       "      <td>Видавництво Старого Лева</td>\n",
       "      <td>До підлоги припав, скрадається, викаблучується...</td>\n",
       "      <td>36 і 6 котів</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>539</th>\n",
       "      <td>0</td>\n",
       "      <td>Галина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вдовиченко</td>\n",
       "      <td>...</td>\n",
       "      <td>726</td>\n",
       "      <td>234-237</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб Сімейного Дозвілля</td>\n",
       "      <td>Кароліна Кужвій приїхала тоді на знімальний ма...</td>\n",
       "      <td>Купальниця</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2012</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>540</th>\n",
       "      <td>0</td>\n",
       "      <td>Галина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вдовиченко</td>\n",
       "      <td>...</td>\n",
       "      <td>551</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб Сімейного Дозвілля</td>\n",
       "      <td>У салоні екологічних інтер'єрів справа залагод...</td>\n",
       "      <td>Тамдевін. Вовчі історії замку Гербуртів</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>541</th>\n",
       "      <td>0</td>\n",
       "      <td>Галина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вдовиченко</td>\n",
       "      <td>...</td>\n",
       "      <td>782</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Клуб Сімейного Дозвілля</td>\n",
       "      <td>Зараз важливо було не розгубитися. Я коротко й...</td>\n",
       "      <td>Тамдевін. Вовчі історії замку Гербуртів</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2015</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>542</th>\n",
       "      <td>0</td>\n",
       "      <td>Олександр</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Власюк</td>\n",
       "      <td>...</td>\n",
       "      <td>983</td>\n",
       "      <td>12-16</td>\n",
       "      <td>Казки лірника Сашка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Видавництво Олега Петренка-Заневського \"Сіма в...</td>\n",
       "      <td>Уночі на Андрія хлопці в селі бешкетують. Кому...</td>\n",
       "      <td>Про парубків, Тимоша і квітку-папороть</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>543</th>\n",
       "      <td>0</td>\n",
       "      <td>Олександр</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Власюк</td>\n",
       "      <td>...</td>\n",
       "      <td>932</td>\n",
       "      <td>19-22</td>\n",
       "      <td>Казки лірника Сашка</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Видавництво Олега Петренка-Заневського \"Сіма в...</td>\n",
       "      <td>А що ще робити чесним людям довгими зимовими в...</td>\n",
       "      <td>Про жида Лейбу і нечищений оселедець</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>544</th>\n",
       "      <td>0</td>\n",
       "      <td>Олексій</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Волков</td>\n",
       "      <td>...</td>\n",
       "      <td>621</td>\n",
       "      <td>12-14</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Київ</td>\n",
       "      <td>Нора-Друк</td>\n",
       "      <td>Проблем зі здоров'ям, судячи з усього, письмен...</td>\n",
       "      <td>Слід на воді</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2011</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>545</th>\n",
       "      <td>0</td>\n",
       "      <td>Валентина</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Вздульська</td>\n",
       "      <td>...</td>\n",
       "      <td>1394</td>\n",
       "      <td>6–29</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>Віват</td>\n",
       "      <td>1\\nЦей липневий день буде особливим.\\nТато заб...</td>\n",
       "      <td>Плутон</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>546</th>\n",
       "      <td>0</td>\n",
       "      <td>Альона</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Ярова</td>\n",
       "      <td>...</td>\n",
       "      <td>1106</td>\n",
       "      <td>98–102</td>\n",
       "      <td>Чат для дівчат</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Львів</td>\n",
       "      <td>Видавництво Старого Лева</td>\n",
       "      <td>Я завжди хотіла, щоб мої батьки переїхали до С...</td>\n",
       "      <td>Чорно-біле</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2016</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>547</th>\n",
       "      <td>0</td>\n",
       "      <td>Сергій</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Жадан</td>\n",
       "      <td>...</td>\n",
       "      <td>1642</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Харків</td>\n",
       "      <td>КСД</td>\n",
       "      <td>Під стелею розгойдувалася потужна лампа, на ст...</td>\n",
       "      <td>Месопотамія</td>\n",
       "      <td>http://sho.kiev.ua/article-sho/34543</td>\n",
       "      <td>2014</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>548 rows × 33 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    alt_orth author_name author_name_1 author_name_2 author_name_3  \\\n",
       "0          0        Віра           NaN           NaN           NaN   \n",
       "1          0         NaN           NaN           NaN           NaN   \n",
       "2          0         NaN           NaN           NaN           NaN   \n",
       "3          0         NaN           NaN           NaN           NaN   \n",
       "4          0       Олена           NaN           NaN           NaN   \n",
       "5          0        Олег           NaN           NaN           NaN   \n",
       "6          0         NaN           NaN           NaN           NaN   \n",
       "7          0       Роман           NaN           NaN           NaN   \n",
       "8          0         NaN           NaN           NaN           NaN   \n",
       "9          0         NaN           NaN           NaN           NaN   \n",
       "10         0         NaN           NaN           NaN           NaN   \n",
       "11         0     Михайло           NaN           NaN           NaN   \n",
       "12         0         NaN           NaN           NaN           NaN   \n",
       "13         0     Михайло           NaN           NaN           NaN   \n",
       "14         0         NaN           NaN           NaN           NaN   \n",
       "15         0         NaN           NaN           NaN           NaN   \n",
       "16         0         NaN           NaN           NaN           NaN   \n",
       "17         0         NaN           NaN           NaN           NaN   \n",
       "18         0         NaN           NaN           NaN           NaN   \n",
       "19         0         NaN      Світлана        Богдан           NaN   \n",
       "20         0         NaN           NaN           NaN           NaN   \n",
       "21         0         NaN           NaN           NaN           NaN   \n",
       "22         0         NaN           NaN           NaN           NaN   \n",
       "23         0  Михайлович           NaN           NaN           NaN   \n",
       "24         1      Василь           NaN           NaN           NaN   \n",
       "25         0      Оксана           NaN           NaN           NaN   \n",
       "26         0       Любов           NaN           NaN           NaN   \n",
       "27         0      Наталя           NaN           NaN           NaN   \n",
       "28         0       Ірина           NaN           NaN           NaN   \n",
       "29         0       Ірина           NaN           NaN           NaN   \n",
       "..       ...         ...           ...           ...           ...   \n",
       "518        0      Василь           NaN           NaN           NaN   \n",
       "519        0      Василь           NaN           NaN           NaN   \n",
       "520        0      Василь           NaN           NaN           NaN   \n",
       "521        0      Василь           NaN           NaN           NaN   \n",
       "522        0       Ольга           NaN           NaN           NaN   \n",
       "523        0     Наталка           NaN           NaN           NaN   \n",
       "524        0     Наталка           NaN           NaN           NaN   \n",
       "525        0      Марина           NaN           NaN           NaN   \n",
       "526        0       Надія           NaN           NaN           NaN   \n",
       "527        0       Надія           NaN           NaN           NaN   \n",
       "528        0       Надія           NaN           NaN           NaN   \n",
       "529        0      Тетяна           NaN           NaN           NaN   \n",
       "530        0       Слава           NaN           NaN           NaN   \n",
       "531        0       Слава           NaN           NaN           NaN   \n",
       "532        0       Слава           NaN           NaN           NaN   \n",
       "533        0    Світлана           NaN           NaN           NaN   \n",
       "534        0    Світлана           NaN           NaN           NaN   \n",
       "535        0    Світлана           NaN           NaN           NaN   \n",
       "536        0    Валентин           NaN           NaN           NaN   \n",
       "537        0      Галина           NaN           NaN           NaN   \n",
       "538        0      Галина           NaN           NaN           NaN   \n",
       "539        0      Галина           NaN           NaN           NaN   \n",
       "540        0      Галина           NaN           NaN           NaN   \n",
       "541        0      Галина           NaN           NaN           NaN   \n",
       "542        0   Олександр           NaN           NaN           NaN   \n",
       "543        0   Олександр           NaN           NaN           NaN   \n",
       "544        0     Олексій           NaN           NaN           NaN   \n",
       "545        0   Валентина           NaN           NaN           NaN   \n",
       "546        0      Альона           NaN           NaN           NaN   \n",
       "547        0      Сергій           NaN           NaN           NaN   \n",
       "\n",
       "    author_name_4 author_name_5 author_name_6 author_name_7   author_surname  \\\n",
       "0             NaN           NaN           NaN           NaN       Прокопенко   \n",
       "1             NaN           NaN           NaN           NaN              NaN   \n",
       "2             NaN           NaN           NaN           NaN              NaN   \n",
       "3             NaN           NaN           NaN           NaN              NaN   \n",
       "4             NaN           NaN           NaN           NaN  Бойко-Ожередіва   \n",
       "5             NaN           NaN           NaN           NaN            Сокіл   \n",
       "6             NaN           NaN           NaN           NaN              NaN   \n",
       "7             NaN           NaN           NaN           NaN            Федюк   \n",
       "8             NaN           NaN           NaN           NaN              NaN   \n",
       "9             NaN           NaN           NaN           NaN              NaN   \n",
       "10            NaN           NaN           NaN           NaN              NaN   \n",
       "11            NaN           NaN           NaN           NaN          Жирохов   \n",
       "12            NaN           NaN           NaN           NaN              NaN   \n",
       "13            NaN           NaN           NaN           NaN         Германюк   \n",
       "14            NaN           NaN           NaN           NaN              NaN   \n",
       "15            NaN           NaN           NaN           NaN              NaN   \n",
       "16            NaN           NaN           NaN           NaN              NaN   \n",
       "17            NaN           NaN           NaN           NaN              NaN   \n",
       "18            NaN           NaN           NaN           NaN              NaN   \n",
       "19            NaN           NaN           NaN           NaN              NaN   \n",
       "20            NaN           NaN           NaN           NaN              NaN   \n",
       "21            NaN           NaN           NaN           NaN              NaN   \n",
       "22            NaN           NaN           NaN           NaN              NaN   \n",
       "23            NaN           NaN           NaN           NaN           Василь   \n",
       "24            NaN           NaN           NaN           NaN            Рябий   \n",
       "25            NaN           NaN           NaN           NaN         Ясінська   \n",
       "26            NaN           NaN           NaN           NaN           Зоріна   \n",
       "27            NaN           NaN           NaN           NaN         Деркевич   \n",
       "28            NaN           NaN           NaN           NaN          Федоляк   \n",
       "29            NaN           NaN           NaN           NaN          Федоляк   \n",
       "..            ...           ...           ...           ...              ...   \n",
       "518           NaN           NaN           NaN           NaN            Шкляр   \n",
       "519           NaN           NaN           NaN           NaN            Шкляр   \n",
       "520           NaN           NaN           NaN           NaN            Шкляр   \n",
       "521           NaN           NaN           NaN           NaN            Шкляр   \n",
       "522           NaN           NaN           NaN           NaN      Слоньовська   \n",
       "523           NaN           NaN           NaN           NaN         Сняданко   \n",
       "524           NaN           NaN           NaN           NaN         Сняданко   \n",
       "525           NaN           NaN           NaN           NaN          Соколян   \n",
       "526           NaN           NaN           NaN           NaN          Степула   \n",
       "527           NaN           NaN           NaN           NaN          Степула   \n",
       "528           NaN           NaN           NaN           NaN          Степула   \n",
       "529           NaN           NaN           NaN           NaN      Стрижевська   \n",
       "530           NaN           NaN           NaN           NaN          Світова   \n",
       "531           NaN           NaN           NaN           NaN          Світова   \n",
       "532           NaN           NaN           NaN           NaN          Світова   \n",
       "533           NaN           NaN           NaN           NaN            Талан   \n",
       "534           NaN           NaN           NaN           NaN            Талан   \n",
       "535           NaN           NaN           NaN           NaN            Талан   \n",
       "536           NaN           NaN           NaN           NaN          Тарасов   \n",
       "537           NaN           NaN           NaN           NaN       Вдовиченко   \n",
       "538           NaN           NaN           NaN           NaN       Вдовиченко   \n",
       "539           NaN           NaN           NaN           NaN       Вдовиченко   \n",
       "540           NaN           NaN           NaN           NaN       Вдовиченко   \n",
       "541           NaN           NaN           NaN           NaN       Вдовиченко   \n",
       "542           NaN           NaN           NaN           NaN           Власюк   \n",
       "543           NaN           NaN           NaN           NaN           Власюк   \n",
       "544           NaN           NaN           NaN           NaN           Волков   \n",
       "545           NaN           NaN           NaN           NaN       Вздульська   \n",
       "546           NaN           NaN           NaN           NaN            Ярова   \n",
       "547           NaN           NaN           NaN           NaN            Жадан   \n",
       "\n",
       "     ...  length     pages                     publ_in publ_part  \\\n",
       "0    ...     237         1                     Мій дім         6   \n",
       "1    ...     241       NaN                           A       NaN   \n",
       "2    ...     892       NaN            Маєш право знати       NaN   \n",
       "3    ...     774       NaN            Маєш право знати       NaN   \n",
       "4    ...     299       NaN         Чорноморські новини        17   \n",
       "5    ...     318       NaN         Чорноморські новини   102–103   \n",
       "6    ...     282       NaN                     depo.ua       NaN   \n",
       "7    ...     340       NaN                     depo.ua       NaN   \n",
       "8    ...     282       NaN                     depo.ua       NaN   \n",
       "9    ...     436       NaN                     depo.ua       NaN   \n",
       "10   ...     224       NaN                     depo.ua       NaN   \n",
       "11   ...     568       NaN                     depo.ua       NaN   \n",
       "12   ...     262       NaN                         NaN       NaN   \n",
       "13   ...     325       NaN            Дзеркало Коломиї       NaN   \n",
       "14   ...     269       NaN            Дзеркало Коломиї       NaN   \n",
       "15   ...     226       NaN            Дзеркало Коломиї       NaN   \n",
       "16   ...     302       NaN            Дзеркало Коломиї       NaN   \n",
       "17   ...     300       NaN              Експрес-онлайн       NaN   \n",
       "18   ...     489       NaN              Експрес-онлайн       NaN   \n",
       "19   ...    1137       NaN              Експрес-онлайн       NaN   \n",
       "20   ...     297       NaN            Львівська газета       NaN   \n",
       "21   ...     293       NaN          Громадянин України       NaN   \n",
       "22   ...     255         2           Галицька Просвіта   25(599)   \n",
       "23   ...     668         1           Галицька Просвіта   51(362)   \n",
       "24   ...     317         2           Галицька Просвіта   25(599)   \n",
       "25   ...     267         4           Галицька Просвіта   27(601)   \n",
       "26   ...     574         4           Галицька Просвіта   44(355)   \n",
       "27   ...     497       NaN      Галицький кореспондент       NaN   \n",
       "28   ...     401       NaN      Галицький кореспондент       NaN   \n",
       "29   ...     365       NaN      Галицький кореспондент       NaN   \n",
       "..   ...     ...       ...                         ...       ...   \n",
       "518  ...    1078    99-103                         NaN       NaN   \n",
       "519  ...    1560     17–22                         NaN       NaN   \n",
       "520  ...     474     74–76                         NaN       NaN   \n",
       "521  ...    1813     27-34                         NaN       NaN   \n",
       "522  ...     679    99-101                         NaN       NaN   \n",
       "523  ...    1126     21-26                         NaN       NaN   \n",
       "524  ...     874     76-79                         NaN       NaN   \n",
       "525  ...    1884   130-137                         NaN       NaN   \n",
       "526  ...     432     16-17                         NaN       NaN   \n",
       "527  ...     490   110-111                         NaN       NaN   \n",
       "528  ...     846   143-145                         NaN       NaN   \n",
       "529  ...     440       NaN                         NaN       NaN   \n",
       "530  ...     705     12-18                         NaN       NaN   \n",
       "531  ...     878     49-58                         NaN       NaN   \n",
       "532  ...     814     64-71                         NaN       NaN   \n",
       "533  ...     472     94–97  Залізниці, потяги, вокзали       NaN   \n",
       "534  ...     326     97–98  Залізниці, потяги, вокзали       NaN   \n",
       "535  ...     849  ???20-25                         NaN       NaN   \n",
       "536  ...    2025   184-193                         NaN       NaN   \n",
       "537  ...     782      5-15                         NaN       NaN   \n",
       "538  ...     758     85-89                         NaN       NaN   \n",
       "539  ...     726   234-237                         NaN       NaN   \n",
       "540  ...     551       NaN                         NaN       NaN   \n",
       "541  ...     782       NaN                         NaN       NaN   \n",
       "542  ...     983     12-16         Казки лірника Сашка       NaN   \n",
       "543  ...     932     19-22         Казки лірника Сашка       NaN   \n",
       "544  ...     621     12-14                         NaN       NaN   \n",
       "545  ...    1394      6–29                         NaN       NaN   \n",
       "546  ...    1106    98–102              Чат для дівчат       NaN   \n",
       "547  ...    1642       NaN                         NaN       NaN   \n",
       "\n",
       "           publ_place                                          publisher  \\\n",
       "0                Київ                                                NaN   \n",
       "1             Бровари                                                NaN   \n",
       "2             Бровари                                                NaN   \n",
       "3             Бровари                                                NaN   \n",
       "4               Одеса                                                NaN   \n",
       "5               Одеса                                                NaN   \n",
       "6                 NaN                                                NaN   \n",
       "7                 NaN                                                NaN   \n",
       "8                 NaN                                                NaN   \n",
       "9                 NaN                                                NaN   \n",
       "10                NaN                                                NaN   \n",
       "11                NaN                                                NaN   \n",
       "12            Коломия                                                NaN   \n",
       "13            Коломия                                                NaN   \n",
       "14            Коломия                                                NaN   \n",
       "15            Коломия                                                NaN   \n",
       "16            Коломия                                                NaN   \n",
       "17              Львів                                                NaN   \n",
       "18                NaN                                                NaN   \n",
       "19                NaN                                                NaN   \n",
       "20                NaN                                                NaN   \n",
       "21                NaN                                                NaN   \n",
       "22   Івано-Франківськ                                                NaN   \n",
       "23   Івано-Франківськ                                                NaN   \n",
       "24   Івано-Франківськ                                                NaN   \n",
       "25   Івано-Франківськ                                                NaN   \n",
       "26   Івано-Франківськ                                                NaN   \n",
       "27   Івано-Франківськ                                                NaN   \n",
       "28   Івано-Франківськ                                                NaN   \n",
       "29   Івано-Франківськ                                                NaN   \n",
       "..                ...                                                ...   \n",
       "518            Харків                            Клуб сімейного дозвілля   \n",
       "519            Харків           Книжковий Клуб «Клуб Сімейного Дозвілля»   \n",
       "520            Харків           Книжковий Клуб «Клуб Сімейного Дозвілля»   \n",
       "521            Харків                            Клуб сімейного дозвілля   \n",
       "522            Харків                                                КСД   \n",
       "523            Харків                            Клуб сімейного дозвілля   \n",
       "524            Харків                            Клуб сімейного дозвілля   \n",
       "525              Київ                                          Нора-Друк   \n",
       "526              Київ                              Український пріоритет   \n",
       "527              Київ                              Український пріоритет   \n",
       "528              Київ                              Український пріоритет   \n",
       "529              Київ                                          Смолоскип   \n",
       "530              Київ                               Брайт Стар Паблішинг   \n",
       "531              Київ                               Брайт Стар Паблішинг   \n",
       "532              Київ                               Брайт Стар Паблішинг   \n",
       "533              Київ                            Видавнича група КМ-БУКС   \n",
       "534              Київ                            Видавнича група КМ-БУКС   \n",
       "535            Харків                            Клуб Сімейного Дозвілля   \n",
       "536            Харків                            Клуб Сімейного Дозвілля   \n",
       "537             Львів                           Видавництво Старого Лева   \n",
       "538             Львів                           Видавництво Старого Лева   \n",
       "539            Харків                            Клуб Сімейного Дозвілля   \n",
       "540            Харків                            Клуб Сімейного Дозвілля   \n",
       "541            Харків                            Клуб Сімейного Дозвілля   \n",
       "542              Київ  Видавництво Олега Петренка-Заневського \"Сіма в...   \n",
       "543              Київ  Видавництво Олега Петренка-Заневського \"Сіма в...   \n",
       "544              Київ                                          Нора-Друк   \n",
       "545            Харків                                              Віват   \n",
       "546             Львів                           Видавництво Старого Лева   \n",
       "547            Харків                                                КСД   \n",
       "\n",
       "                                                  text  \\\n",
       "0    Історія змін. Спільними зусиллями влада та гро...   \n",
       "1    Блок Петра Порошенка «Солідарність» оприлюднив...   \n",
       "2    Радянський Союз вже давно мертвий, але його тр...   \n",
       "3    7 школа\\nНа святкову лінійку 1-х та 11-х класі...   \n",
       "4    Музика Баха, Моцарта, Гайдна завжди пробуджує ...   \n",
       "5    У середу, 16 грудня, відбулася чергова сесія н...   \n",
       "6    50% опитаних громадян України не підтримують н...   \n",
       "7    Брюссель у своєму протистоянні з Варшавою пішо...   \n",
       "8    За першу половину сьогоднішньої доби в районі ...   \n",
       "9    Журналісти Bellingcat оприлюднили доповідь про...   \n",
       "10   Президент України Петро Порошенко закликав роз...   \n",
       "11   Починаючи з середини лютого, в зоні протистоян...   \n",
       "12   Звільнені міською владою заслужені тренери Укр...   \n",
       "13   Знайомий лікар, якого я зустрів у коломийськом...   \n",
       "14   Піти до газового господарства для з’ясування п...   \n",
       "15   АЕРК проводитиме зустрічі з Нижньовербізькою, ...   \n",
       "16   Відходять у минуле ті з коломийців, які ще, па...   \n",
       "17   Учитель-росіянин із російського провінційного ...   \n",
       "18   Цими днями Україну потряс незвичний гучний ска...   \n",
       "19   Попри поширену думку, що видобуток із надр – с...   \n",
       "20   Упродовж 2012-2014 років національний природни...   \n",
       "21   Цей фактор, звичайно, важливий, проте такий ви...   \n",
       "22   21 червня близько 15.00 внаслідок погіршення п...   \n",
       "23   Хто такий просвітянин? Визначають, що це людин...   \n",
       "24   Анатолій Осадчий – знана людина в освіті Колом...   \n",
       "25   У Музеї писанкового розпису відкрито виставку ...   \n",
       "26   Грає скрипка… Скрипаль тулить її до підборіддя...   \n",
       "27   Пан Михайло розповідає, що його брат Лев Довбе...   \n",
       "28   На Коломийщині розгорівся скандал щодо ліквіда...   \n",
       "29   23 березня Верховна Рада підтримала поправки д...   \n",
       "..                                                 ...   \n",
       "518  — Я кохаю тебе, — сказала вона. — Пам’ятай про...   \n",
       "519  Єгер, який ставив усе під сумнів, знов хотів щ...   \n",
       "520  –Ні, скажете ви, кожна людина боїться, страх —...   \n",
       "521  Бабуся Улита зачудовано дивиться на онука, ще ...   \n",
       "522  У ліс малою дитиною мене брали, коли тато з ма...   \n",
       "523  У дитинстві, коли вона підіймалася цими сходам...   \n",
       "524  Мине кілька років, і Христина перестане зауваж...   \n",
       "525  Якимось шостим почуттям вона осягнула, що зара...   \n",
       "526  Мішель мріяв вибратися з кабінету й піти світ ...   \n",
       "527  На подвір’ї галасували птахи, перелітаючи з гі...   \n",
       "528  Віднедавна... І затримок із передачею інформац...   \n",
       "529  Коли розгорівся серпень, Яна почала бити на сп...   \n",
       "530  ЛЮБЛЮ\\nЛюблю, коли після дощу влітку повітря п...   \n",
       "531  РУСАЛКА\\nКолись давно я була русалкою. З довги...   \n",
       "532  ШОКОЛАДНИЦЯ\\nУсе змінилося того дня, коли вона...   \n",
       "533  Я з батьками жила у невеличкій кімнаті гуртожи...   \n",
       "534  Я з батьками жила у невеличкій кімнаті гуртожи...   \n",
       "535  Увечері Вероніка не вийшла до Кіри, щоб не сер...   \n",
       "536  Чеслав лежав, прикривши дівчину своїм тілом. Ї...   \n",
       "537  ВСТУП\\nЦя історія — про одне котяче товариство...   \n",
       "538  До підлоги припав, скрадається, викаблучується...   \n",
       "539  Кароліна Кужвій приїхала тоді на знімальний ма...   \n",
       "540  У салоні екологічних інтер'єрів справа залагод...   \n",
       "541  Зараз важливо було не розгубитися. Я коротко й...   \n",
       "542  Уночі на Андрія хлопці в селі бешкетують. Кому...   \n",
       "543  А що ще робити чесним людям довгими зимовими в...   \n",
       "544  Проблем зі здоров'ям, судячи з усього, письмен...   \n",
       "545  1\\nЦей липневий день буде особливим.\\nТато заб...   \n",
       "546  Я завжди хотіла, щоб мої батьки переїхали до С...   \n",
       "547  Під стелею розгойдувалася потужна лампа, на ст...   \n",
       "\n",
       "                                                 title  \\\n",
       "0                                Відродження велотреку   \n",
       "1                                                  NaN   \n",
       "2     Шкільні лінійки в Броварах: чи оновиться формат?   \n",
       "3     Шкільні лінійки в Броварах: чи оновиться формат?   \n",
       "4                             Торкнутися високих істин   \n",
       "5                     Реверанс перед агресором. Третій   \n",
       "6    Більшість українців не підтримують «особливіст...   \n",
       "7                Чи прирівняє Брюссель Польщу до Росії   \n",
       "8    Карта АТО на 1 вересня: Потужний обстріл Авдії...   \n",
       "9    Оприлюднено докази участі російської армії у н...   \n",
       "10   Порошенко у розмові з Туском закликав поширити...   \n",
       "11      Українські війська змінюють тактику на Донбасі   \n",
       "12                                                 NaN   \n",
       "13   Виглядає на те, що для коломийських медиків пі...   \n",
       "14   Головоломка з оплатою за газ: як коломиянам ро...   \n",
       "15   У Коломиї реалізовують Проект \"Об’єднані терит...   \n",
       "16   Василь Нагірний презентував книжку про видатно...   \n",
       "17                    Чи легко в Росії любити Україну?   \n",
       "18                 Секретні справи «прокурора-лексуса»   \n",
       "19                     Тіньові схеми Яценюка і Мохника   \n",
       "20    На болото в Закарпатті повернулися вода та бобри   \n",
       "21   5 фінансових варіантів, які можуть будуть кори...   \n",
       "22   Гроза і буревій на Прикарпатті: є жертви і зна...   \n",
       "23                            Перелопатити гору роботи   \n",
       "24                           Невтомний посох пілігрима   \n",
       "25                         Яворівскька іграшка-забавка   \n",
       "26                                 Закоханий у скрипку   \n",
       "27                          Смерть прийшла через вікно   \n",
       "28                         Басейн перетікає до громади   \n",
       "29   Декларації для антикорупціонерів: холодний под...   \n",
       "..                                                 ...   \n",
       "518                                             Маруся   \n",
       "519                                        Чорне Сонце   \n",
       "520                                        Чорне Сонце   \n",
       "521                                          Тінь сови   \n",
       "522                                   Дівчинка на кулі   \n",
       "523          Фрау Мюллер не налаштована платити більше   \n",
       "524          Фрау Мюллер не налаштована платити більше   \n",
       "525                                       Серце гарпії   \n",
       "526                                       Сьомий аркан   \n",
       "527                                       Сьомий аркан   \n",
       "528                                       Сьомий аркан   \n",
       "529                                         Ad libitum   \n",
       "530                   Жменька слів для доброго настрою   \n",
       "531                   Жменька слів для доброго настрою   \n",
       "532                   Жменька слів для доброго настрою   \n",
       "533                                       Диво вокзалу   \n",
       "534                                       Диво вокзалу   \n",
       "535                                            Помилка   \n",
       "536                            Чеслав. В темряві сонця   \n",
       "537                                       36 і 6 котів   \n",
       "538                                       36 і 6 котів   \n",
       "539                                         Купальниця   \n",
       "540            Тамдевін. Вовчі історії замку Гербуртів   \n",
       "541            Тамдевін. Вовчі історії замку Гербуртів   \n",
       "542             Про парубків, Тимоша і квітку-папороть   \n",
       "543               Про жида Лейбу і нечищений оселедець   \n",
       "544                                       Слід на воді   \n",
       "545                                             Плутон   \n",
       "546                                         Чорно-біле   \n",
       "547                                        Месопотамія   \n",
       "\n",
       "                                                   url  year  \n",
       "0    http://alumni.krok.edu.ua/images/gallery/01-04...  2015  \n",
       "1    http://brovary.pravo-znaty.org.ua/blok-petra-p...   215  \n",
       "2    http://brovary.pravo-znaty.org.ua/shkilni-lini...  2016  \n",
       "3    http://brovary.pravo-znaty.org.ua/shkilni-lini...  2016  \n",
       "4            http://chornomorka.com/archive/a-474.html  2012  \n",
       "5           http://chornomorka.com/archive/a-6765.html  2015  \n",
       "6    http://www.depo.ua/ukr/life/bilshist-ukrayints...  2016  \n",
       "7    http://www.depo.ua/ukr/svit/chi-pririvnyae-bry...  2016  \n",
       "8    http://www.depo.ua/ukr/war/karta-ato-na-1-vere...  2016  \n",
       "9    http://dn.depo.ua/ukr/mariupol/oprilyudneno-do...  2015  \n",
       "10   http://www.depo.ua/ukr/politics/poroshenko-u-r...  2016  \n",
       "11   http://www.depo.ua/ukr/war/ukrayinski-viyska-m...  2016  \n",
       "12                                                   ﻿  2016  \n",
       "13   https://dzerkalo.media/viglyadaye-na-te-shho-d...  2016  \n",
       "14   https://dzerkalo.media/golovolomka-z-oplatoyu-...  2016  \n",
       "15   https://dzerkalo.media/u-kolomiyi-realizovuyut...  2017  \n",
       "16   https://dzerkalo.media/vasil-nagirniy-prezentu...  2015  \n",
       "17   http://expres.ua/main/2016/09/27/204918-legko-...  2016  \n",
       "18   http://www.expres.ua/main/2015/03/30/130139-se...  2015  \n",
       "19   http://www.expres.ua/main/2014/12/08/120994-ti...  2014  \n",
       "20             http://www.gazeta.lviv.ua/ecology/37205  2014  \n",
       "21                    http://gukr.com/article3632.html  2013  \n",
       "22                                                 NaN  2016  \n",
       "23                                                 NaN  2011  \n",
       "24                                                 NaN  2016  \n",
       "25                                                 NaN  2016  \n",
       "26                                                 NaN  2011  \n",
       "27   http://gk-press.if.ua/smert-pryjshla-cherez-vi...  2016  \n",
       "28   http://gk-press.if.ua/basejn-peretikaye-do-gro...  2017  \n",
       "29   http://gk-press.if.ua/deklaratsiyi-dlya-antyko...  2017  \n",
       "..                                                 ...   ...  \n",
       "518                                                NaN  2014  \n",
       "519                                                NaN  2016  \n",
       "520                                                NaN  2016  \n",
       "521                                                NaN  2014  \n",
       "522                                                NaN  2012  \n",
       "523                                                NaN  2013  \n",
       "524                                                NaN  2013  \n",
       "525                                                NaN  2013  \n",
       "526                                                NaN  2012  \n",
       "527                                                NaN  2012  \n",
       "528                                                NaN  2012  \n",
       "529                                                NaN  2014  \n",
       "530                                                NaN  2014  \n",
       "531                                                NaN  2014  \n",
       "532                                                NaN  2014  \n",
       "533                                                NaN  2016  \n",
       "534                                                NaN  2016  \n",
       "535                                                NaN  2014  \n",
       "536                                                NaN  2013  \n",
       "537                                                NaN  2015  \n",
       "538                                                NaN  2015  \n",
       "539                                                NaN  2012  \n",
       "540                                                NaN  2015  \n",
       "541                                                NaN  2015  \n",
       "542                                                NaN  2011  \n",
       "543                                                NaN  2011  \n",
       "544                                                NaN  2011  \n",
       "545                                                NaN  2016  \n",
       "546                                                NaN  2016  \n",
       "547               http://sho.kiev.ua/article-sho/34543  2014  \n",
       "\n",
       "[548 rows x 33 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_bruk = pd.DataFrame.from_dict(articles)\n",
    "df_bruk"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>alt_orth</th>\n",
       "      <th>author_name</th>\n",
       "      <th>author_name_1</th>\n",
       "      <th>author_name_2</th>\n",
       "      <th>author_name_3</th>\n",
       "      <th>author_name_4</th>\n",
       "      <th>author_name_5</th>\n",
       "      <th>author_name_6</th>\n",
       "      <th>author_name_7</th>\n",
       "      <th>author_surname</th>\n",
       "      <th>...</th>\n",
       "      <th>publ_in</th>\n",
       "      <th>publ_part</th>\n",
       "      <th>publ_place</th>\n",
       "      <th>publisher</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>year</th>\n",
       "      <th>text_length</th>\n",
       "      <th>par_count</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>id</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>A</th>\n",
       "      <td>262</td>\n",
       "      <td>181</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>181</td>\n",
       "      <td>...</td>\n",
       "      <td>260</td>\n",
       "      <td>45</td>\n",
       "      <td>181</td>\n",
       "      <td>1</td>\n",
       "      <td>262</td>\n",
       "      <td>262</td>\n",
       "      <td>230</td>\n",
       "      <td>262</td>\n",
       "      <td>262</td>\n",
       "      <td>262</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>B</th>\n",
       "      <td>16</td>\n",
       "      <td>13</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>13</td>\n",
       "      <td>...</td>\n",
       "      <td>8</td>\n",
       "      <td>5</td>\n",
       "      <td>12</td>\n",
       "      <td>10</td>\n",
       "      <td>17</td>\n",
       "      <td>17</td>\n",
       "      <td>10</td>\n",
       "      <td>16</td>\n",
       "      <td>17</td>\n",
       "      <td>17</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>C</th>\n",
       "      <td>26</td>\n",
       "      <td>20</td>\n",
       "      <td>5</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>20</td>\n",
       "      <td>...</td>\n",
       "      <td>23</td>\n",
       "      <td>6</td>\n",
       "      <td>17</td>\n",
       "      <td>9</td>\n",
       "      <td>26</td>\n",
       "      <td>26</td>\n",
       "      <td>2</td>\n",
       "      <td>26</td>\n",
       "      <td>26</td>\n",
       "      <td>26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>D</th>\n",
       "      <td>37</td>\n",
       "      <td>31</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>31</td>\n",
       "      <td>...</td>\n",
       "      <td>19</td>\n",
       "      <td>2</td>\n",
       "      <td>35</td>\n",
       "      <td>33</td>\n",
       "      <td>37</td>\n",
       "      <td>37</td>\n",
       "      <td>5</td>\n",
       "      <td>37</td>\n",
       "      <td>37</td>\n",
       "      <td>37</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>E</th>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>F</th>\n",
       "      <td>22</td>\n",
       "      <td>17</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>17</td>\n",
       "      <td>...</td>\n",
       "      <td>8</td>\n",
       "      <td>5</td>\n",
       "      <td>22</td>\n",
       "      <td>18</td>\n",
       "      <td>22</td>\n",
       "      <td>22</td>\n",
       "      <td>1</td>\n",
       "      <td>22</td>\n",
       "      <td>22</td>\n",
       "      <td>22</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>G</th>\n",
       "      <td>15</td>\n",
       "      <td>12</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>12</td>\n",
       "      <td>...</td>\n",
       "      <td>11</td>\n",
       "      <td>8</td>\n",
       "      <td>15</td>\n",
       "      <td>11</td>\n",
       "      <td>15</td>\n",
       "      <td>15</td>\n",
       "      <td>3</td>\n",
       "      <td>15</td>\n",
       "      <td>15</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>H</th>\n",
       "      <td>14</td>\n",
       "      <td>4</td>\n",
       "      <td>10</td>\n",
       "      <td>8</td>\n",
       "      <td>4</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>4</td>\n",
       "      <td>...</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>0</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>I</th>\n",
       "      <td>143</td>\n",
       "      <td>142</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>142</td>\n",
       "      <td>...</td>\n",
       "      <td>32</td>\n",
       "      <td>2</td>\n",
       "      <td>142</td>\n",
       "      <td>142</td>\n",
       "      <td>143</td>\n",
       "      <td>143</td>\n",
       "      <td>1</td>\n",
       "      <td>143</td>\n",
       "      <td>143</td>\n",
       "      <td>143</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>9 rows × 34 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    alt_orth  author_name  author_name_1  author_name_2  author_name_3  \\\n",
       "id                                                                       \n",
       "A        262          181              3              3              1   \n",
       "B         16           13              0              0              0   \n",
       "C         26           20              5              5              0   \n",
       "D         37           31              3              3              3   \n",
       "E          3            0              0              0              0   \n",
       "F         22           17              2              2              0   \n",
       "G         15           12              3              3              2   \n",
       "H         14            4             10              8              4   \n",
       "I        143          142              1              1              0   \n",
       "\n",
       "    author_name_4  author_name_5  author_name_6  author_name_7  \\\n",
       "id                                                               \n",
       "A               1              0              0              0   \n",
       "B               0              0              0              0   \n",
       "C               0              0              0              0   \n",
       "D               3              0              0              0   \n",
       "E               0              0              0              0   \n",
       "F               0              0              0              0   \n",
       "G               1              1              0              0   \n",
       "H               3              2              2              2   \n",
       "I               0              0              0              0   \n",
       "\n",
       "    author_surname    ...      publ_in  publ_part  publ_place  publisher  \\\n",
       "id                    ...                                                  \n",
       "A              181    ...          260         45         181          1   \n",
       "B               13    ...            8          5          12         10   \n",
       "C               20    ...           23          6          17          9   \n",
       "D               31    ...           19          2          35         33   \n",
       "E                0    ...            1          0           3          2   \n",
       "F               17    ...            8          5          22         18   \n",
       "G               12    ...           11          8          15         11   \n",
       "H                4    ...            3          0          14         14   \n",
       "I              142    ...           32          2         142        142   \n",
       "\n",
       "    text  title  url  year  text_length  par_count  \n",
       "id                                                  \n",
       "A    262    262  230   262          262        262  \n",
       "B     17     17   10    16           17         17  \n",
       "C     26     26    2    26           26         26  \n",
       "D     37     37    5    37           37         37  \n",
       "E      3      3    3     3            3          3  \n",
       "F     22     22    1    22           22         22  \n",
       "G     15     15    3    15           15         15  \n",
       "H     14     14    0    14           14         14  \n",
       "I    143    143    1   143          143        143  \n",
       "\n",
       "[9 rows x 34 columns]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_bruk = df_bruk.join(df_bruk['text'].map(lambda x: len(x)).rename('text_length'))\n",
    "df_bruk = df_bruk.join(df_bruk['body'].map(lambda x: len(x)).rename('par_count'))\n",
    "df_bruk.groupby(['id']).count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Documents with category defined (not NaN): 539\n",
      "Documents by genre id:\n",
      " id\n",
      "A    262\n",
      "B     17\n",
      "C     26\n",
      "D     37\n",
      "E      3\n",
      "F     22\n",
      "G     15\n",
      "H     14\n",
      "I    143\n",
      "Name: id, dtype: int64\n",
      "Paragraphs count by genre id:\n",
      " id\n",
      "A    2005\n",
      "B     172\n",
      "C     403\n",
      "D     652\n",
      "E     239\n",
      "F     315\n",
      "G     185\n",
      "H     221\n",
      "I    2846\n",
      "Name: par_count, dtype: int64\n",
      "Text length sum by genre id:\n",
      " id\n",
      "A    680057\n",
      "B     82588\n",
      "C     96077\n",
      "D    207702\n",
      "E     44162\n",
      "F    108001\n",
      "G     97011\n",
      "H     84623\n",
      "I    833247\n",
      "Name: text_length, dtype: int64\n"
     ]
    }
   ],
   "source": [
    "print('Documents with category defined (not NaN):', df_bruk['id'].count())\n",
    "print('Documents by genre id:\\n', df_bruk.groupby(['id'])['id'].count())\n",
    "print('Paragraphs count by genre id:\\n', df_bruk.groupby(['id'])[\"par_count\"].sum())\n",
    "print('Text length sum by genre id:\\n', df_bruk.groupby(['id'])[\"text_length\"].sum())\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Категорії текстів у БрУК (відсотки визначено колективно 30.08.2014)\n",
    "\n",
    "| Ідентифікатор | Категорія | Частка в корпусі | Опис текстів |\n",
    "| ------------- |-----------|------------------|--------------|\n",
    "| А | Преса | 25% | Репортажі, огляди, редакційні статті, листи до редакції; національні й регіональні видання; тематично - політика, спорт, суспільство, економіка й фінанси, короткі новини, культура - театр, література, музика, танці |\n",
    "| B | Релігійна література | 3% | Книжки, періодика, брошури |\n",
    "| С | Професійно-популярна література | 7% | Книжки й періодика; домоводство, ремесла, «сад і город», хобі, ремонт і будівництво, конструювання, музика й танці, домашні тварини, спорт, їжа й вино, подорожі, фермерство, робочі професії тощо |\n",
    "| D | «Естетичні інформативні» тексти | 7% | Інформативні тексти, що не потрапляють в інші категорії, зокрема, біографії, мемуари, есеї, передмови, особисті листи, художня й мистецтвознавча критика, рекламні тексти |\n",
    "| E | Адміністративні документи | 3% | Закони, урядові акти, звіти організацій/фондів/компаній, офіційні листи |\n",
    "| F | Науково-популярна література | 5% | |\n",
    "| G | Наукова література | 10% | Книжки й періодика; природничі й гуманітарні науки, техніка й інженерна справа |\n",
    "| H | Навчальна література | 15% | Підручники, посібники, гуманітарні та природничі науки тощо |\n",
    "| I | Художні тексти | 25% | Романи, повісті, оповідання, новели, за тематикою – загальна, детективи, фантастика, пригодницька, любовна, гумористична тощо |\n",
    "\n",
    "Загалом тексти поділяються на два види – інформативні (призначені поінформувати читача) і художні (описують вигаданих персонажів і події). Інформативний вид охоплює категорії А-H, художній – лише I."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![chart](docs\\chart.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Розділяємо корпус на 3 категорії: преса (A), наукова та професійна література (C, D, F, G, H), художня література (I)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "ERROR:root:good/A_brovary_maiesh_pravo_znaty_Blok_Petra_Poroshenka_2015(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/A_Dzerkalo_Kolomyyi_BF_Pokuttya_vyplatyv_zarplatnyu_2016(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/A_Krytyka_Hrytsak_Polit_dzhmelia_2014(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/A_wz.lviv.ua_Hutyk_Hryshko_obrazyvsia_2013(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/A_zbruc.eu_Dzhamala_peremohla_u_konkursi_Eurovision_2016(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/B_Kana_Nadiia_voskresinnia_2013(4).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/D_Moskalets_1_My_buly_yak_vy_vy_budete_yak_my_2013(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/E_Lvov_Pro deiaki pytannia praktyky zastosuvannia Zakonu Ukrainy_2015(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n",
      "ERROR:root:good/I_Prokhasko_Kudy_znyklo_more_2014(5).txt\n",
      "Traceback (most recent call last):\n",
      "  File \"<ipython-input-7-1e63db1c8330>\", line 3, in <module>\n",
      "    x['category'] = map_category_bruk(x)\n",
      "  File \"c:\\work\\jul\\news_stylistics\\articlehelper.py\", line 233, in map_category_bruk\n",
      "    return map_rename_category(doc['id'], {'A':'press', 'C':'prof_science', 'F':'prof_science', 'G':'prof_science', 'H':'prof_science', 'I':'fiction'}, 'other')\n",
      "KeyError: 'id'\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "539"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "for x in articles:\n",
    "    try:\n",
    "        x['category'] = map_category_bruk(x)\n",
    "    except:\n",
    "        logging.exception(x['filename'])\n",
    "df_bruk = pd.DataFrame.from_dict(articles)\n",
    "df_bruk['category'].count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th>alt_orth</th>\n",
       "      <th>author_name</th>\n",
       "      <th>author_name_1</th>\n",
       "      <th>author_name_2</th>\n",
       "      <th>author_name_3</th>\n",
       "      <th>author_name_4</th>\n",
       "      <th>author_name_5</th>\n",
       "      <th>author_name_6</th>\n",
       "      <th>author_name_7</th>\n",
       "      <th>author_surname</th>\n",
       "      <th>...</th>\n",
       "      <th>length</th>\n",
       "      <th>pages</th>\n",
       "      <th>publ_in</th>\n",
       "      <th>publ_part</th>\n",
       "      <th>publ_place</th>\n",
       "      <th>publisher</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>year</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>category</th>\n",
       "      <th>id</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>fiction</th>\n",
       "      <th>I</th>\n",
       "      <td>143</td>\n",
       "      <td>142</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>142</td>\n",
       "      <td>...</td>\n",
       "      <td>143</td>\n",
       "      <td>133</td>\n",
       "      <td>32</td>\n",
       "      <td>2</td>\n",
       "      <td>142</td>\n",
       "      <td>142</td>\n",
       "      <td>143</td>\n",
       "      <td>143</td>\n",
       "      <td>1</td>\n",
       "      <td>143</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"3\" valign=\"top\">other</th>\n",
       "      <th>B</th>\n",
       "      <td>16</td>\n",
       "      <td>13</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>13</td>\n",
       "      <td>...</td>\n",
       "      <td>17</td>\n",
       "      <td>7</td>\n",
       "      <td>8</td>\n",
       "      <td>5</td>\n",
       "      <td>12</td>\n",
       "      <td>10</td>\n",
       "      <td>17</td>\n",
       "      <td>17</td>\n",
       "      <td>10</td>\n",
       "      <td>16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>D</th>\n",
       "      <td>37</td>\n",
       "      <td>31</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>31</td>\n",
       "      <td>...</td>\n",
       "      <td>37</td>\n",
       "      <td>32</td>\n",
       "      <td>19</td>\n",
       "      <td>2</td>\n",
       "      <td>35</td>\n",
       "      <td>33</td>\n",
       "      <td>37</td>\n",
       "      <td>37</td>\n",
       "      <td>5</td>\n",
       "      <td>37</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>E</th>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>...</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>press</th>\n",
       "      <th>A</th>\n",
       "      <td>262</td>\n",
       "      <td>181</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>181</td>\n",
       "      <td>...</td>\n",
       "      <td>262</td>\n",
       "      <td>38</td>\n",
       "      <td>260</td>\n",
       "      <td>45</td>\n",
       "      <td>181</td>\n",
       "      <td>1</td>\n",
       "      <td>262</td>\n",
       "      <td>262</td>\n",
       "      <td>230</td>\n",
       "      <td>262</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th rowspan=\"4\" valign=\"top\">prof_science</th>\n",
       "      <th>C</th>\n",
       "      <td>26</td>\n",
       "      <td>20</td>\n",
       "      <td>5</td>\n",
       "      <td>5</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>20</td>\n",
       "      <td>...</td>\n",
       "      <td>26</td>\n",
       "      <td>15</td>\n",
       "      <td>23</td>\n",
       "      <td>6</td>\n",
       "      <td>17</td>\n",
       "      <td>9</td>\n",
       "      <td>26</td>\n",
       "      <td>26</td>\n",
       "      <td>2</td>\n",
       "      <td>26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>F</th>\n",
       "      <td>22</td>\n",
       "      <td>17</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>17</td>\n",
       "      <td>...</td>\n",
       "      <td>22</td>\n",
       "      <td>21</td>\n",
       "      <td>8</td>\n",
       "      <td>5</td>\n",
       "      <td>22</td>\n",
       "      <td>18</td>\n",
       "      <td>22</td>\n",
       "      <td>22</td>\n",
       "      <td>1</td>\n",
       "      <td>22</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>G</th>\n",
       "      <td>15</td>\n",
       "      <td>12</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>12</td>\n",
       "      <td>...</td>\n",
       "      <td>15</td>\n",
       "      <td>14</td>\n",
       "      <td>11</td>\n",
       "      <td>8</td>\n",
       "      <td>15</td>\n",
       "      <td>11</td>\n",
       "      <td>15</td>\n",
       "      <td>15</td>\n",
       "      <td>3</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>H</th>\n",
       "      <td>14</td>\n",
       "      <td>4</td>\n",
       "      <td>10</td>\n",
       "      <td>8</td>\n",
       "      <td>4</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>4</td>\n",
       "      <td>...</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>3</td>\n",
       "      <td>0</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>14</td>\n",
       "      <td>0</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>9 rows × 32 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                 alt_orth  author_name  author_name_1  author_name_2  \\\n",
       "category     id                                                        \n",
       "fiction      I        143          142              1              1   \n",
       "other        B         16           13              0              0   \n",
       "             D         37           31              3              3   \n",
       "             E          3            0              0              0   \n",
       "press        A        262          181              3              3   \n",
       "prof_science C         26           20              5              5   \n",
       "             F         22           17              2              2   \n",
       "             G         15           12              3              3   \n",
       "             H         14            4             10              8   \n",
       "\n",
       "                 author_name_3  author_name_4  author_name_5  author_name_6  \\\n",
       "category     id                                                               \n",
       "fiction      I               0              0              0              0   \n",
       "other        B               0              0              0              0   \n",
       "             D               3              3              0              0   \n",
       "             E               0              0              0              0   \n",
       "press        A               1              1              0              0   \n",
       "prof_science C               0              0              0              0   \n",
       "             F               0              0              0              0   \n",
       "             G               2              1              1              0   \n",
       "             H               4              3              2              2   \n",
       "\n",
       "                 author_name_7  author_surname  ...   length  pages  publ_in  \\\n",
       "category     id                                 ...                            \n",
       "fiction      I               0             142  ...      143    133       32   \n",
       "other        B               0              13  ...       17      7        8   \n",
       "             D               0              31  ...       37     32       19   \n",
       "             E               0               0  ...        3      0        1   \n",
       "press        A               0             181  ...      262     38      260   \n",
       "prof_science C               0              20  ...       26     15       23   \n",
       "             F               0              17  ...       22     21        8   \n",
       "             G               0              12  ...       15     14       11   \n",
       "             H               2               4  ...       14     14        3   \n",
       "\n",
       "                 publ_part  publ_place  publisher  text  title  url  year  \n",
       "category     id                                                            \n",
       "fiction      I           2         142        142   143    143    1   143  \n",
       "other        B           5          12         10    17     17   10    16  \n",
       "             D           2          35         33    37     37    5    37  \n",
       "             E           0           3          2     3      3    3     3  \n",
       "press        A          45         181          1   262    262  230   262  \n",
       "prof_science C           6          17          9    26     26    2    26  \n",
       "             F           5          22         18    22     22    1    22  \n",
       "             G           8          15         11    15     15    3    15  \n",
       "             H           0          14         14    14     14    0    14  \n",
       "\n",
       "[9 rows x 32 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_bruk.groupby(['category', 'id']).count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>alt_orth</th>\n",
       "      <th>author_name</th>\n",
       "      <th>author_name_1</th>\n",
       "      <th>author_name_2</th>\n",
       "      <th>author_name_3</th>\n",
       "      <th>author_name_4</th>\n",
       "      <th>author_name_5</th>\n",
       "      <th>author_name_6</th>\n",
       "      <th>author_name_7</th>\n",
       "      <th>author_surname</th>\n",
       "      <th>...</th>\n",
       "      <th>length</th>\n",
       "      <th>pages</th>\n",
       "      <th>publ_in</th>\n",
       "      <th>publ_part</th>\n",
       "      <th>publ_place</th>\n",
       "      <th>publisher</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>year</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>category</th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>fiction</th>\n",
       "      <td>143</td>\n",
       "      <td>142</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>142</td>\n",
       "      <td>...</td>\n",
       "      <td>143</td>\n",
       "      <td>133</td>\n",
       "      <td>32</td>\n",
       "      <td>2</td>\n",
       "      <td>142</td>\n",
       "      <td>142</td>\n",
       "      <td>143</td>\n",
       "      <td>143</td>\n",
       "      <td>1</td>\n",
       "      <td>143</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>press</th>\n",
       "      <td>262</td>\n",
       "      <td>181</td>\n",
       "      <td>3</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>1</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>181</td>\n",
       "      <td>...</td>\n",
       "      <td>262</td>\n",
       "      <td>38</td>\n",
       "      <td>260</td>\n",
       "      <td>45</td>\n",
       "      <td>181</td>\n",
       "      <td>1</td>\n",
       "      <td>262</td>\n",
       "      <td>262</td>\n",
       "      <td>230</td>\n",
       "      <td>262</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>prof_science</th>\n",
       "      <td>77</td>\n",
       "      <td>53</td>\n",
       "      <td>20</td>\n",
       "      <td>18</td>\n",
       "      <td>6</td>\n",
       "      <td>4</td>\n",
       "      <td>3</td>\n",
       "      <td>2</td>\n",
       "      <td>2</td>\n",
       "      <td>53</td>\n",
       "      <td>...</td>\n",
       "      <td>77</td>\n",
       "      <td>64</td>\n",
       "      <td>45</td>\n",
       "      <td>19</td>\n",
       "      <td>68</td>\n",
       "      <td>52</td>\n",
       "      <td>77</td>\n",
       "      <td>77</td>\n",
       "      <td>6</td>\n",
       "      <td>77</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>3 rows × 33 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "              alt_orth  author_name  author_name_1  author_name_2  \\\n",
       "category                                                            \n",
       "fiction            143          142              1              1   \n",
       "press              262          181              3              3   \n",
       "prof_science        77           53             20             18   \n",
       "\n",
       "              author_name_3  author_name_4  author_name_5  author_name_6  \\\n",
       "category                                                                   \n",
       "fiction                   0              0              0              0   \n",
       "press                     1              1              0              0   \n",
       "prof_science              6              4              3              2   \n",
       "\n",
       "              author_name_7  author_surname  ...   length  pages  publ_in  \\\n",
       "category                                     ...                            \n",
       "fiction                   0             142  ...      143    133       32   \n",
       "press                     0             181  ...      262     38      260   \n",
       "prof_science              2              53  ...       77     64       45   \n",
       "\n",
       "              publ_part  publ_place  publisher  text  title  url  year  \n",
       "category                                                                \n",
       "fiction               2         142        142   143    143    1   143  \n",
       "press                45         181          1   262    262  230   262  \n",
       "prof_science         19          68         52    77     77    6    77  \n",
       "\n",
       "[3 rows x 33 columns]"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_bruk = df_bruk.drop(df_bruk[df_bruk['category'] == 'other'].index)\n",
    "df_bruk.groupby(['category']).count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "491\n",
      "0\n",
      "143\n",
      "262\n",
      "77\n",
      "350\n"
     ]
    }
   ],
   "source": [
    "categories = {'fiction':100, 'press':173, 'prof_science':77}\n",
    "print(len(df_bruk))\n",
    "df_sample = pd.DataFrame(columns=df_bruk.columns)\n",
    "print(len(df_sample))\n",
    "for c, v in categories.items():\n",
    "    dfc = df_bruk[df_bruk['category'] == c]\n",
    "    print(len(dfc))\n",
    "    df_sample = df_sample.append(dfc.sample(v))\n",
    "print(len(df_sample))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "262 88\n"
     ]
    }
   ],
   "source": [
    "X = df_sample['text'].values\n",
    "y = df_sample['category'].values\n",
    "z = df_sample['filename'].values\n",
    "X_train, X_test, y_train, y_test, z_train, z_test = train_test_split(X, y, z,  random_state=42, stratify = y, shuffle=True)\n",
    "print(len(X_train), len(X_test))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "np.savetxt(train_fname, z_train, encoding='utf-8', fmt='%s')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "np.savetxt(test_fname, z_test, encoding='utf-8', fmt='%s')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}