… об удалении открытых статистических данных

С февраля 2022 года российские власти регулярно удаляют статистику из публичного доступа. По нашим подсчетам, в этом году удалили как минимум 76 наборов данных, а всего за 2,5 года из разделов "открытые данные" ведомственных сайтов пропало почти 600 датасетов. Теперь изучать страну журналистам и исследователям стало еще труднее. Что произошло с открытыми данными в России за последние месяцы - рассказываем в обновлении трекера "Если быть точным".
К маю 2024 года власти удалили минимум 76 датасетов из разделов "открытые данные" ведомственных сайтов. Больше всего закрыл Роструд - 26 датасетов: в них содержались данные о различных соцвыплатах, а еще административная и справочная информация. Росприроднадзор удалил 19 датасетов, а Росздрав - 15: в основном это были реестры со справочной информацией вроде списка проведенных мероприятий.
Данные о соцвыплатах ранее частично закрыл и Росстат: в 2023 году из ежегодного бюллетеня социальных выплат исчезли строки с данными о выплатах ветеранам боевых действий. Также перестали публиковать общую сумму выплат, чтобы не допустить расчета удаленного показателя. По этим данным можно было бы приблизительно оценить число военнослужащих, задействованных в боевых действиях в Украине.
Всего за 2,5 года с начала военных действий в Украине власти скрыли почти 600 наборов данных. Среди них - сведения о доходах и расходах чиновников, информация о госзакупках подсанкционных компаний, миграционная и экономическая статистика, любые показатели, по которым можно оценить потери российской армии в боевых действиях в Украине. Подробнее об этом мы рассказывали в финальном обновлении трекера за 2023 год.

Как мы считали
Мы учитывали только те датасеты, которые выкладывались в разделах "открытые данные" на сайтах ведомств. Для этого мы составили список всех федеральных ведомств, а также государственных фондов (к ним относится, например, ФОМС). Через веб-архив проверили раздел открытых данных на сайте каждого ведомства, а затем сравнили с тем, что есть на сайте сейчас (проверку проводили за первые четыре месяца 2024 года).
Файлы и веб-страницы с неструктурированными данными, разбросанные по другим разделам сайтов, не включены в расчет. Обычно это различные доклады, реестры, формы статистической отчетности и текстовые отчеты, содержащие макроэкономические, финансовые и социальные показатели. Их тоже удаляют, иногда задним числом за все предыдущие годы, но поскольку эти данные публикуют несистемно, мы не можем оценить объемы удаленного.
Также в этот расчет не включены датасеты, которые публиковались на портале открытых данных.
Удаляют не только датасеты, которые чувствительны для государства, но даже, например, реестры со справочной информацией. Общей логики в том, что именно закрывают, не прослеживается.
Приглашенный исследователь Йельского университета Кирилл Титаев считает, что данные перестают публиковать по двум причинам - это либо политическое решение, либо желание чиновников избежать проблем.
"Например, резкое затруднение доступа к данным из ЕГРН и искажение данных в самой базе - это противодействие журналистским расследованиям. Но очень часто бывает простой оппортунизм, - считает Титаев. - Чиновники видят, что внимание к этой сфере ослабло, что у них есть возможность оправдаться обеспечением безопасности государства, и перестают тратить на данные время и деньги".
Хорошая новость, по мнению эксперта, состоит в том, что подавляющее большинство тех датасетов, которые были в открытом доступе, скачаны исследователями. "Но если раньше вы шли и брали их в первоисточнике, то сейчас надо смотреть, кто публиковался на этом датасете, и писать ему с просьбой поделиться", - говорит Титаев.
В феврале 2023 года Госдума утвердила поправки в закон "Об официальном статистическом учете и системе государственной статистики в Российской Федерации". Теперь правительство может приостанавливать публикацию любых данных, собираемых в рамках федерального плана статистических работ. Первым и пока единственным прецедентом, когда данные закрыли именно со ссылкой на этот закон, стал запрет на публикацию статистики по добыче нефти и газа в 2023 году. В марте 2024 года запрет был продлен до апреля 2025-го.
Согласно новым поправкам, закрывать данные теперь можно только по распоряжению правительства. Однако это правило соблюдается далеко не всегда. Так, в мае 2024-го Минэнерго закрыло данные о производстве бензина и дизельного топлива. Но соответствующего распоряжения правительства не было. "Учитывая существующую геополитическую ситуацию, раскрытие такои? информации может стать поводом для манипулирования рынком со стороны недобросовестных его участников", - прокомментивало свои действия министерство.
Закрывают не только отдельные показатели, но и целые порталы. Так, в конце февраля 2024 года перестал работать официальный агрегатор судебных дел ГАС "Правосудие". С 2006 года он помогал ученым и журналистам изучать, как работает судебная система. Теперь доступ к судебным данным возможен только через альтернативные инструменты - например, парсер "Если быть точным", который ищет данные о судебных делах и тексты судебных решений прямо на сайтах судов общей юрисдикции.
В конце прошлого года в связи "с доработкой функциональности" перестали обновлять портал правовой статистики. До этого Генпрокуратура ежемесячно выкладывала на нем подробные данные о преступности в России - в абсолютных числах, в разрезе регионов и статей УК.
В марте 2023 года на "техническое обслуживание" закрылся портал открытых данных: на главной странице разместили "заглушку", а датасеты удалили из свободного доступа. Технической необходимости в удалении всех данных не было. Согласно открытой информации, часть работ уже выполнена, а сам портал планировалось открыть 1 июня 2024 года. Контракт обновлен 3 июня, дата исполнения работ - все также 1 июня, исполнитель платит штрафы.
"Портал для большинства данных, которые там содержались, не был единственным источником. - говорит Кирилл Титаев - Например, он выгружал данные из ЕМИСС и Центробанка, но они лежали и на сайтах производителей данных. Если мы говорим про старые данные, то это не очень большая потеря, потому что мы знаем несколько архивов, которые выкачали оттуда более-менее все. Но то, что новые данные могут перестать публиковаться, если не полностью, то частично, - это, конечно, будет очень большой сложностью для исследователей".
Однако некоторые данные размещались только на портале, и сейчас недоступны - это 362 датасета Минобороны, Минспорта, Минэкономразвития, Минюста и ФСИН.
К моменту закрытия на "техническое обслуживание" Портал содержал 27 тысяч наборов данных. Большинство из них (84%) были впервые загружены в период "Открытого правительства" , причем пик обновлений наборов данных пришелся на 2017 год.

При этом портал чаще был объектом критики со стороны исследователей, чем "флагманом" открытых данных в России. По нашим расчетам, к началу 2023 года 60% наборов данных никогда не обновлялись, 30% никогда не загружались пользователями и только 2% (470 наборов данных) были загружены сто и более раз.
После 24 февраля тенденция на закрытие данных становится все очевиднее. В июле 2022 года мы насчитали как минимум 10 ведомств, которые закрыли свою статистику. Сейчас их уже по меньшей мере 46.
Но о полной закрытости российской статистики пока говорить рано. Данные скрываются непоследовательно: в одних наборах удаляют все, в других - только отдельные файлы. При этом иногда удаленную информацию можно найти на сайтах в виде текста или таблиц.
Не стоит списывать со счетов и бюрократическую инерцию: чиновники, ответственные за открытые данные, по привычке продолжают публиковать информацию, а бюрократы среднего звена прикладывают усилия, чтобы защитить свою сферу влияния. Тем более, что некоторые данные нелегко удалить из доступа, поскольку вокруг них выстроена инфраструктура государственного регулирования и управления: налоговая статистика, решения судов, показатели для отчетности по национальным проектам, демографические данные и много что еще. Без них управлять страной и регионами будет трудно.

Борис ГИ, Даниил ГУРБАНОВ. Если быть точным, 10 июня 2024 года