Керівництво користувача. Портал Відкритих даних by Міжнародний фонд "Відродження"

Розробка цього керівництва стала можливою завдяки підтримці Міжнародного Фонду “Відродження” в партнерстві з Державним агентством з питань електронного урядування України, Міністерством інфраструктури в Україні та Міністерством фінансів України

ЗМІСТ*

Зміст*

Загальні положення*

Домен доступу

Параметри доступу

Вимоги до даних*

Підготовка даних

Вимоги до файлів даних

Вимоги до програмного забезпечення

Створення .csv файлу даних

Робота з Порталом*

Основні елементи управління

Додавання набору даних

Додавання ресурсу даних

Налаштування візуалізації даних*

Сітка

Мапа

Графік

Робота з API*

Додатки

ЗАГАЛЬНІ ПОЛОЖЕННЯ*

Загальні положення* Домен доступу* data.домен/admin

Параметри доступу*

Адміністратор (повний доступ до управління порталом)* Логін: admin / Пароль: _#dAta34 Менеджер (доступ к управління наборами даних)* Логін: manager / Пароль: data22data

ВИМОГИ ДО ДАНИХ*

Вимоги до даних* Підготовка даних

(Розділ створено за допомоги Texty.org.ua) Будь-хто з тих, кому доводилось працювати із даними знає, що на підготовку даних для аналізу часто доводиться витрачати значно більше часу, ніж на сам аналіз. Аби уможливити швидкий і ефективний аналіз даних, а також побудову на їх основі сервісів, набори даних мають бути очищені і добре структуровані.

Що таке чисті дані?

Чистими можна вважати такі дані які: • не містять помилок та одруківок; • в межах одного типу чи класу мають уніфікований формат: дати зазначаються у єдиному форматі (скажімо 2015-01-01), числа мають однаковий роздільник для десяткових (або кома, або крапка, в одному наборі даних не має зустрічатись два різних роздільника десяткових; • назви всюди пишуться однаково (не існує кількох варіантів написання назви одного міста, регіону і т.д., лише один); • в одній ячейці міститься лише один запис, і кожен запис займає лише одну ячейку (себто у наборі немає об’єднаних ячейок).

Приклад “брудних” даних ДАТА

МІСТО

ПОКАЗНИК

2015-08-01

Київ

1 678 910

01-07-2015

Киев

1,567,890

1 черв 2015

Кийів

1 млн 456 тис 789

2015.06.01

Львів

1.345.678

2015/07/01

Львов

1 234 567

ВИМОГИ ДО ДАНИХ* Приклад очищених даних ДАТА

МІСТО

ПОКАЗНИК

2015-08-01

Київ

1678910

2015-07-01

Київ

1567890

2015-06-01

Київ

1456789

2015-06-01

Львів

1345678

2015-07-01

Львів

1234567

З брудними даними неможливо працювати: в них присутній темпоральний вимір, однак ми не зможемо вибудувати часову лінію, оскільки всі дати мають різний формат; тут присутній географічний вимір, однак ми не зможемо агрегувати дані за змінною “Місто”, оскільки кожен раз назва міста пишеться інакше; тут також присутній числовий показник, однак ми не зможемо здійснювати над ним ніяких арифметичних операцій, оскільки всі числа записані у різних форматах. Чисті дані ми можемо фільтрувати, сортувати, здійснювати над ними арифметичні операції, візуалізувати та будувати на їх основі сервіси.

Що таке добре структуровані дані?

Добре структурованими даними вважаються такі дані, які можна швидко трансформувати, аналізувати і візуалізувати. Їх можна впізнати за двома простими ознаками: • всі змінні містяться у колонках • всі спостереження містяться у рядках Проблеми із форматуванням і структуруванням найчастіше виникають через нерозуміння того, що у наборі даних є змінною. Розглянемо це на прикладі.

Погано структуровані дані

Доходи населення за регіонами України у 2012-2014 роках, млн грн

ВИМОГИ ДО ДАНИХ*

ОБЛАСТЬ

2012

2013

2014

Вінницька

35441

37323

39184

Волинська

19546

20609

21971

Дніпропетровська

95349

99995

109545

Донецька

128767

135362

114135

...

Добре структуровані дані

Доходи населення за регіонами України у 2012-2014 роках ОБЛАСТЬ

РІК

ДОХОДИ НАСЕЛЕННЯ, МЛН ГРН

Вінницька

2012

35441

Волинська

2012

19546

Дніпропетровська

2012

95349

Донецька

2012

128767

Вінницька

2013

37323

Волинська

2013

20609

Дніпропетровська

2013

99995

Донецька

2013

135362

Вінницька

2014

39184

Волинська

2014

21971

Дніпропетровська

2014

109545

Донецька

2014

114135

...

ВИМОГИ ДО ДАНИХ* В першій таблиці в якості змінних подаються “Область”, “2012”, “2013” і “2014”. Однак насправді, змінними в цьому наборі є “Область” “Рік” і “Дохід населення”, як показано у другій таблиці. Саме другий варіант форматування є правильним. Найліпше, звісно, не допускати помилок чи одруківок та дотримуватись певних стандартів форматування і структурування ще на етапі збору первинних даних. Втім, помилки – бодай незначні – будуть завжди. Під час очищення даних важливо, по-перше, зберігати оригінальний файл та працювати з копією, по-друге, записувати всі здійснені над даними операції в окремому файлі. Для очищення, форматування і структурування даних може стати в пригоді програма Open Refine. Open Refine Програма для процесингу даних.. Серед іншого дозволяє знаходити і виправляти помилки у наборі даних; виявляти різні варіанти написання однієї назви (кластеризувати текстові дані) чи дати та призводити їх до одного вигляду; транспонювати таблиці, розділяти дані з однієї колонки на кілька, здійснювати прості арифметичні операції; об’єднувати кілька наборів даних. Програма безкоштовна і доступна для всіх основних операційних систем (Windows, Mac OS, Linux). openrefine.org

Вимоги до файлів даних*

• Файл повинен представляти собою єдиний масив даних з одним рядком – та/або однією колонкою-заголовком • Файл у форматі CSV у кодуванні UTF-8 • Роздільник файлу: коми або крапки з комою • Роздільник файлу має не повторюватися всередині комірки таблиці • Десятковий роздільник даних — кома або крапка (в першому випадку використовуємо роздільник «крапка з комою») • Файл не повинен містити більше 10 000 рядків • Перший рядок и перша колонка не повинні мати пустих полів • Рядки з даними можуть мати порожні поля, проте число колонок у всіх рядках має бути однаковим • Для коректного відображення кількісних значень, замість порожньої комірки необхідно вписувати 0

ВИМОГИ ДО ДАНИХ* •

У файлі не повинно бути об'єднаних комірок.

Вимоги до програмного забезпечення *

Оскільки MS Excel не призначений для роботи з CSV файлами, що містять кирилицю, для коректного створення файлу даних, необхідно використовувати ПЗ Libre Office або Open Office. Це програмне забезпечення поставляється безкоштовно і представляє з себе аналог MS Excel, але дозволяє коректно працювати з файлами CSV. Посилання для завантаження Libre Office (Windows) Для встановлення потрібно запустити завантажений файли і слідувати простим інструкціям. Для установки російської версії, можна також встановити русифікатор. Посилання для завантаження русифікатора.

Створення .csv файлу даних *

КРОК_1 Відкрити файл з даними використовуючи завантажений раніше Libre Office КРОК_2 Переконатися, що таблиця відповідає всім вимогам зазначеним вище КРОК_3 Натиснути Файл - Зберегти як ... КРОК_4 Задати ім'я файлу, вказати шлях збереження. У полі "Тип файлу" вибрати "Текст CSV (.csv)", натиснути "Зберегти". У вікні натиснути "Зберегти як CSV". КРОК_5 Вибрати роздільник "," або ";" в залежності від вмісту набору даних. Див. Розділ "Вимоги до файлів даних", натиснути "Так".

РОБОТА З ПОРТАЛОМ*

Робота з порталом* Основні елементи управління*

Основне управління здійснюється через «Персональний кабінет» (див. Додаток 1) Для входу в «Персональний кабінет» необхідно натиснути кнопку «Персональний кабінет», що знаходиться в правому верхньому куті головної сторінки. В разі, якщо користувач незареєстрований, то необхідно пройти процедуру реєстрації. Для цього необхідно перейти на вкладку «Реєстрація», та ввести ФІО, назву організації та заповнити інші обов’язкові поля. Після цього необхідно натиснути кнопку «Надіслати» (див. Додаток 2) В разі, якщо користувач зареєстрований необхідно ввести особистий логін та пароль. (див. Додаток 3) В разі, якщо користувач не пам’ятає пароль, необхідно перейти на вкладку «Забули пароль?» та ввести свою адресу електронної пошти, з якою він реєструвався на порталі. Користувачу буде направлено листа з подальшими інструкціями. (див. Додаток 4)

Додавання набору даних *

КРОК_1 Для того, щоб додати набір даних необхідно перейти на вкладку «Додати дані» (див. Додаток 5) КРОК _2 Заповніть всі поля набору даних Примітка. Поле "Створено" показує актуальність даних. Саме за цим значенням буде здійснюватися впорядкування даних в реєстрі Порталу. Тому має сенс вводити дату, коли, наприклад, було проведено дослідження. Примітка. Якщо необхідно, можна відредагувати URL провідний до набору даних, за аналогією з синонімами URL категорії. В іншому

РОБОТА З ПОРТАЛОМ* випадку він буде згенерований автоматично. Примітка. Галочка "Опубліковано" показує опублікований набір даних, чи знаходиться він в публічному доступі. Галочка "Винесено на головну сторінку" Виносе набір даних на головну сторінку ресурсу (в даному випадку не використовується, оскільки головна сторінка ресурсу це сторінка організації, а не Порталу). Галочка "Прикріплено зверху Списків" прикріплює набір даних вгорі пошукової видачі в реєстрі даних. Таким чином, кращі / найбільш актуальні набори даних завжди буду легко знаходитись людьми. КРОК_3 Натисніть "Далі: Додати дані" для того, щоб додати дані / ресурси і завантажити файли в набір даних. Примітка. Редагування набору даних є на сторінці будь-якого набору даних, коли зроблений вхід з логіном та паролем менеджера / адміністратора.

Додавання ресурсу даних *

Ресурс даних представляє з себе файл, який можна переглянути у вигляді візуалізації, або скачати у .csv форматі. Також доступ до файлу можна отримати через API. Додавання та налаштування ресурсу здійснюється наступним чином. (див. Додаток 6) КРОК_1 Виберіть розділювач файлу даних. Такий же, який був обраний при збереженні файлу CSV Примітка. Ви можете завантажувати файли в будь-якому існуючому форматі. Однак візуалізувати дані і давати доступ через API система дозволяє лише для файлів формату CSV. Всі інші формати можливо лише завантажити на жорсткий диск і тільки потім переглянути. КРОК_2 Завантажте файл і виберіть необхідні види візуалізації Примітка. Система дозволяє додати одну візуалізацію для кожного виду візуалізації. КРОК_3 Налаштуйте візуалізації, введіть назву ресурсу, дату і набір даних, до якого він належить (обраний автоматично якщо ресурс додається відразу після додавання набору даних) і збережіть набір даних.

НАЛАШТУВАННЯ ВІЗУАЛІЗАЦІЇ ДАНИХ*

Налаштування візуалізації даних* Існує три види візуалізації даних: таблиця, карта, графік. У свою чергу існує можливість вибрати один з п'яти видів графіка: стовпчикових Діаграма, Стрічкова Діаграма, секторні Діаграма, Лінійній графік, картографічна Діаграма. (див. Додаток 7)

Сітка*

Візуалізація у формі сітки представляє з себе таблицю з можливістю сортуваннях даних по колонках. Для сортуваннях необхідно клікнуті на заголовок будь-який з колонок. Не містить ніяких додатковий налаштування.

Мапа*

Візуалізація у вигляді мапи дозволяє відображати на мапі маркери, розташування яких задано адресою, або координатами. Також для кожного маркера можна задавати колонку з додатковим параметром, який буде відображатися при кліці на маркер в якості його (маркера) назви. Як задані точки мапи у таблиці? Параметр дозволяє вибрати, які дані будуть використовуватися для визначення координат маркерів: адреса, або дві окремі колонки з широтою і довготою. Поля, що містять широту/довготу. Параметр для вибору назви колонок, які містять широту / довготу точки. Поле, що містить назву точки на карті. Дозволяє вибрати назву колонки, яка містить назви точок на карті. Примітка. Для коректного відображення точок на карті, адреса має бути введена настільки детально, наскільки це можливо, бажано, без використання скорочень, із зазначенням міста і країни, російською, українською або англійською мовою.

Графік*

Для початку роботи з візуалізаціями у формі графіка необхідно вибра-

НАЛАШТУВАННЯ ВІЗУАЛІЗАЦІЇ ДАНИХ* ти параметр "Як організовані дані в таблиці даних?": В першому випадку: Перша стрічка – заголовок, інші стрічки – вибірки, стовпчики – категорії вибірки. В другому: Перша колонка – заголовок, інші колонки – вибірки, стовпчики – категорії вибірки Системою передбачено п'ять видів візуалізації у формі графіка / діаграми: Стовпчикових Діаграма, Стрічкова Діаграма, секторні Діаграма, Лінійній графік, картографічна Діаграма. При візуалізації даних у формі графіка можливо вибрати колонки / рядки, які не потрібно враховувати при побудові графіка (параметр "Виберіть поля, які НЕ ТРЕБА враховувати при побудові візуалізації") “Стовпчикова діаграма”, “Стрічкова діаграма”, “Лінійний графік”* Такий вид діаграми дозволяє візуалізувати кілька кількісних показників для одного параметра. Наприклад, кількість відповідей на запитання в розрізі віку, або підлоги. Таким чином у разі стовпчикової і стрічкової діаграмами для кожного параметра буде декілька стовпців / рядків з даними, а у випадку з лінійним графіком буде побудовано декілька ламаних ліній. “Секторна діаграма”* Дозволяє візуалізувати одна кількісний показник для одного параметра. Наприклад, кількість відповідей на одне питання. При цьому дані не обов'язково повинні бути вказані у відсотках. Система сама порахує загальна кількість відповідей і вирахує процентне співвідношення. “Картографічна діаграма”* Цей вид візуалізації розділяється на два підвиди: (1) нанесення маркерів-кіл, які пропорційно змінюють свій колір і розмір в залежності від кількісних показників, (2) відображенням текстових обраної колонки на карті і їх показників при наведенні миші. Спосіб візуалізації даних на картографічній діаграмі. (1) чи (2)

Регіон картографічної діаграми. Параметр дає можливість вибрати масштаб діаграми: Україна або регіон світу.* Роздільна здатність картографічної діаграми. Якщо обрано

НАЛАШТУВАННЯ ВІЗУАЛІЗАЦІЇ ДАНИХ* регіон України, то параметр дозволяє або включити відображення областей, або вимкнути. Поле, що містить назву вибірки. Це те, поле, яке буде відображати назву маркера на карті, а також його координати. Наприклад, рядок "Волинська область, 5" покаже маркер в районі Волинської області відносним розміром 5.

РОБОТА З API*

РОБОТА З API* API дозволяє розробникам звертатися до даними, розміщеними на Порталі через спеціальний протокол доступу, в результаті чого з'являється можливість створювати сторонні інтернет-сервіси і додатки на основі цих даних. Для того, щоб дати розробникам доступ до наборів даних через API ресурси даних повинні бути додані в так зване сховище даних, тобто переконвертовані в формат, зручний для використання розробниками. Для цього необхідно виконати наступне. (див Додаток 8) КРОК_1 На головній сторінці порталу вибрати вкладку «Набори даних» КРОК _2 Вибрати необхідний набір даних КРОК_3 Натиснути кнопку «Завантажити». КРОК_4 Натиснути кнопку «АРІ даних»

ДОДАТКИ

ДОДАТОК 1

ДОДАТОК 2

ДОДАТОК 3

ДОДАТОК 4

ДОДАТОК 5

ДОДАТОК 6

ДОДАТОК 7

ДОДАТОК 8

ДОДАТОК 9

Визначення екосистеми відкритих даних та місця в ній держави Відкриті державні дані є ессетом, який є недооціненим та не спланованим, враховуючи пострядянську спадщину. В часи розвиненого інформаційного суспільства Україні потрібна чітка інформаційна інфраструктура, на яку будуть спиратися національні та місцеві державні організації, яка буде регламентувати вимоги та порядок щодо збору, зберігання та публікації даних в цифровому форматі. Київська міська державна адміністрація є пілотним проектом, на якому буде вибудовуватися модель розбудови інформаційної архітектури на місцевому рівні.

Основні принципи проекту:

Відкриті дані - це будь-яка деперсоналізована інформація, яка безкоштовно опублікована у відкритому доступі та в машинозчитувальному вигляді.

Загалом проект можа поділити на дві змістовні складові:

• Економічна складова • Транспарентна складова. Але економічне зростання можливе за трьома напрямками: • підвищення ефективності роботи органів державної влади за рахунок прийняття рішень на основі даних • економія коштів на процеси за рахунок дігіталізації інформації та спрощення доступу • економічне зростання та нові робочі місця за рахунок стартапів на основі даних

Процес впровадження системи відкритих даних можна

25 11

ДОДАТОК 9 розділити на три ключових компоненти: 1. Нормативно-правове регулювання та внутрішні регламенти Підготовка документів, які регламентують систему роботи відкритих даних спираються на створення прозорих процесів збору, зберігання та публікації даних в цифровому форматі має центральне місце в вивільнені даних та їх структуруванні. - Адаптація дії закону про відкриті дані на загально національному та місцевому рівні. Закон чітко рекомендує органам центральним органам виконавчої влади, органам місцевого самоврядування та адміністраціям відкривати дані не тільки в себе на сайті, але й у вигляді відкритих наборів даних на спеціалізованому порталі. Для того щоб, ці дані стали частиною єдиної інформаційної інфраструктури країни необхідно дотримуватися єдиних стандартів, які прописані в законі та регламентуються відповідною Постановою Кабінету Міністрів. - Проведення аудиту. Розуміння даних, які збираються та зберігаються дає змогу отримати вичерпний список того, що може бути відкрито, та передбачає проведення внутрішнього аудиту по департаментах, та інших структурах, у тому числі державних підприємствах. - Внутрішні розпорядження щодо відкриття даних, які збираються та підпадають або під дію закону та/або викликають суспільний інтерес можуть бути відкриті тільки за виконання двох попередніх пунктів. 2. Розбудова інформаційної архітектури - Створення порталу відкритих даних. CKAN, або DKAN дають можливість створення власного порталу відкритих даних для швидкого адміністрування та нарощування можливостей системи. Портал відкритих даних є серцем системи: адміністративні функції для держслужбовців, система візуалізації даних для городян, API для розробників. - Створення систему обміну даними. Органи виконавчої влади, департаменти державні підприємства мають централізовано перейти на систему електронного документообігу, яка буде інтегрована з порталом відкритих даних. - Інтеграція системи електронного документообігу. Це дасть змогу використання напрацьованих цифрових документів у відкритому форматі та початковому вигляді. Крім того, це суттєво скоротить час та ресурси на публікацію даних, адже можна прости вибрати, які дані будуть опубліковані в цифровому форматі.

26 11

ДОДАТОК 9 - Розробка та відкриття API по ключових джерелах даних. Реєстри та інші бази даних мають відкрити API для незалежних розробників. 3. Створення екосистеми відкритих даних та залучення громадянського суспільства Громадські консультації. Більшість українських громадських організацій не є технологічними, але добре розуміють власні потреби та потреби суспільства. Будь-який важливий крок має бути обговорений та адвокатований через пул громадських організацій та громадських активістів. Це включає обговорення актуальності певних наборів даних, збирання потреб організацій та залучення до процесу планування наступних кроків взаємодії. Револьверний механізм. Портал відкритих даних має містити механізм запиту на регулярну публікацію певного набору даних у відкритому форматі. Така можливість має бути публічною та безапеляційною. Хакатони. Залучення ІТ-компаній, вендорів та громадських активістів для створення нових веб- та мобільних додатків на основі відкритих даних - і є новою економічною цінністю нової екосистеми. За рахунок швидкого впровадження нових розробок, так само швидко можна і прослідити їхню життєздатність, а також суспільний інтерес до них.

27 11

ДОДАТОК 10

ОРГАНІЗАЦІЙНІ ПІДХОДИ ДО НАЛАГОДЖЕННЯ ПРОЦЕСУ ПУБЛІКАЦІЇ ДАНИХ В ЦЕНТРАЛЬНИХ ОРГАНАХ ВИКОНАВЧОЇ ВЛАДИ Загальні положення

Основні засади роботи з відкритими даними регулюються Законом України 319-19 від 09.04.2015 «Про внесення змін до деяких законів України щодо доступу до публічної інформації у формі відкритих даних» та постановою Кабінету Міністрів України «Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних»

Процедура підбору персоналу.

Добір персоналу державної служби проходить у відповідності до нормативно-правових актів і повинен забезпечувати ефективність роботи органів виконавчої влади за рахунок високої кваліфікації державних службовців, їх мотивації до сумлінного виконання службових обов’язків. Добір кадрів – процес пошуку потенційних працівників і формування бази даних про них для наступного залучення на вакантні або на ті, що стануть вакантними, посади та робочі місця. Підбір персоналу – це процес вивчення психологічних і професійних якостей працівника з метою встановлення його відповідності до вимог робочого місця і підбору з наявних претендентів того, хто найбільше підходить на це робоче місце, з врахуванням його кваліфікації, спеціальності, особистих якостей, здібностей, характеру та інтересів організації. Професійний добір персоналу в значній мірі визначає результативність управління персоналом, тому в сучасних організаціях йому надається

28 11

ДОДАТОК 10 належна увага. Процес залучення державних службовців на заняття вакантних посад складається з таких основних заходів: – визначення потреби у кадрах, вакантних посад; – формування вимог до кандидатів на конкретну посаду; – вибір джерел залучення персоналу. До внутрішніх джерел відносяться власний кадровий резерв, пошук можливостей кадрового переміщення. Зовнішніми джерелами є пошук у засобах масової інформації, звернення у Державну службу зайнятості, до вищих навчальних закладів, запрошення фахівців з інших органів державного управління, організація проведення конкурсу; – проведення добору кандидатів на посаду державної служби; – оформлення трудових відносин з державним службовцем. Важливим фактором ефективності добору персоналу державної служби є наявність опису завдань та обов’язків, конкретизація службових повноважень, що забезпечують високі результати діяльності державного службовця на посаді. Залежно від завдань, обов’язків та повноважень вакантної посади висуваються кваліфікаційні вимоги до кандидата на посаду державної служби, які повинні забезпечити виконання функцій державного службовця та високорезультативної роботи. Кожна організація виділяє обов’язкові та бажані вимоги до кандидатів на заняття посад державної служби.

Вимоги до персоналу, що буде займатися відкритими даними:

Освіта - вища: програмування / СУБД / системний аналіз. Досвід роботи від 3 років в адмініструванні і програмуванні БД. Досвід у створенні / експлуатації та проектуванні баз даних. Досвід налаштування аудиту БД. Досвід вирішення проблем продуктивності БД, підтримка БД в режимі підвищеної доступності. Розуміння принципів секціонування об'єктів великих баз даних. Налаштування БД на максимальну продуктивність. Досвід оптимізації запитів і процедур. Знання мов програмування SQL, PL / SQL, теорія реляційних баз даних. Досвід побудови відмовостійких систем 24/7 з географічним рознесенням і високими навантаженнями. Досвід роботи з програмою Access - від 1 року на рівні розробника,

29 11

ДОДАТОК 10 створення запитів, форм, звітів, макросів, процедур, зв'язків з іншими програмами Microsoft Office, SQL. Уміння обробляти великі обсяги інформації. Досвід роботи з програмами Word, Excel (глибокі знання), Power Point на рівні впевненого користувача. Особисті якості: вміння виділяти пріоритети, мультизадачность, націленість на результат, логічне мислення, стратегічне планування, стресостійкість. Добре знання англійської мови. Випробувальний термін: 3 місяці.

Ключові обов'язки:

Аудит БД, аналіз ефективності роботи БД. Дизайн, установка та обслуговування складних систем баз даних, включаючи моделювання. даних, доступність, безпека, оптимізацію продуктивності та документації. Аналіз і оптимізація запитів і вибірок. Створення / експлуатація та проектування баз даних. Секціонування об'єктів великих баз даних, оптимізації запитів і процедур. Контроль продуктивності БД, підтримка БД в режимі підвищеної доступності, настройка БД на максимальну продуктивність. Розміщення даних на порталі data.gov.ua Схема роботи та процеси підготовки та публікації даних детально описані в «Керівництво користувача порталу відкритих даних data.gov.ua»

30 11