Семинар
Методика мониторинга и оценки государственных стратегических программ Третьякова Татьяна, эксперт Национальная сеть МиО Кыргызстана
1
Содержание 1. Представления о формировании современных программ и МиО •
Управление по результатам
•
Логика оценки программ
•
Документы в области разработки стратегических программ Кыргызской Республики
2. Оценка государственных стратегических программ. •
Техническое задание для МиО, (с учетом ЦУР)
•
Планирование мониторинга и оценки
•
Анализ благополучателй и партнеров, выборка респондентов, выбор источников информации
•
Сбор данных, Обработка данных
•
Анализ и подготовка аналитических документов
•
Обсуждение с партнерами и принятие решений
3. Основные положения Методического руководства по МиО программ •
Знакомство с документом
2
Почему нужно проводить мониторинг и оценку программ и проектов? При разработке программ и проектов •
Чтобы убедиться в актуальности выбранной проблемы
•
Чтобы обеспечить соответствие стратегическому видению
•
Чтобы обеспечить продуманность и реализуемость структуры проекта
При оценке проектного предложения •
Чтобы обеспечить соответствие условиям финансирования
•
Чтобы обеспечить ценность за деньги
•
Чтобы обеспечить техническую реализуемость
При мониторинге реализации •
Чтобы обеспечить своевременную реализацию действий и достижение краткосрочных результатов проекта (продуктов – outputs)
•
Чтобы обеспечить достижение результатов (outcomes)
•
Для информирования управленческих решений
•
Чтобы обеспечить эффективность и рациональность управления
При оценке влияния •
Чтобы обеспечить устойчивость получаемых выгод
•
Чтобы обеспечить достижение воздействия
3
Управление по результатам
Управление по результатам – это целостная система, включающая культуру организации, ее ценности; операционные системы и процедуры принятия решений; сотрудников, их навыки и потенциал; кроме того, все ее партнеры должны быть ориентированы на достижение целей и влияния сверх реализуемых мероприятий и вкладываемых ресурсов. Управление по результатам предполагает сдвиг фокуса с ресурсов и реализуемых мероприятий (ресурсов и процедур) на достижение результатов, обеспечение воздействия и устойчивости выгод (результатов того, что вы делаете). Результаты – это изменения, происходящие в результате проекта; они предполагают изменение в поведении физических лиц, групп людей, организаций, государственных органов или общества. 4
Цепочка результатов при разработке программы Планирование результатов
Воздействие
Долгосрочные, широко распространен ные улучшения в обществе
Результаты
Результат
Продукты
Действия
Влияние на изменение поведения, возникающее в результате того что стейкхолдеры используют продукты проекта
Услуги и продукты, которые получают заинтересован ные стороны/ стейкхолдеры
Использование ресурсов для реализации действий
Реализация
Вклад/ ресурсы
Ресурсы, выделенные на программную деятельность (деньги, активы, люди).
Традиционный МиО МиО по результатам
Управление циклом программы Оценка воздействия и мейнстриминга Оценка мейнстриминга Оценка воздействия Извлечение уроков
Рамочный программный документ Извлеченные уроки Увязка программы с национальными приоритетами Программа
Определение
Реализация
Формулирование
Предварит. оценка и взятие обязательств Условия соблюдены
Менеджмент и мониторинг
Ситуационный анализ
Анализ проблемы Оценка
Планы действий и Промежуточные цели Мониторинг Управление проектом Краткосрочные и среднесрочные результаты программы
Определение и анализ заинтересованн ых сторон
Устойчивость оценена
Решение о финансировании
Дизайн проекта
Проектирование и планирование Логическая маткрица и мониторинг Оценка институционального потенциала
Увязка проектов со стратегией
Определите основную цель и стратегию проекта
Определите национальные или областные стратегии, которые поддерживают цель проекта Определите как проект внесет вклад в национальные/ областные стратегии Подготовьте краткий текст о том, какой вклад проект внесет в стратегию (используя количественные и качественные индикаторы)
7
Создание карты стейкхолдеров Стейкхолдер (заинтересованная сторона) - это: “любой человек, группа или организация, которые могут повлиять … и/или быть подвержены влиянию … результата или процесса” первичные стейкхолдеры – те, на кого проект непосредственно влияет и/или которые влияют на проект – целевые группы вторичные стейкхолдеры - доноры – партнеры – правительство – другие группы третичные стейкхолдеры – коммерческие торговцы – основные провайдеры услуг
8
Создание карты стейкхолдеров Бенефициары Группы людей Местные органы управления Торговые сектора Институты
Агенты, реализующие услуги НПО Частный сектор Гос. органы
Партнеры Доноры Правительство Министерства Агентства
Другие? Коммерческие 9
Анализ стейкхолдеров
Каковы ожидания стейкхолдеров от проекта? Какую пользу стейкхолдер скорее всего извлечет? Какие ресурсы стейкхолдер представит или не предоставит проекту? Какие интересы стейкхолдера могут противоречить интересам проекта? Как стейкхолдер относится к другим категориям стейкхолдеров? Какие другие вещи по мнению стейкхолдеров программа должна или не должена делать? 10
Учет стейкхолдеров
Иерархия стейкхолдеров
Почему они вовлечены?
Как они вовлечены?
Когда они вовлекаются?
Журнал мониторинга
Первичные стейкхолдеры
Вторичные стейкхолдеры
Третичные стейкхолдеры
11
Оценка проблем Малая доля МСБ* в ВВП
Следствие
Низкая рентабельность в секторе МСБ
Низкий уровень инвестиций Неэффектив регуляторная система
Ограничен. доступ к кредитам
Слабое управление МСБ
Низкий уровень бизнес навыков
Слабый доступ к рыночной информации
Причина
МСБ – предприятия малого и среднего бизнеса
12
Оценка целей Возросшая доля МСБ в ВВП
Цели
Повышенная рентабельность МСБ
Повышенный уровень инвестиций Улучшенная регуляторная система
Повышенный доступ к кредитам
Улучшенное управление МСБ
Улучшенные бизнес навыки
Улучшенная рыночная информация
Средства
Варианты стратегии Возросшая доля МСБ в ВВП
Воздействие
В Повышенная рентабельность МСБ
ВНЕ
Повышенный уровень инвестиций
Улучшенная регуляторная система
Повышенный доступ к кредитам
Результат
Улучшенное управление МСБ
Улучшенные бизнес навыки
Улучшенная рыночная информация
Продукт
Построение Логической матрицы
Уровни целей
Воздействие – связанно с результатами на уровне общины, региона или страны, в которые проект вносит вклад. Другие ресурсы и инициативы также внесут вклад в результат этого уровня. Результат – это основная цель в плане постоянной пользы, извлекаемой пользователями. Он измеряет и определяет успех проекта. Продукты – это услуги и товары, полученные пользователями. Действия – это услуги и товары предоставляемые проектом.
Упражнение
ПОДГОТОВЬТЕ ДЕРЕВО ПРОБЛЕМ И ЦЕЛЕЙ
Логическая матрица Логическая матрица Цели
Индикаторы
Доказательства
Цель/ Воздействие Результат
Продукты
Действия
Предпосылки
Предположен ия
Предположения Логическая матрица Цели
Индикаторы
Доказате льства
Предположения
Цель/ Воздействие Результат
Продукты
Действия
Предпосылки
Для чего нужны индикаторы ?
Индикаторы – это единицы того, что вкладывается в проект, какие процессы при этом происходят, какие результаты при этом получаются, и каков долгосрочный эффект. При условии научного подхода к сбору информации, предоставляется реальная возможность отслеживать прогресс проекта или программы, демонстрировать результаты, и, в случае необходимости, корректировать процесс.
Характеристики индикаторов Цель/ Цель/ воздействие воздействие Результат Результат Продукты Продукты
Действия Действия Ресурсы Ресурсы
Вклад Вкладввстратегию стратегиюии устойчивая устойчиваяпольза польза Использование Использованиеии продолжение продолжениепользы пользыии изменение изменениеповедения поведения Получение Получениеуслуг/товаров услуг/товаров Реализация Реализация запланированных запланированныхии фактических фактическихдействий действий Финансовые, Финансовые, запланированные запланированныеии фактические фактическиересурсы ресурсы
21
СТРУКТУРА
ИНДИКАТОРЫ
СТРАТЕГИЧЕСКАЯ ЦЕЛЬ
СОЦИАЛЬНЫЙ ЭФФЕКТ - измеренные долгосрочные улучшения социального положения потребителей и общества (impact) КОНЕЧНЫЙ РЕЗУЛЬТАТ - результат программы, выраженный объективными показателями улучшения положения получателей услуг (outcomes) ПРОМЕЖУТОЧНЫЕ РЕЗУЛЬТАТЫ – результаты выполнения задач, выраженные объективными показателями воздействия на потребителей услуг (interim outcomes) ПРЯМЫЕ РЕЗУЛЬТАТЫ/ ОБЪЕМЫ РАБОТ, УСЛУГ: произведенные работы госорганов, изданные нормативные акты, подготовленные кадры, построенные объекты и др. (outputs) ЗАТРАТЫ/ СТОИМОСТЬ: количество задействованных людей, финансов, оборудования, материалов (inputs)
ЦЕЛЬ ПРОГРАММЫ
ЗАДАЧИ
МЕРОПРИЯТИЯ
РЕСУРСЫ
Упражнение: Поддержка малого бизнеса Проведено N консультаций с предпринимателями, разработано ХХ предложений в налоговое, таможенное законодательство
Рост занятости на N %, снижение бедности на X%, рост благосостояния населения Y%
Принято N предложений от предпринимателей, сделано 46 поправок в законы, создан Сокращение времени на Бизнес-инкубатор таможенные процедуры с 3 дней до 0,5 дней, снижение ставки налога с 15% до 9% Потрачено 12 человекомесяцев юристов и экономистов
Прирост новых предприятий малого бизнеса, прирост продукции, увеличение доли на рынке
Мониторинг
• Мониторинг можно определить как систематический сбор и анализ информации для предоставления руководству проекта и основным стейкхолдерам информации для принятия решений. • Мониторинг дает информацию о фактическом использовании выделенных средств и о прогрессе в отношении достижения ожидаемых результатов. • Основная цель мониторинга - это обеспечение повседневного управления проектом в плане распределения ресурсов, реализации действий и своевременного достижения продуктов проекта и в рамках бюджета.
24
Мониторинг - 2
Является внутренним управленческим действием
Фактический прогресс сравнивается с запланированными целевыми показателями
Используется для выявления проблем и определения решений
Осуществляется на всех уровнях организации
Использует и формальную и неформальную отчетность
Фокусируется на ресурсах, действиях и продуктах
Дает подтверждающие данные для принятия решений
Улучшает эффективность управления
Усиливает подотчетность
25
Планирование сбора данных
1. Источники данных: первичные или вторичные данные? 2. Какие методы сбора данных использовать, кто их соберет и задокументирует? 3. Как часто будут собираться данные? 4. Сколько будет стоить сбор данных и насколько это будет сложно? 5. Кто проанализирует и подготовить отчет по данным? 6. Кому нужна информация и как они ее будут использовать? 7. В каком виде следует представить информацию?
26
Сбор данных в поддержку МиО Количественные данные, как правило, нужны когда требуется агрегирование и обобщение. Качественные данные используются для анализа комплексных вопросов и когда требуется описание подробностей произошедшего. Качественные Без прямого сравнения
Количественные С прямым сравнением или относительно стандарта
Кейс стади (описание конкретного примера)
Числа 1 2 3 4 и т.д.
Истории/наиболее существенные изменения Интервью Быстрые оценки Мета планирование Создание карт Онлайн форумы – чаты Фокус группы
Коэффициенты – финансовые, возрастные группы, экспорт и т.д. Категоризация – объединение в группы Порядковые данные – большой, малый, увеличение, сокращение, и т.д. Баллы по шкале – отлично, хорошо, пойдет, слабо, плохо Ранжирование – предпочтения Структурированные анкеты Полуструктурированные анкеты
27
Отчетность Дизайн проекта Logical Framework
Objectives
Indicators
Evidence
Assumptions
Overall Outcome
Мониторинг и управление проектом
Project Purpose
Outputs
Activities
Pre
- conditions
Отчетность по проекту
Анализ данных: 1.Увязка с национальной стратег 2.Оценка проблем 3.Анализ заинтересованных сторон 4.Продукты и мероприятия 5.Управление проектом 6.Осуществление результатов 7.Финансирование (программная оценка) 8.Заключение, 9.рекомендации
28
Триангуляция данных Триангуляция предполагает использование более чем двух методов для сбора данных, например интервью, наблюдения, анкетирование и изучение документов. Идея заключается в том, что мы можем быть более уверенны в результате, если различные методы приводят дают один и тот же ответ.
План действий
Если используется только один метод, то результаты могут быть приняты без вопросов; если два метода, то результаты могут быть противоречивыми; используя три метода мы надеемся получить последовательные и согласованные результаты, которые можно перепроверить. Цель триангуляции в качественных исследованиях – повысить достоверность и надежность результатов с учетом более детальной и сбалансированной картины ситуации.
Опрос пользовате лей
Бюджет ный план
29
Планирование оценки, сбор данных 1. Исходя из технического задания на оценку, и состава заинтересованных сторон, разработка методологии 2. Методология включает: 1. разработку выборки 2. инструментов оценки, 3. анализ доступных источников информации 3. 4. 5. 6. 7.
Проведение опросов, сбор данных Анализ данных Подготовка отчета Распространение результатов Принятие решений 30
Что анализировать
Действия по отношению к целевым показателям и промежуточным целям
Фактические расходы по отношению к бюджету
Поведение стейкхолдеров по отношению к журналу стейкхолдеров
Продукты по отношению к индикаторам
Предположения по отношению к продуктам
Общие изменения по отношению к проектному предложению
Достижение результатов/изменений
31
Анализ результатов проекта - 1 -
О чем нам это говорит? Проект значим и/или вносит вклад в национальные/региональные планы развития? Поддержит ли национальная программа пользу от проекта в долгосрочном плане?
Проблемы и цели - О чем нам это говорит?
Связь со стратегией
Значим ли проект для бенефициаров? Будут ли выгоды/польза от проекта обеспечиваться бенефициарами в долгосрочном плане? Решит ли достижение целей первоначально определенную проблему?
Стейкхолдеры
-
О чем нам это говорит?
Работает ли проект с правильным лицами и организациями? Вовлечены ли стейкхолдеры в проект? Получают ли стейкхолдеры выгоды/пользу, которая помогает им решать их проблемы?
Управление программой - О чем нам это говорит? Эффективно ли функционирует руководство? Имеют ли партнеры потенциал для содействия проекту?
32
Анализ результатов проекта - 2
Логическая матрица -
План действий -
О чем нам это говорит?
Достигаются ли цели? Материализуются ли предположения ? Ведут ли продукты к результатам?
О чем нам это говорит?
Вовремя и правильно ли реализуются действия ? Работают ли руководство и сотрудники рационально и эффективно? Достаточно ли ресурсов и времени для достижения продуктов?
Бюджет и фактическое отклонение
-
О чем нам это говорит?
Осуществляются ли запланированные и фактические расходы как запланировано ? Какие отклонения возможны в рамках допустимого предела ошибки? Реализуются ли все запланированные действия по плану? Имеется достаточно финансовых ресурсов для достижения результатов? 33
Анализ результатов проекта - 3 Результаты - О чем нам это говорит? Начинают ли стейкхолдеры использовать Продукты и извлекать пользу? Решают ли результаты проблему? Признают ли бенефициары выгоды как решение первоначальной проблемы?
Устойчивость результатов - О чем нам это говорит?
Начинают ли партнеры и другие стейкхолдеры извлекать уроки из проекта? Начинают ли Другие группы/организации инкорпорировать/копировать методы/результаты или наилучшую практику проекта?
Воздействие - О чем нам это говорит?
Внес ли проект вклад в национальную/региональную стратегию/программу? Влияет ли проект на других стейкхолдеров в положительном плане? Привели ли выгоды от проекта к положительным изменениям для бенефициаров? Повлиял ли проект на изменение политики/поведения/структуры?
Устойчивость - О чем нам это говорит?
Продолжают ли бенефициары получать пользу/выгоды после завершения проекта? Какие доказательства поддержки результатов проекта наблюдаются с течением времени?
34
Уровни воздействия - 1
Общество и? ым им ен им пр ко ? ро им ши тр ы нс а од кт мей ыг ое ив пр л и в ил от ь ал ы ис Ст од лил Правительство ыг в и в и, и л ым ив ал у Ст ойч ик т ит ус ол ап ю тн ци ек за ии? ро ли ег и п у? еа рат м лл в р ст ия г р а м ад ой вл о кл ьн По и пр а в на л ил мм ио ра ег партнеры ог / р пр ной ь ли л мы ес на ам Вн цио гр ро на яп ги те ра с т сс? ли це ла ро ес в п Благополучатели Вн лад вк ат ьт ул ез ир л л у? ши ем Ре обл пр
Программа
35
Когда проводить МиО и готовить Время для сбора данных
финансы – ежедневно - ежемесячно – используйте бюджет и коэффициенты мероприятия – еженедельно-ежемесячно – используйте План действий вклад в продукты – ежемесячно – используйте Логическую матрицу предположения и риски – ежемесячно – используйте Логическую матрицу вовлечение стейкхолдеров – ежемесячно – используйте журнал стейкхолдеров вклад в результат – ежеквартально – используйте Логическую матрицу
Время для отчета
Ежеквартальные отчеты мониторинга Среднесрочная оценка (середина программы) Отчет по формирующей оценке (раз в год) Отчет по резюмирующей оценке Отчет о пост-проектной оценке (через период времни после окончания
программы
36
Что дальше - 1 Создайте корпоративную память извлеченных уроков Проводите два раза в год мониторинговые обзоры Определите извлеченные уроки и зафиксируйте их на бумаге Создайте свой собственный контрольный список извлеченных уроков и пользуйтесь им при подготовке новых проектов Делитесь этой информацией с донорами Делитесь этой информацией со стратегическими партнерами Встройте ее в вводный тренинг и распространите далее
37
Спасибо за внимание!
38