Сергей Мартыщенко (Evolution&Philantropy)

Как и для чего измерять эффективность НКО?

Сергей Мартыщенко 23 января 2015 года

Стратегическая цель - Создание среды в России для развития социальных инноваций

Фокус внимания:

- ИЗМЕРЕНИЕ СОЦИАЛЬНЫХ РЕЗУЛЬТАТОВ

Целевая аудитория:

- НЕКОММЕРЧЕСКИЕ ОРГАНИЗАЦИИ, БИЗНЕС, ГОСУДАРСТВО

Деятельность E&P в области оценки

Ключевые продукты и услуги E&P

Обзор международных трендов и лучших практик, участие в международных инициативах

• • • •

Ежемесячные дайджесты и тематические обзоры Более 100 материалов в Базе знаний на Dropbox Более 30 переводов лучших практик на русский язык APS Network, GIIN, SROI*

Подготовка аналитических и методических материалов с учетом российского опыта

• •

Более 30 аналитических материалов Более 10 методических продуктов (рекомендаций), в т.ч. партнерских

• •

Трансляция продуктов и лучших практик Поддержка внедрения систем и инструментов измерения Создание экспертных площадок

Содействие внедрению разработанных методических продуктов

•

Создание E&P (в Лондоне) – 12.2007 г. Регистрация Филиала E&P в Москве – 10.2011 г.

* - персональное участие

2

Эффективность организации = эффективность достижения миссии

«Нельзя управлять тем, что невозможно измерить, … но всего, что измеримо, можно достичь» Билл Хьюлетт «Приоритетом должно стать создание культуры оценки и измерения результатов, а не формальные инструменты и системы показателей» McKinsey&Company

Что дает измерение  Улучшение качества услуг для благополучателей;  Наглядность получаемых результатов, демонстрация вклада программы;  Увеличение объема пожертвований;  Экономия и/или более эффективное использование ресурсов;  Извлечения уроков и правильная интерпретация неудач;

Но… возникает масса сложностей  Ресурсные ограничения (финансовые, временные, человеческие…);  Отсутствие апробированных методик, инструментов;

 Сложность выбора адекватных социальных показателей;  Ограниченность публичной информации (преимущественно – успехи);

 Рост мотивации сотрудников (осознанность действий и пр.);

 Целесообразность оценки (отсутствие четкой зависимости «доказанная эффективность»«получение средств, господдержка»);

 …

 Выявление потребностей благополучателей; …

3

Выводы из анализа отчетности о социальных результатах НКО РФ* 1. Большая часть отчетов - в парадигме «истории и кейсы» и проблематична репрезентативность.

2. О наличии системы МиО заявляет около 1/4 организаций (нередко – декларации). Методы измерения результативности не всегда очевидны.

3. Типично: разрыв между миссией и представленной результативностью. Все отчеты отражают непосредственные результаты, не более ½ - социальные изменения.

4. Не представлена четко прописанная логическая рамка.

5. Характерна избыточность информации вместо фокуса на наиболее важных и доказательных достижениях.

6. Нет полноценной информации об извлеченных уроках, на основе которых вносятся изменения в деятельность.

7. Практически все отчеты содержат отклики от стейкхолдеров, но чаще это эмоциональные суждения и не всегда ясны достигнутые изменения. Исключение - личные истории благополучателей, волонтеров.

* - исследование, проведенное E&P по публичным отчетам НКО РФ – участникам конкурса ТОЧКА ОТСЧЕТА 2012 г.

4

Развитие культуры измерения: опыт E&P и стратегических партнеров

Программмный цикл (ключевые элементы)

Единые принципы Оценки верхнего уровня

2011 год

Реализация программ и мониторинг результатов

Планирование программ (целеполагание, результаты и показатели)

Анализ деятельности и результатов и корректировка

Развертывание Стандартов до уровня методических документов (иллюстративно)

2012-2014 год

5

Теория изменения описывает процесс запланированного социального изменения, начиная с исходных предположений и допущений и заканчивая долгосрочными целями Порядок разработки Теории изменений: 1. Анализ ситуации 2. Определение целей и допущений 3. Картирование ожидаемых результатов (в обратном порядке) и их соединение 4. Разработка индикаторов 5. Определение действий 6. Описание ТИ в повествовательной форме (пояснительная записка) Уроки применения ТИ: УРОК 1: Процесс разработки ТИ заставляет заинтересованные стороны всесторонне обдумать и обсудить планируемую программу, что обеспечивает высокое качество планирования. УРОК 2: Качество всей ТИ напрямую зависит от качества формулировки конечного результата/цели программы. УРОК 3: Сконцентрировать внимание заинтересованных сторон, участвующих в разработке ТИ, на определении необходимых и достаточных условий желаемых изменений намного сложнее, чем просто сформулировать все хорошие идеи, которые могут возникнуть у участников процесса разработки ТИ. УРОК 4: Даже лучшие специалисты по планированию не смогут разработать хорошую ТИ при недостатке исходных данных. УРОК 5: Чтобы выполнить разработку ТИ достаточно быстро и успешно, может потребоваться помощь консультантов для фасилитации группового процесса. УРОК 6: Нужно отвести достаточно времени, чтобы качественно провести все этапы планирования. УРОК 7: Если ТИ используется для планирования программы, когда на кону стоит вопрос получения финансирования, разработчики чувствуют свою ответственность, что становится для дополнительных фактором психологического напряжения. http://issuu.com/evolphil/docs/tcd_print_theory_of_changes_handboo

6

Теория изменения – пример программы БДФ «Виктория»

Участие общественности поддерживается властями региона

http://issuu.com/evolphil/docs/tcd_print_theory_of_changes_handboo

Участие НКО поддерживается властями региона

7

Цепочка социальных результатов = логика создания общественных благ

Социально-экономическая эффективность

$ РЕСУРСЫ (INPUTS)

Объем вложений (денеж. средства, количество сотрудников)

ДЕЯТЕЛЬНОСТЬ (ACTIVITIES)

Разработка и реализация программ, создание новой инфраструктуры

НЕПОСРЕДСТВЕННЫЙ РЕЗУЛЬТАТ (OUTPUTS)

Количество благополучателей, распространенных экземпляров

СОЦИАЛЬНЫЙ РЕЗУЛЬТАТ (OUTCOMES)

Рост уровня знаний у прошедших обучение; изменение моделей поведения

СОЦИАЛЬНЫЙ ЭФФЕКТ (IMPACT)

Изменения в жизни благополучателей и общества

Производительность Экономичность Эффективность получения социального результата

8

Цепочка социальных результатов - Пример из практики E&P: Распространение лучших практик в области фандрайзинга и мобилизации ресурсов НКО Промежуточный Непосредственный результат (продукт)

Уровень результата

Конечный Непосредственный результат (натуральный результат)

Промежуточный социальный результат (социальный результат)

Конечный социальный результат (социальный эффект)

Пример результата

• Программа курсов • Материалы и лучшие практики • Методические материалы • Исследования, издания, публикации • Продукты проектов

• Распространение материалов и лучших практик среди НКО • Рецензирование и отзывы • Новые подписчики и пользователи • Новые проекты (на основе предоставленных материалов)

• Внедрение лучших практик в деятельность • Повышение компетенций • Повышение интереса доноров и партнеров

• Повышение эффективности деятельности НКО, эффективности программ

Пример KPI

• • • •

Количество материалов Сроки издания Количество слушателей Количество преподавателей • Количество НКО

• Количество выданных сертификатов, результаты тестирования • Количество просмотров, обратная связь • Количество отзывов, рецензий • Количество информационнообразовательных мероприятий

• Количество НКО, внедривших лучшие практики в деятельность • Сравнительные результаты бенчмаркинга (динамика развития организационного потенциал НКО) • Уровень роста компетенций

• Количество НКО, повысивших эффективность своей деятельности, эффективность программ

* - Приложение № 1 – пример из практики БДФ «Виктория»

9

Методика выбора показателей - алгоритм Важные предварительные шаги: Уточнить миссию Компании Семейной филантропии и Семейной Филантропии, в целом, стратегические цели, ожидаемые социальные результаты Определить ключевых пользователей (включая членов СД и доноров) и включить их в процесс разработки и верификации показателей

ШАГ 1.

 Выбрать ключевую область / перспективу для измерения значения показателя  Определить цель в рамках ключевой области / перспективы, которая соотносится с планом на год

ШАГ 2.

 Сформулировать вопросы о том, что необходимо узнать о результатах выполнения цели в рамках ключевой области

ШАГ 3.

 Выбрать показатели из представленной библиотеки показателей, опыта фонда либо с привлечением внешних экспертов (Библиотека показателей – (Приложение № 2)

Шаг 4.

 Верифицировать показатели по отобранному перечню критериев (Приложение №3)

Шаг 5.

 Описать выбранные показатели. (Перечень характеристик показателя в Приложении №4)

10

Методика выбора показателей – система и библиотека показателей Примеры рекомендованных показателей (выборочно) по итогам анализа опыта международных организаций*

Перспектива • ВКЛАД В ОБЩЕСТВО

•

• РЕЗУЛЬТАТ

•

• СТЕЙКХОЛДЕРЫ

ПРОЦЕССЫ

ПОТЕНЦИАЛ

• • •

Показатели статистического характера в области деятельности организации % опрошенных экспертов в сфере деятельности организации, признающих большой социальный эффект от деятельности организации, признающих большой вклад организации в создание нового знания % участников, от общего числа, которые сообщили о повышении уровня знаний, % участников, от общего числа, которые переходят на новый уровень / меняют условия жизни, статус в результате оказанной услуги Доля охвата благополучателей программами фонда от установленной ЦГ Число участников прошедших полный курс обучения Количество человек, ознакомившихся с продуктом N фонда Уровень удовлетворенности стейкхолдеров

• • •

Кол-во подготовленных к публикации продуктов деятельности Стоимость одной единицы услуги/продукта Кол-во благополучателей, опрошенных о существующих потребностях

• •

Доля АХР расходов по отношению к программным Доля привлеченных средств по отношению к средствам Учредителя Удовлетворенность сотрудников от работы в фонде % программ, прошедших расчет экономичности

• •

* - список организаций представлен в Приложение № 5

Пример из практики E&P (2013 год)

•

7,7 баллов из 10-ти оценка вклада E&P в общество

•

7400 получателей уникальных продуктов (физические лица) 6,5 баллов из 10 – оценка уровня внедряемости продуктов

•

• • • •

64 продукта (из них 14 – ключевых уникальных, в т.ч. 8 партнерских) 8 международных и 16 российских устойчивых партнерств (5 в КЭиФ) 2 новые площадки: АФР, ОСО – каналы 42 внешних поддержанных проекта

•

8,5 баллов из 10-ти - соответствие потребностям стейкхолдеров

•

8,8 баллов из 10-ти – оценка компетенций сотрудников 7 постоянных внешних экспертов > 2500 документов во внутренней Базе > 120 переведенных лучших практик 5 социальных медиа

• • • •

11

Рекомендации для развития культуры измерения Продукты

Планируйте социальный результат с учетом цепочки результатов

Планируйте систему измерения и оценки заранее

Теория изменений, логическая цепочка Руководство по планированию и измерению)

Используйте показатели из общих баз показателей

Матрица социальных результатов, База показателей

Наращивайте собственную экспертизу, потенциал и работайте с экспертами

Анкеты в области развития потенциала

Коммуницируйте социальный эффект

Кодекс - Inspiring Impact

12

СПАСИБО ЗА ВНИМАНИЕ !!!

Филиал в Москве, Ул. Ефремова 8, Тел. +7-495-785-12-12 Сайт: http://ep.org.ru/ E-mail: info@ep.org.ru Сайт дайджеста: http://ep-digest.ru/

13

ПРИЛОЖЕНИЯ

14

Приложение № 1. Цепочка социальных результатов - Пример БДФ «Виктория»

15

Приложение № 2. Набор показателей для перспективы «Результат» на основе международного опыта Знания; возможности для обучения; изменение мнений и отношения к конкретной проблеме а) Уровень подготовленности (квалификация): -% участников, которые чувствуют себя подготовленными к выполнению конкретных задач / деятельности; -% участников, обладающих минимальной квалификацией для перехода на новый уровень (изменения статуса) или выполнения новой деятельности. b) Знания / обучение: -% участников, которые повысили уровень знаний (сравнение показателей «до» и «после» программы); -% участников, которые уверены в том, что в ходе программы они отработали навыки; -% участников, которые в результате программы повысили индивидуальные показатели знаний. c) Отношение / восприятие: -% участников, которые сообщили о положительном изменении своего отношения к конкретному вопросу или проблеме; -% родителей, учителей, коллег и иных лиц, сообщивших о положительном изменении отношения участников к конкретному вопросу или проблеме.

Модели поведения а) Случаи желательного поведения: -% участников, которые достигли своих целей; -Показатель успешности участников; -Показатель положительных изменений. b) Поддержка новых моделей поведения: -% участников, которые не возвращаются в программу/ к прежней системе; -%участников, которые переходят на новый уровень / меняют условия жизни или статус; -Продолжительность (количество недель/месяцев/лет); -% участников, изменивших модели поведения по прошествии времени. с) Случаи нежелательного поведения: -Сокращение количества сообщений о нежелательном поведении. (в процентном выражении).

Условия/статус а) Состояние здоровья участников: -% участников, которые через 90 дней положительно оценили состояние своего здоровья; -% уменьшения случаев проблем со здоровьем; -% участников, которые сразу дали положительный ответ. Социальный статус участников: -%участников, которые перешли на новый уровень/изменили условия или статус; - %участников, которые избегают нежелательного развития событий / поведения; -% участников, которые улучшили взаимоотношения с окружающими; -% выпускников / участников, завершивших программу; -% участников, оставшихся на прежнем уровне, в прежних условиях / статусе. с) Экономический статус участников: -% участников, имеющих постоянное и безопасное жилье; -% участников, которые переехали в постоянное жильё на длительный срок; -% зарегистрированных участников образовательных программ; -% участников, у которых увеличился заработок; -% участников, которые занимаются построением карьеры

16

Приложение № 3. Критерий верификации (Набор критериев из списка может меняться)

Верификация показателей Вопросы для верификации

Точность

Насколько точно показатель отражает измеряемый результат?

Ясность

Насколько показатель однозначен и хорошо определен?

Проверяемость

Исключена ли возможность манипулирования значением показателя?

Сравнимость

Сможем ли сравнить результаты показателя со своими результатами и результатами однородных организаций?

Согласованность со стейкхолдерами

Достигли ли заинтересованные стороны согласия по показателю?

Измеримость на заданном временном горизонте

Успеем ли получить достаточно информации к показателю в рамках определенного периода?

Существенность

Насколько показатель важен для оценки значимых характеристик измеряемого результата?

Полнота

Насколько показатель полно отражает измеряемый результат?

Экономичность сбора

Насколько экономически оправдан сбор показателя?

Адекватность

Насколько показатель замеряет именно то, что призван замерять?

17

Приложение № 4. Описание показателей №

Перечень характеристик использования показателя (Приведен базовый перечень характеристик)

Описание

1

Название показателя

Доля благополучателей, повысивших уровень знаний

2

Фокус к которому относится показатель

Социальный результат

3

Цель предполагаемого использования

Получение знания о результативности программы

4

Главные пользователи

Программный менеджер

5

Целевое значение показателя на перспективе года

95%

6

Плановый срок достижения целевого значения показателя

Сразу по завершению программы

7

Период использования показателя

В течении реализации программы

8

Период измерения

Дважды в течении программы

9

Источник информации

Единообразное тестирование по предлагаемой информации

10

Метод сбора (инструмент сбора)

Пре – и пост- тестирования

11

Стоимость сбора

$ 500

12

Ограничения валидности показателя

Для обеспечения достоверности полученных знаний все благополучатели условно должны иметь одинаковый уровень подготовки в определенной области

13

Ответственный за сбор

Программный менеджер

14

Как будет организован этап рефлексии по результатам мониторинга показателя и как результаты рефлексии будут внедрены в работу

Итоговое собрание программной команды

18

Приложение № 5. Список международных организаций, опыт которых был изучен при подготовке методики по показателям 1.

Center for Effective Philanthropy

15.

Annie E. Casey Foundation

2.

Keystone Accountability

16.

The Wallace Foundation

3.

The Robert Wood Johnson Foundation

17.

McKinsey: Learning for Social Impact

4.

Investing for Good

18.

M.Friedman

5.

Center for What Works

19.

Rootcause: Investing for Social Impact

6.

The James Irvine Foundation

20.

The Hewlitt Foundation

7.

Intelligent Philanthropy

21.

The Edna McConnell Clark Foundation

8.

Charity Navigator

22.

W.K. Kellogg Foundation

9.

GuideStar

23.

Rockefeller Foundation

10.

Ford Foundation

24.

The Pew Charitable Trust

11.

California Wellness Foundation

25.

William Penn Foundation

12.

Lumina Foundation for Education

26.

Humanity United

13.

The Charles and Helen Shwab Foundation

27.

TCC Group

14.

The Heinz Endowment

28.

Northwest Area Foundation

19

Приложение № 6. Интеграция стоимостных подходов (1/4)

Оценка социально-экономической эффективности применяется к программам из категории социальных инвестиций = Программы, направленные на повышение уровня и качества жизни, повышение самостоятельности благополучателей, развитие их знаний и умений, изменение их социального статуса)

Какие социальные изменения измеримы в стоимостном выражении:  Рост доходов (или экономии расходов) благополучателей и членов их семей  Изменение доходов и расходов других членов общества  Экономия общественных ресурсов (сокращение гос. поддержки)  Увеличение общественных доходов (рост занятости, производительности)  …. http://issuu.com/evolphil/docs/ozenka_soc-economy_effectivnosty

* - Расчет эффективности в приложении № 3

20

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (2/4)

Цель программы:

 Сохранение кровной семьи для ребенка Социальные результаты:  Стабилизация отношений в семье группы риска;  Укрепление детско-родительских отношений;  Снятие риска задержек в развитии ребенка дошкольного и младшего школьного возраста Компоненты результатов и эффектов, измеримые в стоимостном выражении:

 Непопадание детей в детский дом, под опеку  Родители устроились на работу, начали получать пособие  Дети пошли не в коррекционный детский сад, а в обычный  Дети поли в обычную школу, а не к коррекционную  Долгосрочные эффекты для общества 21

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (3/4)

Исходные данные:  Стоимость одного года пребывания ребенка в интернатном учреждении: 400 тыс. руб. (данные статистики, 2012 год)  Стоимость одного года пребывания ребенка под опекой: 78 тыс. рублей  Средний срок пребывания ребенка в интернатном учреждении – 5 лет  Средний срок пребывания ребенка под опекой - 5 лет Стоимость программы:    

определяем перечень и состав услуг (программных мероприятий) оцениваем затраты на оказание услуг (программных мероприятий) определяем затраты на управление программой определяем затраты на управление Фондом «Виктория» (административноуправленческие затраты и общехозяйственные расходы), относимые на стоимость программы  определяем общую стоимость программы Общая стоимость программы составляет 13,7 млн. руб. (в год) 22

Приложение № 6. Расчет социально-экономической эффективности на примере программы «Родные и близкие» БДФ «Виктория» (4/4) Период (n) 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Численность детей, которые не попадут в интернатные учреждения в результате участия в программе Численность детей, которые не попадут под опеку в результате участия в программе Фактор дисконтирования Стоимость содержания 1 ребенка в интернатном учреждении в течение года, в текущих ценах Приведенная стоимость содержания 1 ребенка в интернатном учреждении по годам в течение 5 лет Суммарная приведенная стоимость содержания 1 ребенка в интернатном учреждении в течение 5 лет Приведенная экономия на сокращении притока детей в интернатные учреждения, всего Размер опекунского пособия за 1 ребенка, в текущих ценах (с учетом инфляции) Приведенная стоимость опекунских выплат на ребенка по годам в течение 5 лет Суммарная приведенная стоимость опекунских выплат на ребенка в течение 5 лет Суммарная приведенная экономия от сокращения притока детей под опеку Всего экономия Расходы по программе, всего Социально-экономическая эффективность программы

исх.тыс. данные руб.

1

2

3

4

5

6

0,9 400

0,83 400

0,75 400

0,68 400

0,62 400

364

331

301

273

248

78

78

78

78

78

71

64

59

53

48

10 50 1,00 400

1 516 15 163 78

296 14 784 29 947 13 700 2,19

Результат расчета социально-экономической эффективности – 2,19 – означает, что каждый вложенный в реализацию программы рубль приносит >2 руб. экономии общественных ресурсов

23