Слайд 1РАЗРАБОТКА ПЛАНА ДЛЯ ОСУЩЕСТВЛЕНИЯ УПРАВЛЕНИЯ И ПРОВЕДЕНИЯ ОЦЕНКИ НА ОСНОВЕ РЕЗУЛЬТАТОВ
РАБОТЫ
КАЗАНЬ, TATAРСТАН
РОССИЙСКАЯ ФЕДЕРАЦИЯ
25–26 июня 2009 года
Слайд 2Информация преобразует
Информация, которая дает клиентам программы знания о достижениях или их
отсутствии, преобразует и организацию и ее членов. По отдельности и коллективно мы очень быстро переориентируемся от простого выполнения работы и измерения эффективности к достижению пользы для клиентов и оказанию воздействия на жизнь общества, к отслеживанию результатов продвижения по этому пути для обеспечения достижения этих целей.
То, что можно измерить – реально реализуется.
Если не измеряются результаты, невозможно отличить успех от неудачи.
Если не видно успеха – за него невозможно вознаградить.
Если невозможно вознаградить за успех, тогда возможно вознаграждается неудача.
Если не видно успеха, на его опыте невозможно учиться.
Если невозможно увидеть неудачу, ее невозможно выправить.
Если невозможно продемонстрировать результаты, невозможно завоевать общественную поддержку.
Из книги «Вновь изобретая правительство», авторы: Осборн и Гэблер (“ Reinventing Government” by Osborne and Gaebler)
Слайд 3План работы
Введение
Подготовка профиля программы
Рабочая сессия по логической модели
Рабочая сессия
по показателям эффективности
Рабочая сессия по выбору стратегии оценки
Рабочая сессия по плану оценки
Рабочая сессия по стратегии отчетности
Общая дискуссия и заключительные соображения
Слайд 4Введение
Структура и процесс семинара
Формат семинара
Определение управления эффективностью
Элементы ориентированного на эффективность управления
и план оценки
Полезность ориентированного на эффективность управления и плана оценки
Принципы разработки плана
Слайд 5Структура и ход работы семинара
Ход семинара будет направляться содержанием розданных
информационных материалов
Во время семинаров в качестве конкретных примеров будут рассмотрены три российские программы
На семинарах будут разработаны последовательные элементы плана, каждый последующий элемент будет являться развитием предшествовавшего
Участники разобьются на рабочие группы, выберут ведущего, ответственного за ведение протокола, ответственного за временной регламент и докладчика
Координатор учебного процесса отвечает за то, чтобы каждый участник семинара получил равные с другими возможности высказать свое мнение и участвовать в процессе коллективного принятия решений.
Все рабочие группы будут рассматривается различные конкретные случаи
Результаты работы записываются на флипчарте/доске
Слайд 6Формат семинара
Представляются базовые концепции, теория и процесс по каждому элементу плана
(30 минут)
Рабочие группы используют практические примеры, к которым применяются полученные на семинарах знания (30 минут) – будет оказана помощь
Одна рабочая группа представит результаты своей работы, затем последует общая дискуссия и вопросы всех участников для прояснения усвоенного (15 минут)
Цель семинара – обучение путем применения концепций, а не получение «правильного ответа» - потому что часто одного правильного ответа не существует, все зависит от контекста и от того, каким образом используется разрабатываемый план
Слайд 7Управление эффективностью
Процесс и система ценностей, в центре которой – потребности и
ожидания граждан, которая отвечает на запросы/ потребности общества и подотчетна перед гражданами
Эффективное планирование
Постоянное обучение и совершенствование
Оперативность и подотчетность
Отчетность о реализации
Вовлечение заинтересованн.
сторон
Управление программой
Сбор информации
Анализ данных
Измерение эффективности
Совершенствование реализации
программы
Оценка
Сфокусировано на итоге
Определяются задачи
Рассматриваются
альтернативы
Совершенствуется структура
программы
Информация
об эффективности
деятельности
Слайд 8Необходимые для управления результатами работы компоненты
Корпоративная культура организации
открытость, прозрачность
децентрализованные полномочия
в центре внимания стоят результаты, а не неукоснительное соблюдение правил и процедур
высокая степень толерантности рисков и ошибок
Инфраструктура руководства и рабочие процессы
«архитектура программных мероприятий/план
финансовые системы
системы управления информационными потоками
руководящие принципы управления результатами работы
Знания, умения и навыки
хорошо обученные опытные кадры
Слайд 9Элементы управления, ориентированного на эффективность деятельности и стратегии оценки
Описание программы и
структура управления ею
Логическая модель / цепочка результатов *
Стратегия постоянного измерения эффективности*
Стратегии проведении оценки* и план*
Стратегия оценки*
Стратегия отчетности*
Расходы / варианты реализации плана / стратегии
* Будут разработаны в ходе семинаров
Слайд 10Польза ориентированного на эффективность управления и плана оценки
Способствует усилению взаимопонимания между
партнерами о том, чего они хотят достичь, как планируют совместно работать для достижения своих целей и как они будут измерять результаты и представлять по ним отчетность
Является инструментом совершенствования управления, обучения и подотчетности в течение всего жизненного цикла программы, политики или инициативы
На раннем этапе показывает, логично ли построена политика, программа или инициатива, достаточно ли она сфокусирована на результате и имеет ли она хорошие шансы на успех.
Слайд 11Принципы разработки плана управления, ориентированного на эффективность деятельности и план оценки
План
должен быть приспособлен конкретно к использованию в целях управления программой - для принятия стратегических решений, управления текущими операциями и учитывать эффективность программы
Необходимо, чтобы план при разработке был согласован с партнерами, клиентами и другими заинтересованными сторонами - чтобы все понимали и приняли задачи программы и свою ответственность за их достижение
В центре изучения - итоги и показатели работы, а не на внутренние функции и процессы программы
Постоянная разработка и совершенствование плана по мере накопления опыта в ходе его реализации – с самого начала разработать совершенный план трудно - он не должен быть статичным инструментом, но должен быть гибким и адаптируемым под реалии программы
Слайд 12Разработка профиля программы...
Предыстория и обоснование
Действия, которые привели к разработке программы
Зачем нужна
программа
Отношение к общим приоритетам правительства
Какие проблемы или вопросы она призвана решить
Определение проблемы и запланированные результаты – это две стороны одной медали. Они полезны при разработе структуры программы
Мандат и цели
Нормативные или иные полномочия (политическое или административное решение) по программе
Цели и ожидаемые результаты или итоги
Слайд 13Структура управления
Контроль или руководство программой
Ответственность за управление инициативой и достижение результатов
Взаимоотношения
между различными игроками, участвующими в реализации программы
Подход к реализации
Как будет работать программа в целях достижения ее результатов
Целевая группа населения
Группы или индивидуумы, которых будет обслуживать программа
Характеристики и численность целевой группы населения
Уровень ресурсов (персонал, финансы, прочие активы)
По основному компоненту или виду деятельности программы
Распределение или прохождение ресурсов по времени
...Разработка профиля программы
Слайд 14Логическая модель
Обзор на семинаре ...
Определение «логической модели»
Примеры простых логических моделей
Смысл применения логических моделей
Основые понятия
Практическое занятие по разработке логической модели
Слайд 15Что такое логическая модель или цепочка результатов?
Схема или график, на котором
показано как работает программа, политика или инициатива
Иллюстрирует теорию, лежащую в основе программы и ее дизайна
Показывает связи или цепочку результатов между деятельностью в рамках программы, продуктами или предоставляемыми услугами и ее эффект на изменение положения граждан или ее ценность для граждан
Формирует «тезис» или концептуальный ориентир по которому будет измеряться и оцениваться реальная работа программы.
Слайд 16 Базовая логическая модель
ЭАТРАТЫ
ИЛИ
РЕСУРСЫ
ДЕЯТЕЛЬ-НОСТЬ
ПРОДУКТ
(ПРОДУКТЫ
И
УСЛУГИ)
НЕПОСР.
РЕЗУЛЬТАТ
(ЭФФЕКТ НА КЛИЕНТОВ)
ПРОМЕ-
ЖУТОЧНЫЕ
РЕЗУЛЬТАТ
(ИЗМЕНЕ-НИЕ В
ПОВЕДЕ-НИИ)
ОКОНЧА-ТЕЛЬНЫЕ
РЕЗУЛЬТАТ
(ИЗМЕНЕ-НИЕ В
ПОЛОЖЕ-НИИ
ДЕЛ
РЕЗУЛЬТАТИВНОСТЬ
ЭФФЕКТИВНОСТЬ
ВНЕШНИЕ ВОЗДЕЙСТВИЯ
ПАРТНЕРЫ, ДРУГИЕ ПРОГРАММЫ, СОЦИАЛЬНЫЕ И ЭКОНОМИЧЕСКИЕ ФАКТОРЫ И Т. П.
Слайд 17Простая логическая модель укрепления здоровья населения
ДЕЯТЕЛЬНОСТЬ ПРОДУКТ РЕЗУЛЬТАТЫ
Исследования,
мониторинг,
анализ и
распростране-ние
информации
Информация о здоровье
предоставля-емая
клиентам и партнерам
Клиенты и партнеры лучше информирова-ны о проблемах здоровья
Клиенты и партнеры предпринима-ют действия по сохранению и укреплению здоровья
Улучшения в сост. здоровья населения, сокращение неравенства в сост. здоровья в конкретных группах клиентов
Уровень усилий ($)
по каждому виду деятельности
Число охваченных клиентов
% от клиентской группы
охваченного населения
% от клиентской группы
охваченного населения которое понимает посыл
% от клиентской группы населения которое предпринима-ет действия
Изменения в состоянии здоровья клиентского населения
Снижение затрат системы здравоохране-ния
ФОРМИРУЮЩИЕСЯ КЛЮЧЕВЫЕ СРЕДСТВА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ
Слайд 18Модель сфер воздействия
СОСТОЯНИЕ
ДЕЙСТВИЕ
Затраты Деятельн.
Продукт
Целевая группа Результаты
ИЗМЕНЕНИЕ В ПОВЕДЕНИИ
> Состояние здоровья
(смертность, заболеваемость)
> Риски
Прямой контроль
Прямое воздействие
Косв. воздействие
КАК
КТО И ЧТО
ЗАЧЕМ
> Затраты
> Своевремен-ность
> Колич.
> Кач.
> Осознание
> Принятие
> Способность
> Принятие/действие
Долгосрочные результаты
Источник – Министерство транспорта Канады и Стив Монтагю, фирма PMN Inc
Слайд 19 Презентация типичной логической модели
Затраты
Деятельность
Продукт
Непосредств.
результат
Промежуточн.
результат
Окончательн.
результат
Деятельность 1
Деятельность 2
Деятельность 3
Деятельность 4
Эффективность
Результатив-ность
Продукт
1
Продукт 2
Продукт 3
Непосредств.
итог 1
Непосредств.
итог 2
Промежуточные итоги
Окончательные итоги
Общая логическая модель
Слайд 20Общая логическая модель для программ по развитию нормативного поля
Проверка и
нормоприменение
постоянное общение
со всеми
участниками процесса
нормотворчество
Нормативные
акты
Проверка и
действия по
нормоприменению
Результат
обмена
информацией
Информация о
требованиях и рисках
доведена до сведения
всех участников
Субъекты
нормативных актов
Поведенческие
изменения
Соблюдение
правил и норм
Социальное и
экономическое
благоденствие
Безопасность и
стабильность
Высококачественная
окружающая среда
МЕРОПРИЯТИЯ
ВВОДИМЫЕ РЕСУРСЫ
НЕПОСРЕДСТВЕННЫЕ
ИТОГИ ДЕЯТЕЛЬНОСТИ
СРЕДНЕСРОЧНЫЕ
ИТОГИ
КОНЕЧНЫЕ РЕЗУЛЬТАТЫ
Слайд 21Польза логической модели
“Если не можешь что-то описать, то не можешь и
измерить”
Простые средства описания и доведения до адресата сути дизайна программы и ее работы
Инструмент дизайна или совершенствования программы – тестирует логику связей программы
Помещает программу в более широкий контекст – внешние факторы, партнеры, другие программы
Направляет выявление ключевых средств измерения эффективности и вопросов для оценки
Слайд 22Основные определения
Затраты: ресурсы, используемые для осуществления деятельности, создают продукт и обеспечивают
достижение результатов. Например, затраченные денежные суммы.
Деятельность: операция или действие, в результате которого производится товар или услуга (продукт). Например, исследования, анализ, проверка, распространение информации, разработка политики, подготовка и обучение.
Продукт: товары или услуги, произведенные или непосредственно контролируемые организацией. Например, информация о здоровье, положения, правила, соглашение о гранте или взносе.
Результаты: Последствия политики, программы или инициативы, которые реально могут быть увязаны с деятельностью или продуктом. Могут характеризоваться по многим различным аспектам – как правило непосредственные, промежуточные и окончательные. Например, более широкое использование информации, укрепление потенциала и возможностей, улучшение состояния здоровья.
Слайд 23Семинар по разработке логической модели ...
Участники семинара подразделяются на рабочие группы
и выбирают программу, с которой они будут работать
Сформировать рабочую группу и выбрать ведущего, ответственного за ведение протокола, ответственного за соблюдение временного регламента и докладчика
Определить и перечислить мероприятия в рамках программы
Определить и записать продукты «на выходе» каждого мероприятия программы
Определить и перечислить продукты (услуги), разбить их по категориям: непосредственные, среднесрочные и конечные
Слайд 24...Семинар по разработке логической модели
Разработать цепочку логических непосредственных и промежуточных итогов,
вытекающих из каждого продукта и приводящих к окончательному итогу
Начертить на перекидном планшете цепочку логической модели/результатов, показав связи между различными видами деятельности, продуктом и непосредственными, промежуточными и окончательными результатами
Определить внешние факторы или воздействия, которые могут оказать позитивное или негативное влияние на цепочку результатов
Подготовить краткую презентацию о результатах вашей работы и о том, что оказалось выполнить легко, а что – трудно.
*В случае выявления множества желаемых результатов или нехватки времени, сконцентрировать усилия на разработке плана по достижению нескольких наиболее важных конечных продуктов при разработке полной логической цепочки
Слайд 25Обзор семинара по показателям эффективности
Что такое стратегия измерения эффективности?
Принятие решение о
том, что подлежит измерению
Что такое показатели эффективности?
Спектр показателей эффективности
Типы данных, используемых в показателях эффективности
Источники данных и методы сбора данных
Семинар по стратегии замера эффективности
Слайд 26Что такое стратегия замера эффективности ?
Стратегия постоянного сбора и анализа данных,
помогающая управлять текущими операциями по программе
Что подлежит измерению (деятельность, выход, итоги, внешние воздействия базирующиеся на логической модели)?
Каким образом производить измерения (показатели, источники данных, методы и частотность сбора, ответственность за сбор данных)?
Каким образом и кто будет анализировать данные?
Слайд 27Решение о том, что будет измеряться...
Определить потребности в информации по эффективности
…
Планирование – постановка задач и целей, распределение ресурсов, альтернативы
Эффективное управление – ход мониторинга, оценка затрат, корректировка в середине пути, совершенствование
Отчетность и подотчетность – годовые отчеты, результативные контракты
“То что измеряется и включается в отчетность - делается”
Слайд 28Решение о том, что будет измеряться ...
Определить потребности в информации об
эффективности ….
Определить параметры качества, которым должна удовлетворять информация об эффективности – точность, достоверность, актуальность
Определить – когда требуется информация об эффективности (частотность сбора)
Ранжировать по приоритетности (сразу все делать невозможно)
Критически важная, важная, неплохо бы иметь
Освещение ключевых цепочек результатов в логической модели
Освещение в оценке эффективности
Слайд 29Что такое показатели эффективности?
Качественная или количественная характеристика или значение, используемая для
измерения эффективности работы
Дает критерии для оценки успешности или реализации по стандарту или в сравнении с заявленными ожиданиями
Направляет процесс определения типа данных, которые следует собирать
Помогает более точно определить и интерпретировать элементы логической модели
Слайд 30Набор показателей эффективности ...
Внутренние операции в программе
Затраты (ресурсы)
денежные средства, рабочее время
сотрудников
капитальные объекты
информация, услуги (предоставляемые другими)
Деятельность (процесс)
рабочая нагрузка – новая, в процессе
темпы прохождения, продолжительность процессов
Продукт (услуги)
количество – объемы, число обслуженных клиентов
качество – стандарты, удовлетворенность клиентов
своевременность
затраты на единицу
Слайд 31Набор показателей эффективности ...
Внешние воздействия и следствия
Итоги (непосредственные/промежуточные – изменение поведения)
целевая аудитория, клиентская группа населения
осведомленность - принятие
способность - принятие/действие
может быть продуктом третьей стороны
Результаты (окончательные – изменение состояния)
социальное, экономическое благополучие
Внешние факторы (влияние/эффект)
другие программы
партнеры, сотрудничающие
другие социальные и экономические факторы
Слайд 32...Набор показателей эффективности
Эффективность
Отношение затрат к продукту
затраты на единицу продукции
изменения
в объеме продукта, времени прохождения процесса или услуги
Результативность
Степень достижения цели, удовлетворения потребностей или решения проблем (абсолютная или относительная)
Соотношение затрат и результатов (рентабельность)
Детали содержатся в Приложении A – примеры родовых показателей эффективности
Слайд 33Типы данных, используемых в показателях эффективности ...
Качественные: информация, получаемая из собеседований,
анкет, отчетов и наблюдений по программе, в устном или повествовательном формате
Примеры: заметки по собеседованиям о соображениях или реакциях адресатов программ, результаты опросов которые характеризуют полезность продукта, изучение конкретных примеров, содержащее описание воздействия программы
Количественные: цифровая информация, получаемая из источников данных, закодированная в серии цифровых значений
Примеры: рейтинги проверок, число и тип проведенных медицинских анализов, затраченные суммы, число подавших заявление на охват программой, адресатов программы, %охваченного населения из целевой группы
Слайд 34...Типы данных, используемых в показателях эффективности
Данные могут быть организованы по времени
получения
Базисные данные собираются в один момент времени и используются как сверочный ориентир в будущих измерениях
Текущие данные измерений эффективности деятельности собираются регулярно по затратам, деятельности, продукту и результатам, а также по внешним влияниям для оценки процессов и итогов
Оценочные данные собираются периодически и используются как дополнение к базисным и текущим данным при проведении углубленной оценки программы, политики или функции
Слайд 35Источники данных и методы сбора
Административные системы и записи
Собеседования
Группы для тематического опроса
Сравнительные
исследования (сравнительные, референтные группы)
Анкеты, опросы
Целевые исследования
Прямые наблюдения
Обзоры документов
Обзоры литературы
Экспертные заключения
Вторичные данные (национальные статистические агентства, организации ООН и т.п.)
Слайд 36Рабочая сессия по стратегии измерения эффективности деятельности
Продолжение в составе тех же
самых рабочих групп
Использовать программу и логическую модель, что и в предыдущем семинаре
Выбрать одну цепочку результатов или поток в логической модели
Определить для каждого результата программы (продукт и результат)
Показатель эффективности
Источник данных
Метод сбора данных
Переодичность сбора данных
Представить результаты, используя таблицу на следующем слайде – слайд 37
Определить показатели эффективности для внешних факторов или воздействий, которые могут оказать позитивное или негативное влияние на цепочку результатов (факультативно)
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно
Слайд 37Таблица измерения эффективности деятельности
Слайд 38План оценки программы (A):
Обзор стратегии и вариантов выбора
Что такое стратегия
оценки программы
Типы оценки
Механизмы оценки и анализа
Рабочая сессия по стратегиям и вариантам выбора
Слайд 39Что такое стратегия оценки программы ...
Определяет типы оценки, которые следует проводить,
когда и при каких обстоятельствах или для принятия каких решений
Основное содержание
Описывает проблемы и связанные с ними вопросы для изучения, которые необходимо рассмотреть в ходе оценки
Определят ключевые данные, которые необходимо получить и проанализировать для того чтобы иметь возможность ответить на каждый вопрос оценки
Представляет график проведения оценки с указанием того, кто отвечает за проведение оценки
Слайд 40...Что такое стратегия оценки программы
Основное отличие оценки от измерения эффективности работы
Измерение эффективности фокусируется на текущем сборе информации по эффективности в целях управления текущими операциями
Оценка является углубленным изучением, которое проводится на важном этапе жизненного цикла программы, политики или другой инициативы, в результате принимаются решения в отношении данной программы– часто проводится третьей стороной
Слайд 41Типы оценок
Оценки реализации (формативные оценки): в центре – ранние этапы программы
проводится для того, чтобы убедиться в том, что она реализуется так как задумано, включая положения об измерении эффективности и степени продвижения к достижению итогов.
Оценки воздействия (суммарные оценки): углубленная оценка вводимых факторов, продукта, результативности и окончательных итогов программы и в какой степени деятельности в рамках программы могут быть связаны с достижением отчетных результатов. Предназначена для программ с высокой степенью риска с использованием полной оценки ключевых моментов оценки.
Целевая оценка: оценка полученной ценности на затраченные средства (актуальность, экономичность, эффективность, рентабельность), предназначена для проведения в программах с уровнем риска от низкого до среднего. Целевые оценки направлены на вводимые факторы, деятельность, выход и непосредственные итоги, в них уделяется особое внимание удовлетворенности клиентов и стандартам услуг в качестве ключевых показателей эффективности.
Оценки стратегической политики: в центре – удовлетворение потребностей Кабинета в сфере принятия решений по глобальным инициативам политики. Могут охватывать группы программ, нацеленных на общие цели политики и дают информацию о воздействии, потенциальных будущих направлениях и последствиях политики. Не предназначены для целей отчетности по результативности и результатам программ.
Слайд 42Рабочая сессия по выбору типа оценки – обсуждение в рабочих группах
Работа
продолжается в тех же самых рабочих группах
Используется программа, по которой проходила работа в предыдущем семинаре
Определить, какие типы оценок могут быть подходящими для программы, в какое время и в каких условиях или обстоятельствах процесса принятия решений
Рассчитать результаты работы группы в следующей таблице
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно
Слайд 43Таблица: стратегии оценки и варианты выбора
Слайд 44Обзор инструментов и анализа оценки программы
Ключевые проблемы оценки программы
Множественные линии сбора
данных
Анализ данных
Суждения на основе данных
Затраты на измерение эффективности работы и проведении оценки
Семинар по составлению планов проведения оценки
Слайд 45Ключевые проблемы оценки программы
Ключевые проблемы оценки программы – это широкие сферы,
которые следует изучить в ходе проведения оценки:
Актуальность: Продолжает ли политика, программа или инициатива соответствовать приоритетам министерства и всего правительства, реалистично ли она стремится удовлетворить реальную потребность?
Успешность: Эффективно ли политика, программа или инициатива достигает своих целей в рамках бюджета и без нежелательных негативных результатов?
Рентабельность: Используются ли для достижения целей наиболее целесообразные и эффективные пути по сравнению с альтернативным дизайном и подходами к реализации?
Вопросы по оценке являются более конкретными исследовательскими вопросами на которые требуется дать ответы для рассмотрения каждой проблемы оценки. Они составляются на основе консультаций с ключевыми заинтересованными сторонами программы (см. принципы - слайд 11)
Слайд 46Множественные линии сбора данных
В целях максимизации веса данных оценки для ответа
на один и тот же вопрос оценки используются многочисленные линии сбора данных, в особенности если данные из одного источника являются слабыми
Как минимум (при том допущении, что проводится незначительный сбор данных по текущей эффективности программы) для ответа на вопрос следует использовать следующие линии сбора информации:
Обзор литературы: что об эффективности аналогичных программ говорится в национальной и международной исследовательской литературе
Обзор документов: какие данные об эффективности программы содержатся в документации, обзор которой был проведен в рамках программы
Собеседования с ключевыми заинтересованными сторонами: что говорят представители ключевых заинтересованных сторон об эффективности программы и о том, каким образом ее можно повысить
Эти данные могут быть дополнены данными из других линий данных, таких как обследования заинтересованных сторон, тематические исследования, административные системы и записи и т.п.. для усиления данных по важным вопросам оценки и придания им большей достоверности (см. слайд 35 об источниках данных и методах получения данных)
Слайд 47Множественные линии сбора данных: таблица
Слайд 48Анализ данных
Количественный анализ
Дескриптивный: описывает ситуацию, используя статистические данные
Сравнительный: определяет являются ли
наблюдаемые группы различными или одинаковыми и в какой степени – либо сравнение со стандартами
Реляционный: определяет меру связанности друг с другом различных показателей или факторов программ
Качественный анализ
Контентный анализ: сколько раз произошло какое-либо явление – выражения, слова, события
Иллюстрирование ситуации: с использованием цитат, графических образов, детальных описаний
Исторические справки: краткие тематические зарисовки, иллюстрирующие идею
По количественным и качественным данным
Кодировать данные: по источнику или характеристике
Ранжировать данные: по относительной важности или значению
Искать характер результатов (сходные характеристики): агрегировать, детализировать, сегментировать
Слайд 49Затраты на проведение измерения результатов работы и их оценка
Их необходимо включать
в бюджет программы и ассигновать отдельно на оценку и измерение эффективности
В типичном случае могут составлять от 3% до 8% от общих затрат на программу
В зависимости от характера, масштаба, сложности и важности программы (экономия за счет масштаба)
Компромисс между инвестированием в измерение эффективности и в оценку – качественная информация по измерению эффективности ведет к снижению затрат на однократные оценки
Слайд 50Суждения на основе данных
Критерии
Определить критерии и оценивать данные с использованием
этих критериев
Критерии должны быть известны и согласованны заранее
Нормы
Использовать базисные эталоны эффективной практики как точку отсчета
Экспертные группы
Привлекать видных деятелей и использовать их суждения и опыт для оценки и интерпретирования данных
Слайд 51Семинар по составлению планов проведения оценки
Работа продолжается в тех же самых
рабочих группах
Используется программа по которой проходила работа в предыдущем семинаре
Выбрать тип оценки с которым вы хотели бы работать (см. слайд 41)
Определить один (или более) вопрос для оценочного исследования для каждой из трех ключевых сфер (см. слайд 42)
Для каждого вопроса для оценки определить
Показатели эффективности деятельности/источники данных
Методы получения информации
Методы анализа информации
Подсчитать полученные данные, используя план проведения оценки (слайд 52)
Составить возможный план проведения оценки для выявления влияния любых актуальных внешних факторов или воздействий на результаты программы и дифференцировать воздействия от самой программы (факультативно)
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно
Слайд 53План отчетности - обзор
Что такое план отчетности?
Источники информации по эффективности деятельности
Рабочая
сессия по стратегии отчетности
Слайд 54Что такое план отчетности?
Выявляет пользователей информации об эффективности деятельности и их
потребности (управленческое принятие решений, подотчетность и доведение/обмен информацией)
законодательный орган, правительство, общественность
партнеры, клиентская/целевая аудитория
персонал программы, центральные ведомства
Устанавливает график – какая информация об эффективности деятельности должна представляться, каким пользователям
Устанавливает – кто отвечает за представление этой информации и в какой форме
Слайд 55Источники информации об эффективности деятельности
Средства измерения текущей эффективности
Результаты оценок
Другие источники информации
– статистические агентства, международные организации и т.п.
Слайд 56Семинар по стратегии отчетности
Работа продолжается в тех же самых рабочих группах
Используется программа, по которой проходила работа в предыдущем семинаре, и разработанный план измерения эффективности и оценки
Определить потенциальных пользователей информации об эффективности и их информационные потребности
Определить источники информации по эффективности, способы распространения, даты представления и ответственность за представление информации об эффективности (какие провалы вы видите?)
Занести результаты обсуждения в таблицу стратегии оценки, слайд 54
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно
Слайд 58Заключение
Общее обсуждение вопросов
Заключительные ремарки
СПАСИБО !!!!!