РАЗРАБОТКА ПЛАНА ДЛЯ ОСУЩЕСТВЛЕНИЯ УПРАВЛЕНИЯ И ПРОВЕДЕНИЯ ОЦЕНКИ НА ОСНОВЕ РЕЗУЛЬТАТОВ РАБОТЫ презентация

РАБОТЫ

КАЗАНЬ, TATAРСТАН
РОССИЙСКАЯ ФЕДЕРАЦИЯ
25–26 июня 2009 года

отсутствии, преобразует и организацию и ее членов. По отдельности и коллективно мы очень быстро переориентируемся от простого выполнения работы и измерения эффективности к достижению пользы для клиентов и оказанию воздействия на жизнь общества, к отслеживанию результатов продвижения по этому пути для обеспечения достижения этих целей.

То, что можно измерить – реально реализуется.
Если не измеряются результаты, невозможно отличить успех от неудачи.
Если не видно успеха – за него невозможно вознаградить.
Если невозможно вознаградить за успех, тогда возможно вознаграждается неудача.
Если не видно успеха, на его опыте невозможно учиться.
Если невозможно увидеть неудачу, ее невозможно выправить.
Если невозможно продемонстрировать результаты, невозможно завоевать общественную поддержку.

Из книги «Вновь изобретая правительство», авторы: Осборн и Гэблер (“ Reinventing Government” by Osborne and Gaebler)

по показателям эффективности
Рабочая сессия по выбору стратегии оценки
Рабочая сессия по плану оценки
Рабочая сессия по стратегии отчетности
Общая дискуссия и заключительные соображения

и план оценки
Полезность ориентированного на эффективность управления и плана оценки
Принципы разработки плана

информационных материалов
Во время семинаров в качестве конкретных примеров будут рассмотрены три российские программы
На семинарах будут разработаны последовательные элементы плана, каждый последующий элемент будет являться развитием предшествовавшего
Участники разобьются на рабочие группы, выберут ведущего, ответственного за ведение протокола, ответственного за временной регламент и докладчика
Координатор учебного процесса отвечает за то, чтобы каждый участник семинара получил равные с другими возможности высказать свое мнение и участвовать в процессе коллективного принятия решений.
Все рабочие группы будут рассматривается различные конкретные случаи
Результаты работы записываются на флипчарте/доске

(30 минут)
Рабочие группы используют практические примеры, к которым применяются полученные на семинарах знания (30 минут) – будет оказана помощь
Одна рабочая группа представит результаты своей работы, затем последует общая дискуссия и вопросы всех участников для прояснения усвоенного (15 минут)
Цель семинара – обучение путем применения концепций, а не получение «правильного ответа» - потому что часто одного правильного ответа не существует, все зависит от контекста и от того, каким образом используется разрабатываемый план

ожидания граждан, которая отвечает на запросы/ потребности общества и подотчетна перед гражданами

Эффективное планирование

Постоянное обучение и совершенствование

Оперативность и подотчетность

Отчетность о реализации
Вовлечение заинтересованн.
сторон

Управление программой
Сбор информации
Анализ данных
Измерение эффективности
Совершенствование реализации
программы
Оценка

Сфокусировано на итоге
Определяются задачи
Рассматриваются
альтернативы
Совершенствуется структура
программы

Информация
об эффективности
деятельности

в центре внимания стоят результаты, а не неукоснительное соблюдение правил и процедур
высокая степень толерантности рисков и ошибок
Инфраструктура руководства и рабочие процессы
«архитектура программных мероприятий/план
финансовые системы
системы управления информационными потоками
руководящие принципы управления результатами работы
Знания, умения и навыки
хорошо обученные опытные кадры

структура управления ею
Логическая модель / цепочка результатов *
Стратегия постоянного измерения эффективности*
Стратегии проведении оценки* и план*
Стратегия оценки*
Стратегия отчетности*
Расходы / варианты реализации плана / стратегии

* Будут разработаны в ходе семинаров

партнерами о том, чего они хотят достичь, как планируют совместно работать для достижения своих целей и как они будут измерять результаты и представлять по ним отчетность
Является инструментом совершенствования управления, обучения и подотчетности в течение всего жизненного цикла программы, политики или инициативы
На раннем этапе показывает, логично ли построена политика, программа или инициатива, достаточно ли она сфокусирована на результате и имеет ли она хорошие шансы на успех.

должен быть приспособлен конкретно к использованию в целях управления программой - для принятия стратегических решений, управления текущими операциями и учитывать эффективность программы
Необходимо, чтобы план при разработке был согласован с партнерами, клиентами и другими заинтересованными сторонами - чтобы все понимали и приняли задачи программы и свою ответственность за их достижение
В центре изучения - итоги и показатели работы, а не на внутренние функции и процессы программы
Постоянная разработка и совершенствование плана по мере накопления опыта в ходе его реализации – с самого начала разработать совершенный план трудно - он не должен быть статичным инструментом, но должен быть гибким и адаптируемым под реалии программы

программа
Отношение к общим приоритетам правительства
Какие проблемы или вопросы она призвана решить
Определение проблемы и запланированные результаты – это две стороны одной медали. Они полезны при разработе структуры программы

Мандат и цели
Нормативные или иные полномочия (политическое или административное решение) по программе
Цели и ожидаемые результаты или итоги

между различными игроками, участвующими в реализации программы
Подход к реализации
Как будет работать программа в целях достижения ее результатов
Целевая группа населения
Группы или индивидуумы, которых будет обслуживать программа
Характеристики и численность целевой группы населения
Уровень ресурсов (персонал, финансы, прочие активы)
По основному компоненту или виду деятельности программы
Распределение или прохождение ресурсов по времени

...Разработка профиля программы

Смысл применения логических моделей
Основые понятия
Практическое занятие по разработке логической модели

показано как работает программа, политика или инициатива
Иллюстрирует теорию, лежащую в основе программы и ее дизайна
Показывает связи или цепочку результатов между деятельностью в рамках программы, продуктами или предоставляемыми услугами и ее эффект на изменение положения граждан или ее ценность для граждан
Формирует «тезис» или концептуальный ориентир по которому будет измеряться и оцениваться реальная работа программы.

ДЕЛ

РЕЗУЛЬТАТИВНОСТЬ

ЭФФЕКТИВНОСТЬ

ВНЕШНИЕ ВОЗДЕЙСТВИЯ

ПАРТНЕРЫ, ДРУГИЕ ПРОГРАММЫ, СОЦИАЛЬНЫЕ И ЭКОНОМИЧЕСКИЕ ФАКТОРЫ И Т. П.

клиентам и партнерам

Клиенты и партнеры лучше информирова-ны о проблемах здоровья

Клиенты и партнеры предпринима-ют действия по сохранению и укреплению здоровья

Улучшения в сост. здоровья населения, сокращение неравенства в сост. здоровья в конкретных группах клиентов

Уровень усилий ($)
по каждому виду деятельности

Число охваченных клиентов

% от клиентской группы
охваченного населения

% от клиентской группы
охваченного населения которое понимает посыл

% от клиентской группы населения которое предпринима-ет действия

Изменения в состоянии здоровья клиентского населения

Снижение затрат системы здравоохране-ния

ФОРМИРУЮЩИЕСЯ КЛЮЧЕВЫЕ СРЕДСТВА ОЦЕНКИ ЭФФЕКТИВНОСТИ ДЕЯТЕЛЬНОСТИ

Продукт

Целевая группа Результаты

ИЗМЕНЕНИЕ В ПОВЕДЕНИИ

> Состояние здоровья (смертность, заболеваемость)
> Риски

Прямой контроль

Прямое воздействие

Косв. воздействие

КАК

КТО И ЧТО

ЗАЧЕМ

> Затраты
> Своевремен-ность
> Колич.
> Кач.

> Осознание
> Принятие
> Способность
> Принятие/действие

Долгосрочные результаты

Источник – Министерство транспорта Канады и Стив Монтагю, фирма PMN Inc

1

Продукт 2

Продукт 3

Непосредств.
итог 1

Непосредств.
итог 2

Промежуточные итоги

Окончательные итоги

Общая логическая модель

постоянное общение
со всеми
участниками процесса

нормотворчество

Нормативные
акты

Проверка и
действия по
нормоприменению

Результат
обмена
информацией

Информация о
требованиях и рисках
доведена до сведения
всех участников

Субъекты
нормативных актов
Поведенческие
изменения

Соблюдение
правил и норм

Социальное и
экономическое
благоденствие

Безопасность и
стабильность

Высококачественная
окружающая среда

МЕРОПРИЯТИЯ

ВВОДИМЫЕ РЕСУРСЫ

НЕПОСРЕДСТВЕННЫЕ
ИТОГИ ДЕЯТЕЛЬНОСТИ

СРЕДНЕСРОЧНЫЕ
ИТОГИ

КОНЕЧНЫЕ РЕЗУЛЬТАТЫ

измерить”
Простые средства описания и доведения до адресата сути дизайна программы и ее работы
Инструмент дизайна или совершенствования программы – тестирует логику связей программы
Помещает программу в более широкий контекст – внешние факторы, партнеры, другие программы
Направляет выявление ключевых средств измерения эффективности и вопросов для оценки

достижение результатов. Например, затраченные денежные суммы.
Деятельность: операция или действие, в результате которого производится товар или услуга (продукт). Например, исследования, анализ, проверка, распространение информации, разработка политики, подготовка и обучение.
Продукт: товары или услуги, произведенные или непосредственно контролируемые организацией. Например, информация о здоровье, положения, правила, соглашение о гранте или взносе.
Результаты: Последствия политики, программы или инициативы, которые реально могут быть увязаны с деятельностью или продуктом. Могут характеризоваться по многим различным аспектам – как правило непосредственные, промежуточные и окончательные. Например, более широкое использование информации, укрепление потенциала и возможностей, улучшение состояния здоровья.

и выбирают программу, с которой они будут работать
Сформировать рабочую группу и выбрать ведущего, ответственного за ведение протокола, ответственного за соблюдение временного регламента и докладчика
Определить и перечислить мероприятия в рамках программы
Определить и записать продукты «на выходе» каждого мероприятия программы
Определить и перечислить продукты (услуги), разбить их по категориям: непосредственные, среднесрочные и конечные

вытекающих из каждого продукта и приводящих к окончательному итогу
Начертить на перекидном планшете цепочку логической модели/результатов, показав связи между различными видами деятельности, продуктом и непосредственными, промежуточными и окончательными результатами
Определить внешние факторы или воздействия, которые могут оказать позитивное или негативное влияние на цепочку результатов
Подготовить краткую презентацию о результатах вашей работы и о том, что оказалось выполнить легко, а что – трудно.

*В случае выявления множества желаемых результатов или нехватки времени, сконцентрировать усилия на разработке плана по достижению нескольких наиболее важных конечных продуктов при разработке полной логической цепочки

том, что подлежит измерению
Что такое показатели эффективности?
Спектр показателей эффективности
Типы данных, используемых в показателях эффективности
Источники данных и методы сбора данных
Семинар по стратегии замера эффективности

помогающая управлять текущими операциями по программе
Что подлежит измерению (деятельность, выход, итоги, внешние воздействия базирующиеся на логической модели)?
Каким образом производить измерения (показатели, источники данных, методы и частотность сбора, ответственность за сбор данных)?
Каким образом и кто будет анализировать данные?

…
Планирование – постановка задач и целей, распределение ресурсов, альтернативы
Эффективное управление – ход мониторинга, оценка затрат, корректировка в середине пути, совершенствование
Отчетность и подотчетность – годовые отчеты, результативные контракты

“То что измеряется и включается в отчетность - делается”

эффективности ….
Определить параметры качества, которым должна удовлетворять информация об эффективности – точность, достоверность, актуальность
Определить – когда требуется информация об эффективности (частотность сбора)
Ранжировать по приоритетности (сразу все делать невозможно)
Критически важная, важная, неплохо бы иметь
Освещение ключевых цепочек результатов в логической модели
Освещение в оценке эффективности

измерения эффективности работы
Дает критерии для оценки успешности или реализации по стандарту или в сравнении с заявленными ожиданиями
Направляет процесс определения типа данных, которые следует собирать
Помогает более точно определить и интерпретировать элементы логической модели

сотрудников
капитальные объекты
информация, услуги (предоставляемые другими)
Деятельность (процесс)
рабочая нагрузка – новая, в процессе
темпы прохождения, продолжительность процессов
Продукт (услуги)
количество – объемы, число обслуженных клиентов
качество – стандарты, удовлетворенность клиентов
своевременность
затраты на единицу

целевая аудитория, клиентская группа населения
осведомленность - принятие
способность - принятие/действие
может быть продуктом третьей стороны
Результаты (окончательные – изменение состояния)
социальное, экономическое благополучие
Внешние факторы (влияние/эффект)
другие программы
партнеры, сотрудничающие
другие социальные и экономические факторы

в объеме продукта, времени прохождения процесса или услуги
Результативность
Степень достижения цели, удовлетворения потребностей или решения проблем (абсолютная или относительная)
Соотношение затрат и результатов (рентабельность)
Детали содержатся в Приложении A – примеры родовых показателей эффективности

анкет, отчетов и наблюдений по программе, в устном или повествовательном формате
Примеры: заметки по собеседованиям о соображениях или реакциях адресатов программ, результаты опросов которые характеризуют полезность продукта, изучение конкретных примеров, содержащее описание воздействия программы
Количественные: цифровая информация, получаемая из источников данных, закодированная в серии цифровых значений
Примеры: рейтинги проверок, число и тип проведенных медицинских анализов, затраченные суммы, число подавших заявление на охват программой, адресатов программы, %охваченного населения из целевой группы

получения
Базисные данные собираются в один момент времени и используются как сверочный ориентир в будущих измерениях
Текущие данные измерений эффективности деятельности собираются регулярно по затратам, деятельности, продукту и результатам, а также по внешним влияниям для оценки процессов и итогов
Оценочные данные собираются периодически и используются как дополнение к базисным и текущим данным при проведении углубленной оценки программы, политики или функции

исследования (сравнительные, референтные группы)
Анкеты, опросы
Целевые исследования
Прямые наблюдения
Обзоры документов
Обзоры литературы
Экспертные заключения
Вторичные данные (национальные статистические агентства, организации ООН и т.п.)

самых рабочих групп
Использовать программу и логическую модель, что и в предыдущем семинаре
Выбрать одну цепочку результатов или поток в логической модели
Определить для каждого результата программы (продукт и результат)
Показатель эффективности
Источник данных
Метод сбора данных
Переодичность сбора данных
Представить результаты, используя таблицу на следующем слайде – слайд 37
Определить показатели эффективности для внешних факторов или воздействий, которые могут оказать позитивное или негативное влияние на цепочку результатов (факультативно)
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

оценки программы
Типы оценки
Механизмы оценки и анализа
Рабочая сессия по стратегиям и вариантам выбора

когда и при каких обстоятельствах или для принятия каких решений
Основное содержание
Описывает проблемы и связанные с ними вопросы для изучения, которые необходимо рассмотреть в ходе оценки
Определят ключевые данные, которые необходимо получить и проанализировать для того чтобы иметь возможность ответить на каждый вопрос оценки
Представляет график проведения оценки с указанием того, кто отвечает за проведение оценки

Измерение эффективности фокусируется на текущем сборе информации по эффективности в целях управления текущими операциями
Оценка является углубленным изучением, которое проводится на важном этапе жизненного цикла программы, политики или другой инициативы, в результате принимаются решения в отношении данной программы– часто проводится третьей стороной

проводится для того, чтобы убедиться в том, что она реализуется так как задумано, включая положения об измерении эффективности и степени продвижения к достижению итогов.
Оценки воздействия (суммарные оценки): углубленная оценка вводимых факторов, продукта, результативности и окончательных итогов программы и в какой степени деятельности в рамках программы могут быть связаны с достижением отчетных результатов. Предназначена для программ с высокой степенью риска с использованием полной оценки ключевых моментов оценки.
Целевая оценка: оценка полученной ценности на затраченные средства (актуальность, экономичность, эффективность, рентабельность), предназначена для проведения в программах с уровнем риска от низкого до среднего. Целевые оценки направлены на вводимые факторы, деятельность, выход и непосредственные итоги, в них уделяется особое внимание удовлетворенности клиентов и стандартам услуг в качестве ключевых показателей эффективности.
Оценки стратегической политики: в центре – удовлетворение потребностей Кабинета в сфере принятия решений по глобальным инициативам политики. Могут охватывать группы программ, нацеленных на общие цели политики и дают информацию о воздействии, потенциальных будущих направлениях и последствиях политики. Не предназначены для целей отчетности по результативности и результатам программ.

продолжается в тех же самых рабочих группах
Используется программа, по которой проходила работа в предыдущем семинаре
Определить, какие типы оценок могут быть подходящими для программы, в какое время и в каких условиях или обстоятельствах процесса принятия решений
Рассчитать результаты работы группы в следующей таблице
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

данных
Анализ данных
Суждения на основе данных
Затраты на измерение эффективности работы и проведении оценки
Семинар по составлению планов проведения оценки

которые следует изучить в ходе проведения оценки:
Актуальность: Продолжает ли политика, программа или инициатива соответствовать приоритетам министерства и всего правительства, реалистично ли она стремится удовлетворить реальную потребность?
Успешность: Эффективно ли политика, программа или инициатива достигает своих целей в рамках бюджета и без нежелательных негативных результатов?
Рентабельность: Используются ли для достижения целей наиболее целесообразные и эффективные пути по сравнению с альтернативным дизайном и подходами к реализации?
Вопросы по оценке являются более конкретными исследовательскими вопросами на которые требуется дать ответы для рассмотрения каждой проблемы оценки. Они составляются на основе консультаций с ключевыми заинтересованными сторонами программы (см. принципы - слайд 11)

на один и тот же вопрос оценки используются многочисленные линии сбора данных, в особенности если данные из одного источника являются слабыми
Как минимум (при том допущении, что проводится незначительный сбор данных по текущей эффективности программы) для ответа на вопрос следует использовать следующие линии сбора информации:
Обзор литературы: что об эффективности аналогичных программ говорится в национальной и международной исследовательской литературе
Обзор документов: какие данные об эффективности программы содержатся в документации, обзор которой был проведен в рамках программы
Собеседования с ключевыми заинтересованными сторонами: что говорят представители ключевых заинтересованных сторон об эффективности программы и о том, каким образом ее можно повысить
Эти данные могут быть дополнены данными из других линий данных, таких как обследования заинтересованных сторон, тематические исследования, административные системы и записи и т.п.. для усиления данных по важным вопросам оценки и придания им большей достоверности (см. слайд 35 об источниках данных и методах получения данных)

наблюдаемые группы различными или одинаковыми и в какой степени – либо сравнение со стандартами
Реляционный: определяет меру связанности друг с другом различных показателей или факторов программ
Качественный анализ
Контентный анализ: сколько раз произошло какое-либо явление – выражения, слова, события
Иллюстрирование ситуации: с использованием цитат, графических образов, детальных описаний
Исторические справки: краткие тематические зарисовки, иллюстрирующие идею
По количественным и качественным данным
Кодировать данные: по источнику или характеристике
Ранжировать данные: по относительной важности или значению
Искать характер результатов (сходные характеристики): агрегировать, детализировать, сегментировать

в бюджет программы и ассигновать отдельно на оценку и измерение эффективности
В типичном случае могут составлять от 3% до 8% от общих затрат на программу
В зависимости от характера, масштаба, сложности и важности программы (экономия за счет масштаба)
Компромисс между инвестированием в измерение эффективности и в оценку – качественная информация по измерению эффективности ведет к снижению затрат на однократные оценки

этих критериев
Критерии должны быть известны и согласованны заранее
Нормы
Использовать базисные эталоны эффективной практики как точку отсчета
Экспертные группы
Привлекать видных деятелей и использовать их суждения и опыт для оценки и интерпретирования данных

рабочих группах
Используется программа по которой проходила работа в предыдущем семинаре
Выбрать тип оценки с которым вы хотели бы работать (см. слайд 41)

Определить один (или более) вопрос для оценочного исследования для каждой из трех ключевых сфер (см. слайд 42)
Для каждого вопроса для оценки определить
Показатели эффективности деятельности/источники данных
Методы получения информации
Методы анализа информации
Подсчитать полученные данные, используя план проведения оценки (слайд 52)
Составить возможный план проведения оценки для выявления влияния любых актуальных внешних факторов или воздействий на результаты программы и дифференцировать воздействия от самой программы (факультативно)
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно

сессия по стратегии отчетности

потребности (управленческое принятие решений, подотчетность и доведение/обмен информацией)
законодательный орган, правительство, общественность
партнеры, клиентская/целевая аудитория
персонал программы, центральные ведомства
Устанавливает график – какая информация об эффективности деятельности должна представляться, каким пользователям
Устанавливает – кто отвечает за представление этой информации и в какой форме

– статистические агентства, международные организации и т.п.

Используется программа, по которой проходила работа в предыдущем семинаре, и разработанный план измерения эффективности и оценки
Определить потенциальных пользователей информации об эффективности и их информационные потребности
Определить источники информации по эффективности, способы распространения, даты представления и ответственность за представление информации об эффективности (какие провалы вы видите?)
Занести результаты обсуждения в таблицу стратегии оценки, слайд 54
Подготовить краткую презентацию по результатам работы и по тому, что оказалось выполнить просто, а что - сложно