Введение презентация

Содержание

Программа семинара Введение Стратегии и планы оценки влияния Обзор «оценки в реальном мире» Финансовые и временные ограничения Ограниченность данных Анализ реальных ситуаций Факторы, влияющие на валидность Групповое упражнение Способы улучшения дизайна

Слайд 1 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире

Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 1

Введение

Слайд 2Программа семинара
Введение
Стратегии и планы оценки влияния
Обзор «оценки в реальном мире»
Финансовые и

временные ограничения
Ограниченность данных
Анализ реальных ситуаций
Факторы, влияющие на валидность
Групповое упражнение
Способы улучшения дизайна оценок
Вопросы и обсуждение

Слайд 3 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире

Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 2

Стратегия и дизайн оценки влияния

Слайд 4Содержание сессии
Атрибуция и сопоставление фактов
Стратегии оценки
Базовые варианты дизайна оценки


Слайд 51. Атрибуция и противоречащие факты
Как мы сможем узнать, что наблюдаемые

нами изменения на уровне участников проекта или сообществ
доход, здоровье, установки, посещение школы и т.д.
связаны с выполнением проекта
кредит, водоснабжение, транспортные ваучеры, постройка школы и т.д.
либо с посторонними факторами?
изменения в экономике, демографии, другие программы развития

Слайд 6Сопоставление фактов
Каково было бы состояние населения проекта в период оценки, если

бы проект не был реализован?

Слайд 7Где взять факты для сопоставления?

После того, как семьи прожили в новом

жилищном проекте 3 года, исследование показало увеличение среднего уровня дохода на домохозяйство на 50%
Говорит ли это о том, что улучшение жилищных условий является эффективным способом увеличения дохода?

Слайд 8Сравнение проекта с двумя другими группами

2000
2002
250
500
750
Д
о
х
о
д
Проект. Увел. на 50%
Группа 1?
50% increase
Группа

2?
No increase

Слайд 9
Стратегия = способ выявления фактов для сопоставления
2. Стратегии оценки

Слайд 105 основных стратегий оценки
Рандомизированный дизайн
I. Настоящий экспериментальный дизайн.
II. Рандомизированный полевой дизайн.
Квази-экспериментальный дизайн (КЭД)
III. Сильный

КЭД
IV. Более слабый КЭД
Неэкспериментальный дизайн
V. Логически слабое сопоставление

Слайд 11Почему важен выбор стратегии оценки?

Слайд 12 Почему важен выбор стратегии оценки?
Риск продолжения программ, которые не имеют реального

влияния
Риск прекращения программ, которые имеют реальное влияние
Правильный анализ того, как программы приводят к эффектам очень важен для улучшение дизайна, эффективности и экономичности
Обеспечение правильных рекомендаций относительно тиражирования опыта программы

Слайд 13I. Настоящий экспериментальный дизайн [редко используется на практике]
Проектная группа и контрольная

группа сформированы на основе случайной выборки

Выгода [влияние] = P2 – P1
C2 – C1

Условия для обеих групп остаются неизменными в процессе воздействия

Слайд 14II. Типичный слабее рандомизированный дизайн оценки, чаще применяемый на практике
Условия для

обеих групп не контролируются в ходе проекта

Проектная группа и контрольная группа сформированы на основе случайной выборки

Выгода [влияние] = P2 – P1
C2 – C1

Слайд 15Пример: рандомизированный полевой дизайн
Оценка новой техники преподавания (использование плакатов и фломастеров)
178

школ в Кении перечислены в алфавитном порядке вместе с альтернативными школами и контрольными группами

Обе группы тестируются на предмет развития образовательных навыков в начале и в конце года

Только проектная группа получает плакаты и фломастеры
Рандомизированный дизайн позволяет выяснить, что между двумя группами нет различий с точки зрения образовательных результатов

Источник: Glewwe et al 2004

Слайд 16Источник информации по рандомизированному дизайну



www.povertyactionlab.org

Слайд 17 Контрольная группа и группа для сравнения
Контрольная группа = рандомизированное включение субъектов

в проектную группу и группу, не подвергающуюся воздействию
Группа для сравнения = специальная процедура формирования выборки для проекта и группы, не подвергающейся воздействию

Слайд 18Дизайн оценки в реальном мире (RWE) [См. раздаточный материал 2-2 и

RWE, Глава 10]

7 базовых вариантов дизайна RWE:
2 методологически сильных
3 менее сильных, но вполне удовлетворительных
2 методологически слабых, но очень широко используемых!

Слайд 19Исходное состояние
Оценка в конце проекта
Участники проекта





Группа для сравнения


Отсроченная оценка



Введение в дизайн

оценки

Слайд 20Два наиболее сильных враианта квази-экспериментального дизайна

Слайд 21Вариант 1: Наиболее методологически строгий квазиэкспериментальный дизайн [но самый дорогой]


T1 T2 T3 T4



Проектная P1 P2n P3 P4
группа
Неэквивал. C1 C2n C3 C4
контр.группа


До проекта

Реализация
проекта

Конец
проекта

Через
некоторое
время после
окончания

Слайд 22Вариант 2: Самый строгий квазиэкспериментальный дизайн общего назначения


T1 T2 T3


Проектная P1 X P2
группа
Неэквивалентная C1 C2
контрольная группа

Пример: Оценка влияния низкозатратных жилищных программ в Сальвадоре
Источник: RWE Box 10.6 p. 214

До проекта

Реализация
проекта

Конец
проекта

Слайд 23
Три более дешевых, но менее строгих варианта квазиэкспериментального дизайна

Слайд 24Вариант 3: Усеченный пре-тест – пост-тест



T1 T2 T3


Проектная P1n P2
группа
Неэквивалентная C1n C2
Контрольная группа
Пример: Оценка влияния вспомогательных транспортных веток в Эритрее (без контрольной группы)

Источник: RWE Box 10.8 p. 216



Примечание: этот вариант дизайна может включать или не включать контрольную группу. Некоторые варианты также предполагают наблюдения в процессе реализации проекта.


До проекта

Реализация
проекта

Конец
проекта

Слайд 25Вариант 4: Без пре-тестовой группы для сравнения



T1 T2 T3


Проектная P1 X P2
группа
Неэквивалентная C1
контрольная группа

Пример: Влияние переселения в Ирригационном проекте в Махараста, Индия
Источник: RWE Box 10.10 p. 218

До проекта

Реализация
проекта

Конец
проекта

Слайд 26Вариант 5: Отсутствие исходных данных



T1 T2 T3


Проектная X P1
группа
Неэквивалентная C1
Контрольная группа

Пример: оценка влияния микрокредитов на женщин и семьи в Бангладеш

Источник: RWE Box 10.12 p. 220

До проекта

Реализация
проекта

Конец
проекта

Слайд 27Два слабых, но широко используемых неэкспериментальных варианта дизайна

Слайд 28Вариант 6: Нет группы для сравнения



T1 T2 T3


Проектная P1 X P2
группа
Неэквивалентная
контрольная группа

Пример: Влияние Хао-Лаемского проекта создания гидроэлектростанции в Таиланде

Источник: RWE Box 10.14 p. 222

До проекта

Реализация
проекта

Конец
проекта

Слайд 29Вариант 7: Нет исходных данных или группы для сравнения



T1 T2 T3


Проектная группа X P1
Group
Неэквивалентная
Контрольная группа
Пример: оценка влияния на образование Социального Фонда Эритреи

Источник: RWE Box 10.15 pp. 214-15

До проекта

Реализация
проекта

Конец
проекта

Слайд 30
Почему вариант 7 так широко используется.
Каковы следствия для менеджеров

и политиков

Слайд 314. Вариации базовых дизайнов оценки [см. раздат. м-лы 2-3]
Включение, по крайней

мере, одного наблюдения в ходе проекта
Лонгитюдный анализ: несколько наблюдений в ходе реализации проекта
Оценка устойчивости: использование наблюдения после того, как проект работает несколько лет

Слайд 32Вариации базовых дизайнов … продолжение
Процессный анализ: раскрывание «черного ящика» для того,

чтобы наблюдать процесс реализации проекта
Контекстный анализ: оценка влияния местных факторов на реализацию и результаты/влияние проекта

Слайд 33Молниеносная «обратная связь»
Возможно ли технически или политически для вас использование рандомизированного

подхода к дизайну оценки

Стали бы вы рекомендовать его использование?
В каких случаях?

Слайд 34 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире

Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 3


Обзор подхода
«Оценка-в-реальном-мире»

Слайд 35Обзор сессии
Определение понятия «оценка-в-реальном-мире» (RWE)
Сценарии RWE: две наиболее типичных ситуации, когда

такая оценка используется
Семь стадий RWE

Слайд 361. «Оценка-в-реальном-мире» [RWE]
Интегрированный подход направленный на соблюдение приемлемых методологических стандартов

при проведении оценок в условиях финансовых, временных, информационных и политических ограничений.

Слайд 372. Сценарии RWE [См. раздатки 3-1]
Сценарий 1.
Оценка проводится в начале проекта,

но по финансовым, временным, техничеким или политическим соображениям:

Сложно выделить необходимое время для консультаций и планирования
Трудно собрать данные по группе для сравнения
Клиент не разрешает собрать исходные данные об участниках проекта

Слайд 38
Сценарий 2: Оценка не проводилась вообще, хотя проект уже реализуется в

течение некоторого времени :
Не собраны исходные данные ни по группедля сравнения, ни – иногда - по проектной группе
Вторичных данных вообще нет или их качество оставляет желать лучшего
Отчет нужно сделать как можно быстрее
Ограниченный бюджет
Политические ограничения методологии оценки и давление, чтобы получить «позитивные» результаты

Слайд 39Специалисты по оценке, обычно, сталкиваются с одним или несколькими ограничениями RWE

[раздатка 3-1]

Недостаточный бюджет
Ограниченное время
Большой объем работ и сжатые сроки
Сжатые сроки у самих исполнителей проекта и др. заинтересованных сторон
Очень плотный график
Необходимость сократить время проведения полевых исследований
Недостаток данных
Отсутствие исходных данных
Административные данные по проекту неполные и низкого качества
Трудно найти данные по качественным результатам и индикаторам

Слайд 40Политические и институциональные ограничения

Давление со стороны финансирующих агентств, заемщиков и заинтересованных

сторон, направленное на
Исключительное использование определенных методов
Задавние определенных вопросов
Интервьюирование определенных групп
Презентацию только позитивных результатов («не раскачивать лодку!»)
Много клиентов с разными интересами
Недостаточная местная экспертиза в области оценки
Отсутствие культуры оценки
Заемщики не относятся к результатам оценки как своим

Слайд 41Адекватный бюджет, но недостаточно данных
Пост-тест, неэквивалентная контрольная группа, выборочные исследования с

многовариантынм анализом
Ограниченный бюджет, но полно времени
Нет ресурсов, чтобы привлечь международную экспертизу или провести широкомасштабные выборочные исследования – но полно времени для того, чтобы нанять местных исследователей (внутри или вовне агентства-заемщика) для использования качественных методов и небольших лонгитюдных исследований

Подход может видоизменяться в зависимости от существующих ограничений

Слайд 42Адекватный бюджет, но ограниченное время
Оценщик обязан уложиться в жесткие сроки, что

ограничивает время в «поле»
Политические ограничения
Команда сталкивается с политическими или идеологическими ограничениями относительно примелемости тех или иных методов


Слайд 437 шагов «Оценки-в-реальном-мире» [раздатка 3-2]


Шаг 2
Учет
ограничений
бюджета
Шаг

3
Учет
временных
ограничений

Шаг 4
Учет
ограничений
данных

Шаг 7
Помощь клиентам в использовании оценки


Шаг 1.
Планирование и определение рамок оценки


Шаг 5
Учет
политических
влияний




Шаг 6
Усиление дизайна оценки и повышение валидности выводов


Слайд 44Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном мире

Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 4

Учет ограничений бюджета и времени

Слайд 45План сессии
A. Стратегии учета бюджетных ограничений
Упрощение дизайна оценки
Рационализация потребностей в информации
Поиск надежных

вторичных данных
Пересмотр размера выборки
Снижение стоимости сбора и анализа данных

B. Дополнительные стратегии для учета временных ограничений

Слайд 46A. Стратегии учета ограничений бюджета

Слайд 47
Step 2 Addressing Budget Constraints
Шаг 1
Планирование и определение рамок оценки

Шаг

2
Учет ограничений бюджета




Шаг 3
Учет временных ограничений





Шаг 4
Учет ограничений данных


Шаг 2
Учет ограничений бюджета
Упрощение дизайна оценки
Рационализация потребностей в информации
Поиск надежных вторичных данных
Пересмотр размера выборки
Снижение стоимости сбора и анализа данных

Шаг 6
Оценка сильных и слабых сторон
дизайна


Step 7
Усиление дизайна оценки

Шаг 5
Учет политических
влияний



Слайд 48Возможность 1: Упрощение дизайна оценки
Многие стратегии снижения стоимости оценки предполагают исключение:
Группы

для сравнения исходных данных
Группы для сравнения с проектной
Пост-тестовой группы для сравнения
Хотя эти действия сберегают деньги, они ослабляют дизайн оценки (основу для сопоставления фактов) и увеличивают риск снижения валидности.

Слайд 49
Смотрите:
Раздатку 2-2, где приводится обзор 7 распространенных вариантов дизайна оценки

Слайд 50Семь вариантов дизайна

Слайд 51Экономия средств при исопльзовании различных моделей [в сравнении с вариантом 2]

Слайд 52Если ресурсы доступны, то все варианты могут быть усилены за счет
Определения

модели (теории) программы
Процессного и контекстуального анализа
Усиление дизайна выборки
Учет возможной предвзятости
Использование смешанных методов и триангуляции
Выделение времени денег на продолжение


См. сессию 9

Слайд 53Возможность 2: Рационализация потребности в информации
Определить потребности клиента в информации. В

каком минимальном количестве информации клиент нуждается?
Что является для клиента главным?
Проанализировать все инструменты сбора данных и исключить вопросы, не относящиеся к приоритетным потребностям клиента.

Слайд 54Возможность 3: Найти надежные источники вторичной информации
Исследования на этапе планирования, административные

документы (мониторинг)
Исследования, проведенные правительством, университетами, международными агентствами
Официальная статистика
Данные, имеющиеся в школах, клиниках, на рынках и в других сервисных агентств
Отчеты в СМИ, в частности, в газетах

Слайд 55Покрытия целевой группы
Времени
Адекватности собранных данных
Надежности и полноты данных
Потенциальных предубеждений

См. сессию

5

Оценить адекватность и надежность источников с учетом:

Слайд 56Проверить размер выборки с точки зрения получения статистически щначимых данных с

учетом:
Ожидаемого масштаба влияния
Чем меньше масштаб влияния, тем больше выборка
Требуемой мощности теста [вероятность определения влияния проекта, если он существует]
Чем выше требуемая мощность, тем больше размер выборки
Размер популяции
Чем меньше популяция, тем меньше выборка

Вариант 4: Уменьшение размера выборки

Слайд 57Размер выборки … продолжение
Необходимый уровень статистической точности
Чем выше требования к точности,

тем больше выборка
Требуемый уровень дезагрегирования
Каждое дополнительное сравнение (по регионам, типам проектов, полу главы семьи и т.д.) увеличивает требуемый размер выборки

См. RWE Chapter 14 pp. 337-352

Слайд 58Масштабы эффекта для большинства проектов развития невелики
Причины бедности, слабой посещаемости в

школах, недоедания лежат в разных сферах
Следовательно, большая часть интервенций, пусть и хорошо спланированных, оказывают лишь незначительное влияние
Таким образом, обычно, требуется большая выборка для определения эффекта (влияния)

Слайд 59Требуемый размер выборки для разных масштабов влияния и мощности

Слайд 60Способы уменьшения размера выборки [раздатка 4 - 1]
Принять меньший уровень значимости

(0.1 вместо 0.05)
Принять меньший уровень мощности (0.8 вместо 0.9)
Увеличить масштаб эффекта
Улучшить качество выполнения проекта
Сфокусироваться на группах, где масштаб влияния самый большой (например, только студентки, только самые образованные родители)
Повысить эффективность выборки
Стратифицированная выборка
Повышение процента ответивших
Уменьшить дезагрегирование

Слайд 61Осторожно !!!
Всегда хочется уменьшить размер выборки для экономии средств …
Но, если

ожидаемый масштаб влияния невелик, то есть вероятность получения ложных отрицательных данных …
Выборка может оказаться слишком маленькой для определения небольшого, но реального эффекта

Слайд 62Вариант 5: Уменьшение стомисоти сбора и анализа данных [Раздатка 4 -2]
Использовать

анкеты с самостоятельным заполнением
Уменьшить размер и сложность инструментов
Использовать наблюдение
Учесть результаты фокус-групп и форумов в сообществах
Провести интервью с ключевыми лицами
Использовать методы оценки с участием
Множественность методов и триангуляция

Слайд 63B. Дополнительные стратегии для учета временных ограничений

Слайд 64
Step 2 Addressing Budget Constraints
Шаг 1
Планирование и определение рамок оценки

Шаг

2
Учет ограничений бюджета




Шаг 3
Учет временных ограничений





Шаг 4
Учет ограничений данных


Шаг 6
Оценка сильных и слабых сторон
дизайна


Step 7
Усиление дизайна оценки

Шаг 5
Учет политических
влияний



Шаг 3
Учет временных ограничений
Такие же стратегии, как для бюджета +
Снизить напряженность графика для иностранных консультантов
Нанять больше консультантов/исследователей
Включить индикаторы результатов в систему мониторинга проекта
Современные технологии ввода и анализа данных

Слайд 651. Два вида временных ограничений
Существуют два вида временных ограничений
продолжительность оценки (период

времени от начала до окончания оценки)
трудоемкость (сколько недель требуется для того, чтобы собрать данные).

Слайд 662. Стратегии экономии времени
[Раздатка 4-2]
Большинство стратегий экономии средств приводят к экономии

времени
Упрощение дизайна
Рационализация потребностей в информации
Поиск надежных вторичных данных
Пересмотр размера выборки
Снижение стоимости сбора и анализа данных

Слайд 67Дополнительные стратегии экономии времени [Раздатка 4-3]
Уменьшить плотность графика работы зарубежных консультантов
Провести

подготовительные исследования
Видеоконференции
Нанять больше консультантов/исследователей
Включить индикаторы результатов в систему мониторинга проекта
Использовать современные технологии кодирования, ввода и анализа данных

Слайд 684. Использование смешанных методов для экономии времени
Выявить людей, которые лучше других

информированы по важным вопросам
Использовать методы оценки с участием, в частности, включить лидеров сообществ:
Фокус-группы
Матрицы критериев
Диаграммы Венна
Описание истории и т.д.

Слайд 69
Структурированное наблюдение
Существующая документация
Попросить членов сообщества собрать информацию
Использование фото и видео
Триангуляция –

несколько наблюдений за одним источником

Слайд 70Значение триангуляции для повышения надежности
Триангуляция методов
Триангуляция данных, полученных с помощью нескольких

количественных и качественных методов может иногда получить необходимые сведения на меньших выборках и сэкономить силы и время

Слайд 71Другие формы триангуляции
Источники данных
Методы сбора данных
Оценщики или люди, собирающие данные
Повторяющиеся наблюдения

через некоторое время
Различные аналитические подходы
Различные уровни наблюдения [индивид, семья, сообщество, группа и т.д.]

Слайд 72
Будьте осторожны, используя качественные методы для экономии времени, т.к. большинство методов

не предназначены для ускоренного использования

Слайд 73
Можете ли вы привести примеры, когда качественные методы используются неправильно, когда

это делается в целях экономии времени?

Слайд 74Additional notes on the estimation of sample size [in English]

Слайд 75The sample size needed to test for statistically significant results determined

by:
Expected effect size [size of impact]
The smaller the effect size the larger the sample
Required power of the test
The higher the required power the larger the sample
Population size
The smaller the population the smaller the sample

See RWE Chapter 14 pp. 337-352

Option 4: Reducing sample size

Слайд 76Sample size … continued
Required level of statistical precision
Higher the required precision

the larger the sample
Required levels of disaggregation
Each additional comparison (by region, type of project, sex of family head etc) further increases the required sample size.

Слайд 77Definition of effect size
The size of the change or effect that

a program produces or is expected to produce
The larger the difference between project and comparison group means (relative to the standard deviation) the larger the effect size
Where possible use a standardized effect size: (X2-X1)/σ
so that effect size of different projects can be compared

Слайд 78Definition of effect size
The size of the change or effect that

a program produces or is expected to produce
The larger the difference between project and comparison group means (relative to the standard deviation) the larger the effect size
Where possible use a standardized effect size: (X2-X1)/σ
so that effect size of different projects can be compared

Слайд 79Estimating effect size
Empirical
Results of earlier projects
The research literature
Normative
National norms
Secondary school enrolment

rates
Policy goal
(% of families below poverty line)
Economic/financial
Cost-effectiveness criteria
Change required to achieved “reasonable” unit cost

Слайд 80Most effect sizes for development projects are small
The causes of poverty,

low-school enrolment, malnutrition etc are multidimensional
Consequently most interventions, however well designed, tend to only have a small to medium effect size (0.2 -0.3)

Слайд 81Definition of power of the test

The probability of detecting a statistically

significant difference (between the project and comparison group) if a real difference does exist.
The risk of missing the effect = false negative
Increasing power raises the probability of detecting a real effect but also significantly increases sample size.

Слайд 82Required sample size for different effect sizes (difference of means) and

power

Слайд 83Ways to reduce sample size [Handout 6-1]
Accept lower significance level (0.1

instead of 0.05)
Accept lower Power level (0.8 instead of 0.9)
Increase effect size
Improve quality of project implementation
Focus on groups where effect size expected to be greatest (only girl students, better educated parents)
Increase sampling efficiency
Stratified sample design
Reduce non-response rate
Less disaggregation

Слайд 84Beware!!!
It is always tempting to reduce sample size to save money

…
But if the expected effect size is small there is a danger of a false negative …
The sample is too small to detect a small but real effect

Слайд 85 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном

мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 5

Учет ограничений данных

Слайд 86План сессии
Реконструкция исходных данных
Специальные вопросы для групп сравнения


Слайд 87
Step 2 Addressing Budget Constraints
Шаг 1
Планирование и определение рамок оценки

Шаг

2
Учет ограничений бюджета




Шаг 3
Учет временных ограничений





Шаг 4
Учет ограничений данных


Шаг 6
Оценка сильных и слабых сторон
дизайна


Шаг 7
Усиление дизайна оценки

Шаг 5
Учет политических
влияний



Шаг 4
Учет ограничений данных
Реконструкция исходных данных
Особенности работы с группами сравнения.
Сбор данных по особо сложным вопросам
Сбор данных в труднодоступных группах

Слайд 88Реконструкция исходных данных для проектных групп и групп сравнения [раздатка 5-1]

Слайд 89Значение исходных данных
Трудно оценить изменения, если не иметь данных об исходном

состоянии
Пост-тестовые сравнения не могут полностью принять во внимание:
Предвзятость выбора: изначальные различия между участниками проекта и теми, кто в нем не участвовал
Введение весовых коэффициентов пристрастий частично решает эту проблему
Исторические факторы, которые влияют на результаты и которые предположительно были вызваны выполнением проекта

Слайд 90Способы реконструкции исзодных условий
Вторичные данные.
Документация по проекту.
Вспомнить
Ключевые источники информации
PRA и другие

методы оценки с участием, в частности линии времени и критические события, которые помогают восстановить хронологию важных событий в сообществе

Слайд 911-A. Использование вторичных данных для реконструкции исходных условий
Перепись
Анкеты
Административные данные по проекту
Отчеты

агентств
Специальные исследования, проведенные НКО и донорами
Университетские исследования
СМИ (газеты, радио, TV)

Слайд 92
Документы о жизни сообщества
Записи в офисах, центрах сообществ
Постеры (плакаты)
Сведения о рождаемости/смертности
Завещания

и документы, касающиеся собственности

Слайд 93Оценка полезности потенциальных вторичных данных
Дата
Покрытие целевой группы
Включенность необходимых индикаторов
Полнота
Точность
Непредвзятость

Слайд 941-B. Использование проектной документации
Виды данных
Исследования выполнимости/исследования на стадии планирования
Формы заявок и

регистрации
Отчеты руководству
Данные в управленческих информационных системах
Отчеты о совещаниях
Протоколы совещаний в агентствах и сообществах
Отчеты о выполнении
Стоимость строительства

Слайд 95Оценка надежности проектной документации
Кто собирал данные и с какой целью?
Их собирали

для фиксирования хода поректа или для оказания влияния на лиц, принимающих решения?
Данные мониторинга относятся только к деятельности по проекту или они также охватывают результаты?
Данные были собраны исключительно для внутреннего использования? Для использования ограниченной группой? Для открытого доступа?

Слайд 96
Насколько данные точные и полные? Есть ли очевидные «провалы»? Они возникли

преднамеренно или вследствие плохой организации ведения документации.
Каковы потенциальные предубеждения с точки зрения индикаторов измерения влияния проекта?

Слайд 97Работа с клиентом над повышением полезности данных для оценки
Сбор дополнительной информации

о заявителях или участниках
Убедиться, что идентификационные данные включены и точны.
Убедиться, что данные организованы так, как это нужно для оценки (по сообществам, видам услуг, семьям, а не по индивидам, уровню дохода и пр.)

Слайд 981-C. Использование воспоминаний для восстановления исходных данных
Посещаемость школ и время/стоимость проезда
Болезни/использование

медицинских учреждений
Доходы и расходы
Знания и навыки сообществ/индивидов
Социальная сплоченность/конфликтность
Использование воды, качество, стоимость
Периоды стресса
Формы путешествий

Слайд 99Области, в которых исследования, в основном, строятся на валидности воспоминаний
Анкетирование по

поводу доходов/расходов
Демографические данные и репродуктивное поведение

Слайд 100Ограничения воспоминаний
Обычно ненадежны для получения точных количественных данных
Полезны для описания основных

событий или воздействий новых услуг, когда до этого ничего подобного не было
Предвзятость при формировании выборки
Целенаправленное или непреднамеренное искажение
Мало эмпирических исследований (кроме связанных с расходами) для того, чтобы уточнить сведения.

Слайд 101Источники предвзятости в воспоминаниях
Кто дает информацию
Неучет небольших и рутинных расходов
«Телескопический»

эффект в отношении основных расходов.
Искажения, связанные с нежеланием следовать приемлемому поведению
Намеренные
Романтизация прошлого
Факторы, связанные с контекстом:
Временные интервалы, использованные в вопросе
Ожидания респондентов относительно того, что хочет интервьюер

Слайд 102Повышение валидности воспоминаний
Проверить, чтобы были проинтервьюированы все группы
Провести небольшие исследования для

сравнения воспоминаний с результатами анкетирования или другими данными
Триангуляция
Связать воспоминания с важными событиями
Выборы
Засухи/наводнения
Строительство дорог, школ и т.д.

Слайд 103
Другие примеры, где воспоминания могут быть полезны?
Есть ли у вас опыт,

когда воспоминания вводят в заблуждение?

Слайд 1041-D. Ключевые лица – источники информации
Не только официальные лица и люди

с высоким формальным статусом
Ключевым может стать любой источник в зависимости от ситуации:
Одинокие матери
Рабочие фабрики
Пользователи общественного транспорта
Секс-работники
Уличные дети

Слайд 105Рекомендации по анализу ключевых источников
Триангуляция существенно повышает валидность и понимание
Включите людей

с разным опытом и взглядами
Поймите, как каждый из них вписывается в общую картину

Слайд 1061-E. PRA и другие техники оценки с участием
PRA позволяют собрать

данные на уровне группы или сообщества, но не на индивидуальном
Могут быьт направлены на поиск консенсуса или, наоборот, разногласий.
Риск предвзятости:
Будут участвовать только представители определенных секторов сообщества
Некоторые люди могут доминировать в обсуждении

Слайд 107Техники PRA, имеющие отношение ко времени и полезные при реконструкции прошлого
График
Анализ

тенденций
Исторический разрез
Сезонная диаграмма
Распорядок дня
Генеалогия с участием
Картирование мечты
Критические (значимые) события

Слайд 108Использование PRA методов для воспоминаний: сезонные календари

Слайд 1091-F. Проблемы в реконструкции исходных данных
Вариации в надежности воспоминаний
Искажения памяти
Вторичные

данные непросто использовать
Вторичные данные неполные или ненадежные
Ключевые информаторы могут искажать прошлое

Слайд 1102. Реконструкция групп сравнения
Согласование суждений в сообществах.
После представления услуг проекта

благополучатели на более поздних фазах могут использоваться как контрольная группа и канал получения информации
Внутренний контроль, когда различные субъекты получают разные сочетания услуг и уровни обслуживания

Слайд 111
Показатели склонности
В «быстрых» исследованиях могут сравниваться характеристики проектной и контрольной

групп с использованием:
Наблюдения
Ключевых информаторов
Фокус групп
Вторичных данных
Аэрофотосъемки и данных геоинформационных систем

Слайд 112Использование показателей склонности для усиления групп сравнения
Логическая регрессия по отношению к

проекту и группе сравнения для выявления детерминант участия в проекте
Выбрать «ближайших соседей» (обычно, около 5) из группы сравнения, которые наиболее тесно взаимодействуют с участником
Влияние проекта = итоговый показатель = разница между показателем участника и средним показателем ближайших соседей

Слайд 113Проблемы в реконструкции контрольных групп
Регионы реализации проекта часто выбираются целенаправленно и

трудно сопоставимы
Различия между проектной и контрольной группами – трудно оценить, с чем связаны – с проектом или с изначальными различиями
Недостаток хороших данных для выбора контрольных групп
Эконометрические методы не могут в полной мере учесть изначальные различия между группами (ненаблюдаемое)

Слайд 114Handout 5-2 Case studies illustrating ways to address data constraints [some

only in English]

I. Reconstructing baseline data

II. Using multivariate analysis to strengthen non-equivalent control group designs
III. Using multiple secondary sources and multiple methods for triangulation and to strengthen comparison groups.

IV. Methods for collecting sensitive information

Слайд 115Ссылки
Bamberger, Rugh and Mabry (2006). RealWorld Evaluation. Chapter 5
Kumar, S (2002).

Methods for Community Participation. A complete guide for practitioners.
Patton, M.Q. (2002). Qualitative research and evaluation methods. Chapters 6 and 7.
Roche, C. 1999. Impact assessment for development agencies. Chapter 5.

Слайд 116 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном

мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 6

Случаи, иллюстрирующие способы учета ограничений бюджета, времени и данных

Слайд 117План сессии
Строительство вспомогательных дорог в Эритрее
Снижение стоимости за счет упрощения дизайна

и сокращения размера выборки
Сельские дороги во Вьетнаме
Использование показателей склонности для сближения характеристик проектной и контрольной групп
Социальный фонд Никарагуа
Использование вторичных данных для восстановления исходных данных
Обеспечение сообщества водой в Индонезии
Использование триангуляции для снижения затрат и повышения надежности

Слайд 1181. Снижение стоимости за счет упрощения дизайна и сокращения размера выборки


Оценка влияния вспомогательных дорог в Эритрее

См. раздатку 6-1, Случай 1

Слайд 119Использование варианта дизайна №3 [начало оценки в середине проекта] в оценке

проекта по строительству вспомогательных дорог в Эритрее

Слайд 120Методы снижения стоимости
Использование дизайна 3 (без контрольной группы)
Только 90 домохозяйств (выбраны

в трех деревнях) проинтервьюированы вдоль каждой дороги
Восстановление исходных показателей через воспоминания
Ключевые информаторы
Наблюдение трафика – пешеходного и других средств передвижения, открытие новых бизнесов, качество дорог и т.д.
Вторичные источники

Слайд 121Примерная экономия
На 25-40% дешевле, чем более строгий дизайн [вариант

2]

Слайд 1222. Использование показателей склонности для сближения характеристик проектной и контрольной групп
Оценка

влияния на бедность проекта по строительству сельских дорог во Вьетнаме

См. раздатку 6-1 Случай 2

Слайд 123
Целью оценки было выяснить влияние проекта по строительству сельских дорог во

Вьетнаме на бедность
Административные данные, собранные проектом были использованы для выбора 100 коммун, где дороги были построены и 100 коммун, где дороги не были построены

Слайд 125
Коэффициенты склонности были рассчитаны для сближения характеристик проектной и контрольной групп.
Коэффициенты

склонности устанавливают вероятность того, что коммуна будет выбрана для участия в проекте. Проектные коммуны были максимально похожи на контрольные коммуны.
Средние значения переменных на выходе были подсчитаны для подобранных контрольных коммун. Разница между этими показателями и проектными показателями и была показателем влияния

Слайд 1263. Использование вторичных данных для реконструкции начальных условий

Оценка Фонда социальных инвестиций

Никарагуа

См. раздатку 6-1 Случай 6

Слайд 127Цель оценки
Определить, как повлияли школы, водоснабжение, туалеты, медпункты на благосостояние домохозяйств

с низким уровнем доходов
Оценить доступность услуг проекта для всех секторов целевой популяции

Слайд 128Методология оценки
Измерение жизненных стандартов, проведенное в 1998 году, было использовано для

того, чтобы создать карту бедности для выбора целевых сообществ
Эти данные были использованы в сочетании с административными данными по критериям отбора, чтобы сформировать показатели склонности, устанавливающие вероятность проживания в области, выбранной проектом

Слайд 129Дизайн 5 (пост-тест анализ проектной и контрольной групп)

Слайд 130
Эти показатели были исопльзованы, чтобы сопоставить каждого учатсника проекта с пятью

«ближайшими соседями» (группа сравнения с максимально близкими показателями склонности).
Ближайшие соседи были использованы для реконструирования исходных условий, и влияние проекта определялось как разница между изменениями в показателях каждого участника и средним значением изменений для ближайших соседей.

Слайд 131
Воспоминания были также использованы для повышения надежности данных.
Отдельный анализ был проведен

по каждому компоненту проекта

Слайд 132Уроки
Множественные источники данных могут быть использованы для усиления статистического сравнения через

установление показателей склонности
Воспоминания могут быть использованы как проверка последовательности при восстановлении исходных условий
Административные данные могут быть использованы для улучшения отбора контрольной группы

Источник: Pradhan and Rawlings 2000

Слайд 1334. Снижение стоимости сбора данных путем использования групповых интервью, ключевых информаторов

и наблюдения

Оценка эффективности и влияния систем водоснабжения, управляемых сообществами в Индонезии
См. раздатку 6-1 Случай 7

Слайд 134 Применение дизайна 5 в сельском проекте по водоснабжению

Слайд 135Методы снижения стоимости
Использование дизайна 5 с пост-проектным сравнением деревень, где были

созданы новые системы с теми деревнями, где такие системы были созданы другими донорами, но без участия сообществ
Сбор данных через групповые консультации (еиница анализа – сообщество)
Выборка из 60 с лишним деревень, достаточно большая, чтобы сделать статистические сравнения
Реконструкция исходных данных через воспоминания, ключевых информаторов и вторичные данные

Слайд 136Примерная экономия средств
Стоимость оценки $ 150,000, из которых $ 45,000 –

стоимость иностранных консультантов.
Экономия составила, как минимум, 50% по сравнению с более строгим дизайном [вариант 2]

Слайд 137 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном

мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 7

Шаг 6: Усиление дизайна оценки и валидности выводов

Слайд 138План сессии
Что такое валидность и почему она важна?
Общие правила оценки валидности
Дополнительные

угрозы валидности в количественных оценках
Список факторов, которые угрожают валидности
Стратегии учета этих угроз
Дополнительные материалы нанаглийском языке


Слайд 139
Шаг 1
Планирование и определение рамок оценки

Шаг 2
Учет ограничений бюджета




Шаг 3
Учет временных ограничений





Шаг 4
Учет ограничений данных


Шаг 6
Оценка сильных и слабых сторон
дизайна
A. Выявление угроз валидности квазиэкспериментального дизайна
B. Оценка адекватности качественных дизайнов
C. Интегрированный список рекомендаций для смешанных методов
D. Учет угроз валидности в количественных оценках
E. Учет угроз валидности в количественных оценках
F. Учет угроз валидности при использовании смешанных методов

Шаг 6
Оценка сильных и слабых сторон
дизайна


Step 7
Усиление дизайна оценки

Шаг 5
Учет политических
влияний


Слайд 1401. Что такое валидность и почему она важна?

Слайд 141Определение валидности
Степень, в которой результаты оценки и рекомендации поддерживаются:
логикой проекта
статистическими техничками,

включая формирование выборки
тем, проект и оценка были реализованы
сходством между популяцией проекта и более широкой популяцией, на которую переносятся результаты оценки

Слайд 142Почему валидность имеет значение?
Оценка предоставляет информацию для будущих решений и действий.

Если результаты невалидны, то:
Программы, которые не работают, могут быть расширены
Хорошие программы могут быть остановлены
Приоритетные целевые группы могут не получить доступа услугам или выгоды

Слайд 143Почему валидность имеет значение? … продолжение
Валидность результатов большинства оценок не анализируется:


в силу слабости дизайна многих оценок
есть риск прийти к неправильным выводам
которые приведут к неправильным или менее эффективным действиям
и растранжириванию скудных ресурсов, вкладываемых в развитие

Слайд 1442. Общие принципы оценки валидности дизайна оценки [см. раздатку 7-1]
Возможность подтверждения
Надежность
Достоверность
Возможность

переноса
Использование

Слайд 145A. Возможность подтверждения
Основаны ли выводы на доступной для их проверки информации

и свободна ли оценка от предубеждений оценщика?
Примеры:
A-1: Неадекватное документирование методов и процедур
A-2: Представлены ли данные для обоснования выводов и согласуются ли выводы с полученными данными?
[Сравните аннотацию с содержанием отчета]

Слайд 146B. Надежность
Последователен ли порцесс исследования стабилен ли он с учетом включения

разных исследователей и использования разным методов?
Примеры:
B-2: Данные собраны только от тех людей, которые посетили фокус-группы или встречи местного сообщества
B-4: Проводились ли кодирование и проверки качества? Все ли в порядке?

Слайд 147C. Достоверность
Кажутся ли данные достоверными для участников оценки и читателей отчета?

Удалось ли нарисовать аутентичную картину происходящего?
Примеры:
C-1: Достаточно ли информации для составления достоверного описания объектов и ситуаций, которые исследовались?
C-3: Применялась ли систематическая триангуляция источников данных и методов исследований? Не противоречивы ли данные? Что происходило, когда возникали противоречия?

Слайд 148D. Возможность переноса
Соответствуют ли выводы другим контекстам и в какой мере

они могут быть обобщены?
Примеры:
D-1: Достаточно ли подробно описаны характеристики выборки, чтобы можно было сравнить ее с другими?
D-4: Представляет ли отчет достаточно деталей для того, чтобы читатель смог сделать вывод о возможности переноса?

Слайд 149E. Использование
Были ли результаты полезными для клиентов, исследователей и сообществ, которые

исследовались?
Примеры:
E-1: Были ли результаты оценки физически и интеллектуально доступны потенциальным пользователям?
E-3: Содержат ли результаты оценки рекомендации относительно будущих действий?

Слайд 1503. Дополнительные угрозы валидности в количественных оценках [см. раздатку 7-2]
Угрозы валидности

статистических выводов: почему выводы о статистической взаимосвязи между двумя переменными (например, воздействием и результатами проекта) могут оказаться невалидными
Угрозы внутренней валидности: почему заключения о том, что воздействие проекта вызвало наблюдаемы результаты, могут быть невалидными
Угрозы валидности конструктов: почему выбранные индикаторы могут неадекватно описывать конструкты и причинно-следственные связи в модели проекта
Угрозы внешней валидности: почему предположения о потенциальной возможности тиражирования проекта в других местах или с другими группами могут быть невалидными

Слайд 151Валидность статистических выводов
Статистический анализ может привести к неверным выводам относительно того,

что интервенции привели или не привели к наблюдаемым результатам.
Были использованы неправильные тесты или они неправильно применялись
Проблемы с дизайном выборки
Ошибки измерения

Слайд 152Угрозы внутренней валидности
Может быть сделано ошибочное заключение о связи между интервенцией

и результатами проекта.
Неясная временная последовательность, включающая события внутри проекта и результаты.
Необходимость контролировать внешние факторы
Эффекты времени
Ненадежные измерения

Слайд 153Пример угрозы внутренней валидности: предполагаемая каузальная модель

Женщины вступают в
деревенский банк,


где они получают
кредиты, приобретают
новые навыки и
уверенность в себе

ЧТО…

Увеличивает
доход женщин

Усиливает контроль
женщин над ресурсами
домохозяйства
household resources

Слайд 154Альтернативная каузальная модель
Некоторые женщины
ранее прошли ликбез,
что привело к
укреплению

их
уверенности в
себе и приобретению
новых навыков
работы

Женщины, прошедшие
ликбез, с большей
вероятностью вступят
в деревенский банк.
Их грамотность и
уверенность в
себе делает их
более успешными
предпринимателями

Доход женщин и
их контроль над
ресурсами
домохозяйства
увеличиваются как
результат ликбеза,
повышения
уверенности в
себе и получения
кредитов

Слайд 155Угрозы валидности конструктов
Индикаторы результатов, влияния и контекстуальные переменные могут неадекватно описывать

и измерять конструкты (гипотезы, концепции), на которых построена теория программы
Индикаторы могут неадекватно измерять ключевые концепции
Теоретическая модель программы и взаимодействие между ее элементами может быть не вполне адекватно описано

Слайд 156Угрозы внешней валидности
Предположения о том, как результаты оценки могут быть использованы

в других местах, могут быть ошибочными.
Некоторые важные характеристики проекта могут быть не до конца поняты.
Важные характеристики участников проекта могут быть не поняты.
Сезонные и другие циклические эффекты могут быть пропущены.

Слайд 1574. Worksheet for assessing and addressing threats to validity [in English]
See


Handout 7-3 Worksheet

Слайд 1585. Учет общих угроз валидности во всех вариантах дизайна оценки

Слайд 159A. Возможность подтверждения
Пример: Угроза A-1: неадекватное документирование методов и процедур


Возможные способы учета:
Потребовать от исследователей ревизии их документации и более полного объяснения методологии или включения недостающего материала
Использовать методы быстрого сбора данных (анкеты, кабинетное исследование, вторичные данные) для заполнения пробелов

Слайд 160B. Надежность
Пример: Угроза B-4: данные не были собраны ото всех

необходимых респондентов, во всех нужных местах и в нудное время
Возможные способы учета:
Если исследование еще не было проведено, проверьте формирование выборки или используйте качественные методы для того, чтобы получить данные из нужных мест, от нужных респондентов и в нужное время
Если сбор данных уже проведен, то рассмотрите возможность использования методов быстрого сбора данных – таких как фокус-группы, интервью с ключевыми информаторами, включенное наблюдение для заполнения пробелов в данных

Слайд 161C. Достоверность
Пример: Угроза C-2: оценка выглядит неправильно и не отражает местного

контекста
Возможные способы учета
Если исследование еще не было проведено, проверьте формирование выборки или используйте качественные методы для того, чтобы получить данные из нужных мест, от нужных респондентов и в нужное время
Если сбор данных уже проведен, то рассмотрите возможность использования методов быстрого сбора данных – таких как фокус-группы, интервью с ключевыми информаторами, включенное наблюдение для заполнения пробелов в данных

Слайд 162D. Возможность переноса
Пример: Угроза D-3: выборка не позволяет сделать обощение и

перенести результаты на другие популяции
Возможные способы учета:

Организуйте встречи или консультации с ключевыми информаторами для того, чтобы проверить, к чему относятся проблемы: к недостатку информации, искажению фактов, интерпретации данных.
Вернитесь в «поле» для того, чтобы заполнить пробелы или включите мнения кличевых информаторов, участников фокус-групп, включенных наблюдателей для того, чтобы обеспечить различные взгляды на ситуацию.

Слайд 163E. Использование
Пример: Угроза E-2: Результаты не содержат рекомендаций относительно будущих действий.
Возможные

способы учета:
Если у исследователей есть нужная информация, попросите их сформулировать рекомендации в более явном виде
Если у них нет информации, проведите брейнсторминг с представителями сообществ или агентств-исполнителей для разработки более конкретных рекомендаций по будущим действиям

Слайд 164Молниеносная «обратная связь»
Каковы самые серьезные угрозы валидности в той работе, которую

вы выполняете?
Как их можно учесть?

Слайд 1656. Additional reference material on threats to validity for quantitative evaluation

designs [in English]

Слайд 1663. Additional threats to validity for Quasi-Experimental Designs [QED] [see Handout 7-2]
Threats

to statistical conclusion validity why inferences about statistical association between two variables (for example project intervention and outcome) may not be valid
Threats to internal validity why assumptions that project interventions have caused observed outcomes may not be valid
Threats to construct validity why selected indicators may not adequately describe the constructs and causal linkages in the evaluation model
Threats to external validity why assumptions about the potential replicability of a project in other locations or with other groups may not be valid

Слайд 167Statistical conclusion validity
The statistical design and analysis may incorrectly assume that

program interventions have, or have not, contributed to the observed outputs.
The wrong tests are used or they are applied/interpreted incorrectly
Problems with sample design
Measurement errors

Слайд 168Common RWE issues concerning statistical conclusion validity
[F-1] Sample too small to

identify statistical significance
[F-4] Unreliability of measures weakens tests
[F-6] Unreliability of treatment implementation. A common problem.

Слайд 169Threats to internal validity
It may be incorrectly assumed that there is

a causal relationship between project interventions and observed outputs.
Unclear temporal sequence between the project and the observed outcomes.
Need to control for external factors
Effects of time
Unreliable measures

Слайд 170Example of threat to internal validity: The assumed causal model

Women join

the village
bank where they
receive loans, learn
skills and gain
self-confidence

WHICH ………

Increases women’s
income

Increases women’s
control over
household resources

Слайд 171An alternative causal model
Some women
had
previously taken
literacy training
which increased

their self-
confidence and
work skills

Women who had taken
literacy training are
more likely to join
the village bank.
Their literacy and self-
confidence makes
them more effective
entrepreneurs

Women’s income and
control over
household resources
increased as a
combined result of
literacy, self-
confidence and loans

Слайд 172Common RWE issues concerning threats to internal validity
[G-2] Selection: many participants

are self-selected or selection is not random.
[G-6] Attrition: Rates are often high and the causes are difficult to monitor
[G-8] Instrumentation: program administrators frequently change eligibility criteria to improve efficiency or respond to stakeholder pressures.

Слайд 173Threats to construct validity
The indicators of outputs, impacts and contextual variables

may not adequately describe and measure the constructs [hypotheses/concepts] on which the program theory is based.
Indicators may not adequately measure key concepts
The program theory model and the interactions between stages of the model may not be adequately specified.

Слайд 174Common RWE issues concerning threats to construct validity
[H-1] Inadequate explanation of

constructs. Definitions often vague [well-being, empowerment, improved health].
[H-2] Construct confounding. Need to define more clearly program interventions and how they are administered.
[H-3 Mono-method bias. A single indicator may be used to define and measure a complex construct such as poverty, well-being, domestic violence.

Слайд 175Threats to external validity
Assumptions about how the findings could be generalized

to other contexts may not be valid.
Some important characteristics of the project context may not be understood.
Important characteristics of the project participants may not be understood.
Seasonal and other cyclical effects may have been overlooked.

Слайд 176Common RWE issues concerning threats to external validity
[I-2] Interaction of causal

relationship over treatment variations: the effects may not hold with different socio-economic, cultural or regional groups.
[I-4] Interaction of impact with settings. Difficult to adequately define all dimensions of setting.
[I-6] Political interference or indifference. This may artificially enhance or reduce impacts.
[I-7] Seasonal variations. Critical for many development projects.

Слайд 1777. Addressing threats to validity for Quantitative Evaluation Designs

Слайд 178 F. Statistical conclusion validity
Example: Threat F-4 Unreliability of indicators
Possible ways to

address:
Allocate sufficient time and resources to develop and test the data collection instruments.
Incorporate multi-method data collection approaches so that at least two independent measures are used for all key variables.
Triangulation should be used to check on the reliability of the information.

Слайд 179 G. Internal conclusion validity
Example G-2: Selection

biases
Possible ways to address
Compare participant characteristics with non-participants through constructing control group, or statistical control for participant characteristics.
Use key informants and other sources to compare participant characteristics with those of people/families in similar areas.
Direct observation in focus groups and other settings to assess the unique psychological characteristics of participants.

Слайд 180

H. Construct validity

Example: Threat H-8: Reactivity to the experimental situation
Possible ways to address:
Exploratory studies before the survey instrument is developed
Direct observation of how people respond to the project situation.


Слайд 181 I. External conclusion validity
Example: Threats I-6 Political indifference or proactive interference
Possible

ways to address:
Compare the attitudes of policymakers in different locations
Interviews
secondary sources
key informants
and assess how these differences appear to affect the project.

Слайд 182 Международная Сеть «Оценка Программ» [IPEN] September 28, 2006 Оценка в реальном

мире Планирование оценок в условиях финансовых и временных ограничений, а также при ограниченном доступе к информации Сессия 9

Способы усиления
дизайна оценки

Слайд 183План сессии
Определение модели теории программы
Включение процессуального и контекстуального анализа
Проблемы выборки
Использование

смешанных методов и триангуляции
Планирование времени и ресурсов для продолжения

Слайд 1841. Определение модели теории программы [см. RWE Глава 9]
Все программы основаны

на совокупности предположений о том, как программа должна работать
Иногда это ясно описано в проектной документации
Иногда это скрыто и может быть выявлено оценщиком

Слайд 185Дизайн
[Формули-
ровка и обо-
снование]
Входы
Процесс
выполнения
[Действия]
Непосред-
ственные
результаты
Результаты
проекта
[заплани-
рованные и
непреднаме-
ренные]
Влияние
[заплани-
рованное и
непреднаме-
ренное]


Устойчивость

Экономический контекст поректа

Политическое окружение и политический контекст

Институциональный и операциональный контексты

Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие

Простая модель теории (логики) программы

Физическое
окружение

Слайд 186Модели теории программ … продолжение
Определение и тестирование критических предположений является важнейшим

элементом модели теории программы
Пример «цепочки результатов» для тестирования критических предположений относительно позитивного и негативного влияния мкрокредитов на малые бизнесы, собственниками которых являются женщины

Слайд 187

У женщин ограниченные экономические возможности
вследствие отсутствия доступа к кредитам и

другим
ресурсам, а также к социальному контролю

Проект предлагает кредиты,
техническую помощь и
формирование групп

Женщины
создают
бизнесы

Женщины не
создают бизнесы

Используется
как приданое

Женщины
расплачиваются
с долгами

Муж
присваивает
прибыль

Получается
прибыль

Краткосрочное
улучшение
благосостояния
домохозяйств

Прибыль
реинвестируется

Бизнес
продолжается

Бизнес
умирает

Ограничения
по времени

Недостаток
спроса

Социальное
давление

Недостаток
производительных
сил

Постоянное улучшение
благосостояния
домохозяйств

Улучшение
жилья

Питание,
здоровье,
одежда

Улучшение
образования,
особенно для девочек

Экономические
улучшения

Теоретическая [цепочка результатов] модель для программы развития женского малого бизнеса

Позитивные результаты

Негативные результаты

Слайд 1882. Включение процессного и контекстуального анализа
Многие проекты хорошо спланированы, но не

оказывают влияния из-за проблем с их выполнением. Это может
Снизить эффективность
Привести к тому, что одни группы выиграют больше других
Повлиять на устойчивость и тиражируемость

Слайд 189Процессный и контекстуальный анализ … продолжение
Зачастую оценки не содержат информации о

процессе выполнения программы
Предполагается, что каждый получает один и тот же пакет услуг и одинакового качества
Пример:
Профилактика малярии включает таблетки (или противомоскитные сетки) и информационную сессию. Некоторые пациенты получают только таблетки (или сетки), так как медсестра занята, в то время как другие лишь участвуют в информационной сессии, когда заканчиваются таблетки и сетки.
Как правило, не ведется записей о том, что получает каждый из пациентов

Слайд 190Дизайн
[Формули-
ровка и обо-
снование]
Входы
Процесс
выполнения
[Действия]
Непосред-
ственные
результаты
Результаты
проекта
[заплани-
рованные и
непреднаме-
ренные]
Влияние
[заплани-
рованное и
непреднаме-
ренное]


Устойчивость

Экономический контекст поректа

Политическое окружение и политический контекст

Институциональный и операциональный контексты

Использование процессного анализа
для усиления квази-экпериментального дизайна

Физическое
окружение

Сбор данных
Из административных записей, от ключевых информаторов, наблюдение (включенное и нет), фокус-группы.

Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие

Слайд 191Ключевые вопросы для проведения порцессного анализа
Мониторинг выполнения проекта
Качество услуг
Единообразие в оказании

услуг
Выполнение с участие или «сверху вниз»
Факторы, влияющие на доступ различных групп к услугам и благам

Слайд 192Пример процессного анализа [раздатка 6-1]
Проект строительства сельских дорог во Вьетнаме использовал административные

документы для мониторинга процесса выполнения проекта
Эти документы также были использованы для того, чтобы помочь понять критерии, использованные для отбора коммун, в которых будут строиться дороги

Источник: Case study 2.

Слайд 193Методы процессного анализа
Административные документы
Управленческие информационные системы [MIS]
Включенное наблюдение
Невключенное наблюдение
Ключевые информаторы
Фокус группы

Слайд 194Включение контекстного анализа
Проекты, которые выполняются одинаково, могут иметь различную эффективность и

разные результаты в зависимости от местных контекстуальных переменных:
Экономического контекста
Политического окружениея и политического контекста
Административного и организационного контекста
Экологического контекста
Социокультурных характеристик местного населения

Слайд 195Дизайн
[Формули-
ровка и обо-
снование]
Входы
Процесс
выполнения
[Действия]
Непосред-
ственные
результаты
Результаты
проекта
[заплани-
рованные и
непреднаме-
ренные]
Влияние
[заплани-
рованное и
непреднаме-
ренное]


Устойчивость

Экономический контекст поректа

Политическое окружение и политический контекст

Институциональный и операциональный контексты

Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие

Использование контекстного анализа для
усиления квази-экспериментального дизайна

Физическое
окружение

Слайд 196Методы контекстного анализа
Вторичные данные
Включение информации в социоэкономические анкеты
Быстрые опросы
Включенное наблюдение
Фокус-группы
Ключевые информаторы
Техники

PRA (быстрая оценка с участием)

Слайд 197Анализ контекстуальных данных
Качественный анализ
Анализ отдельных случаев (Case studies)
Включение фиктивных переменных в

мультивариантный статистический анализ

Слайд 198Дизайн
[Формули-
ровка и обо-
снование]
Входы
Процесс
выполнения
[Действия]
Непосред-
ственные
результаты
Результаты
проекта
[заплани-
рованные и
непреднаме-
ренные]
Влияние
[заплани-
рованное и
непреднаме-
ренное]


Устойчивость

Экономический контекст поректа

Политическое окружение и политический контекст

Институциональный и операциональный контексты

Социоэкономические и культурные характеристики популяций, на которые оказывается воздействие

Простая модель теории (логики) программы

Физическое
окружение

Участие в проекте = фиктивная переменная [D] в регрессионном уравнении

Переменные
x1, x2, xn в регрессионном уравнении

Переменные
c1, c2, cn в регрессионном уравнении

“Черный
ящик”

Слайд 199Использование фиктивных переменных для анализа контекстных факторов
Y1 = f(d1, c1, c2,..cn,

x1, x2,.. xn, )
Где:
Y1 = влияние проекта
d1 = фиктивная переменная для проектной и контрольной групп [проект = 1; контр.группа = 0]
c1, c2,..cn = фиктивные или интервальные переменные для контекстуальных факторов [напр., динамичная местная экономика=1, стагнирующая местная экономика=0]
x1 x2,.. xn, = характеристики домохозяйств [размер, доход, уровень образования и т.д.]

Слайд 2003. Проблемы выборки
Предубжедения в формировании выборки (см. случаи 2 и 6

в раздатке 6-1]
Определение размера выборки [см. Сессию 4 слайды 33-42]

Слайд 2014. Использование смешанных методов и триангуляции для усиления дизайна оценки [См.

RWE Глава 13]

Сочетание количественных и качественных методов позволяет получить два или более значений ключевых переменных
Оно также позволяет получить различные взгляды на интерпретацию данных
Многуровневый анализ
Индивид
Домохозяйство
Сообщество
Организация

Слайд 202
Смешанные методы могут быть использованы в
Исследованиях для планирования или изучения ситуации
Дизайне

оценки и формулировании гипотезы
Сборе данных
Анализе данных
Интерпретации и презентации данных

Слайд 203 Использование триангуляции для повышения валидности и расширения интерпретации
Независимые значения изменения переменных

влияния, полученные из анкетирования, наблюдения, фокус-групп, вторичных источников и т.д.
Значения подвергаются триангуляции
Если они совпадают, то повышается уверенность в результатах
Если они противоречивы, то требуется продолжение работы для выявления причин этого и корректировке значений

Слайд 204Пример, где триангуляция показывает сходящиеся значения изменения дохода
Анкетирование
домохозяйств
Наблюдение
Ключевые
информаторы
Household
income


has increased

Доход
домохозяйств
увеличился

Слайд 205Пример, где триангуляция показывает расходящиеся значения изменения дохода
Анкетирование
домохозяйств
Наблюдение
Ключевые
информаторы
Доход
домохозяйств


увеличился

Доход
домохозяйств
уменьшился

Слайд 206
Триангуляция намного более эффективна, когда бюджет и время позволяют провести дополнительную

работу над противоречивыми данными

Слайд 207
Пример: проект водоснабжения в Индонезии
Опрос показал, что во всех кроме одной

деревнях водой занимались женщины
Опрос не смог объяснить, почему в одном проекте женщины не были вовлечены в этот процесс. Это казалось ошибкой в отчете.
Последующее качественное исследование обнаружило, что в этой деревне занимались молочным животноводством, а доить могли только женщины
Поскольку молочное животноводство приносило больший доход, мужчины изъявили желание заниматься водой

Слайд 2085. Планирование времени и ресурсов для продолжения работы
Триангуляция зачастую выявляет на

стадии анализа противоречия в данных
Важно запланировать последующее исследование для того, чтобы разобраться в причинах противоречий, следовательно надо иметь в резерве время и деньги для последующего анализа или для повторной работе в «поле»

Слайд 209Литература
Bamberger, Rugh and Mabry. RealWorld Evaluation. 2006. Chapters 10 and 14.
Creswell,

J. et al. 2003.
Independent Evaluation Group. 2006. Conducting quality impact evaluations with budget, time and data constraints. World Bank.
Rossi, Lipsey and Freeman. 2004. Chapter 5

Похожие презентации

Компактность 298
МИЛЫЕ СЕРДЦУ МЕСТА 297
Title 303
The Contemporization of UX 243
НЕМНОГО ИСТОРИИ Рекламное агенство Дизайн Студия Галаган существует на рынке с 2007 года. В основу успешной работы агенства поставлены комплексность. 233
Сакральна культура 367

Обратная связь

Если не удалось найти и скачать презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое ThePresentation.ru?

Это сайт презентаций, докладов, проектов, шаблонов в формате PowerPoint. Мы помогаем школьникам, студентам, учителям, преподавателям хранить и обмениваться учебными материалами с другими пользователями.

Для правообладателей

Яндекс.Метрика