Слайд 1Использование результатов программ оценки: информирование различных целевых групп
И.А. Вальдман
директор Российского Тренингового
центра ИУО РАО
Учебный курс
«Система оценки качества и образовательная политика: ключевые проблемы и направления развития»
27-30 июня 2012 года, Кыргызская Республика
СЕССИЯ 8
Слайд 2КЛЮЧЕВОЙ ВОПРОС
Каким образом обеспечить максимальное использование результатов оценки учебных достижений всеми
заинтересованными сторонами?
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 3ПРИЗНАНИЕ РЕЗУЛЬТАТОВ ОЦЕНКИ
Умение проводить взвешенную информационную политику, интерпретировать результаты оценки качества
образования и доводить их до представителей заинтересованных сторон является неотъемлемой частью любой программы оценки учебных достижений.
От этого зависит её успех или неудача.
Слайд 4
Техническая квалификация
групп пользователей информации
опытные пользователи высокой квалификации, которые способны проводить начальный
многоуровневый и многовариативный статистический анализ;
пользователи средней квалификации, которые способны проводить начальный сравнительный и описательный анализ;
пользователи с базовой квалификацией, которые обладают начальными знаниями в области анализа результатов и используют данные из опубликованных отчётов для создания новых информационных продуктов;
обычные пользователи, не имеющие специальной подготовки, которые используют выводы и заключения, извлечённые из опубликованных источников;
неподготовленные пользователи, которые используют только стилизованные факты, извлечённые из опубликованных источников.
А
С
В
Слайд 5Пользователи и их техническая компетентность
Граждане
Ученики
Родители
Учителя
Администраторы и
управленцы
Государственные деятели
Профессиональные союзы
Общественные лидеры
Представители системы подготовки
и ПК учителей
СМИ
Исследователи
Слайд 6СТОРОННИКИ И ОППОНЕНТЫ
Категории пользователей по предпочениям:
являются сторонниками (твёрдо уверены в пользе
данных оценки или верят в полезность данных оценки);
держат нейтралитет или пока сомневаются относительно пользы данных оценки;
находятся в активной оппозиции и не верят в пользу данных оценки.
Слайд 7В ЧЁМ СТРАТЕГИЯ?
Исследовательская команда, проводящая оценку, должна преследовать следующие цели:
сохранять доверие
тех пользователей, кто изначально поддерживает проведение программы оценки;
завоёвывать поддержку дополнительных пользователей, кто может занимать нейтральную позицию или быть в умеренной оппозиции;
обращаться к интересам явных оппонентов, используя сбалансированные и нейтральные способы во всех публикациях и анализах, связанных с оценкой.
Слайд 8ИНФОРМАЦИОННЫЕ ПРОДУКТЫ
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 9Информационные активы
характеристика теста (кодификатор, спецификация и др.);
банк заданий;
базы
данных с результатами оценки;
характеристика выборки участников тестирования;
данные о взаимосвязи достижений школьников и контекстных характеристик;
примеры заданий и описание основных ошибок для отдельных заданий;
техническая документация и фактические материалы (руководства, протоколы проведения и т.п.).
Слайд 10Информационные продукты, которые могут готовиться на основе характеристики теста
Характеристика теста.
Представляет собой
научное основание для проведения оценки и, как правило, включает ключевые аспекты дизайна теста: цели теста; содержание материала, отобранного для оценки; факторы, определяющие сложность теста; диапазон трудности, который будет охвачен тестом; время выполнения теста; сочетание типов заданий, которые будут включены в тест; система оценки и др.
Соответствующие информационные продукты
Печатное/электронное издание с описанием характеристики теста, которое делается публично доступным до выпуска результатов оценки.
Ранняя публикация отчёта направлена на предотвращение критики, связанной с прозрачностью программы оценки.
Презентации. Везде, где только это возможно, должны быть сделаны презентации для ключевых групп с целью демонстрации открытости процесса разработки оценки и её научной полноты.
Рецензии. Необходимо позаботиться о получении экспертных рецензий на спецификацию. Авторитетные мнения могут помочь противостоять любой отрицательной реакции на результаты оценки после публикации данных.
Слайд 11ПРИМЕР: информационные продукты
Банк заданий.
Банк - собрание заданий, разбитых на категории в
соответствии с их характеристиками (например, тип задания, тема, оцениваемый навык, уровень сложности и т.д.). Где только это возможно, национальные/региональные исследовательские команды должны привлекать учителей для разработки заданий теста. В результате среди заинтересованных субъектов появятся группы хорошо осведомлённых и поддерживающих оценку людей, что будет способствовать её успеху.
Соответствующие информационные продукты
Образцы заданий. Образцы заданий должны быть отобраны и сделаны доступными вместе со спецификацией всем заинтересованным не техническим пользователям, чтобы они поняли истинную суть задач оценки.
Задания, которые не входят в состав теста, должны быть предоставлены исследователям для изучения или для использования в их собственных научно-исследовательских работах при условии, что они будут держать эту информацию в секрете. Такие меры увеличат число исследователей, которые примут участие в программе оценки и, скорее всего, смогут её публично поддержать.
Слайд 12ПРИМЕР: NAEP (США)
Результаты NAEP публикуются в национальном докладе
(The Nation's Report Card),
представляющем широкой общественности информацию об академических достижениях американских школьников – http://nationsreportcard.gov/
NAEP – национальная оценка прогресса образования http://nces.ed.gov/nationsreportcard/
Слайд 15ПРИМЕР: NAPLAN (Австралия)
National Assessment Program – Literacy and Numeracy (NAPLAN) –
национальная программа оценки учебных достижений для учащихся 3, 5, 7 и 9 классов.
Проводится ежегодно и отслеживает прогресс каждого учащегося.
NAPLAN проверяет знание и навыки по 4 областям – чтение, письмо, правила языка (грамматика, пунктуация, орфография) и математические навыки.
www.nap.edu.au
Слайд 16ПРИМЕР: NAPLAN (Австралия)
Как интерпретировать результаты
Слайд 17ПРИМЕР: NAPLAN (Австралия)
Индивидуальный отчёт
Видео – представление результатов
Слайд 20Основные информационные продукты
Национальный/Региональный отчёт по итогам оценки.
Специализированный отчёт (по предмету, группе
учащихся).
Аналитическая записка для министра.
Информационный буклет для родителей.
Пресс-релиз.
Слайд 21ОТЧЁТ ПО ШКОЛЕ
Россия. Мониторинг уч. достижений в нач. школе
WWW.RTC-EDU.RU
Отчёт по школе
готовиться для обсуждения успехов и проблем, выявленных в ходе оценки качества образования.
Служит информационной основой для совершенствования учебно-методической работы и оказания помощи школьникам, нуждающимся в поддержке.
Готовится школьной командой, используется для нужд школы и не представляется вышестоящим органам.
Данные отчёта могут быть представлены в публичном докладе школы и использованы при проведении самооценки собственной деятельности.
Объём – 5-7 страниц (без учёта приложений)
Слайд 22ИНФОРМАЦИОННЫЙ БУКЛЕТ ДЛЯ РОДИТЕЛЕЙ
Россия. Мониторинг уч. достижений в нач. школе
WWW.RTC-EDU.RU
Информационный бюллетень
– короткий информационный продукт, представляющий общую информацию о программе оценки и ориентированный на целевую группу – родители учащихся начальной школы.
Даёт ответы на наиболее важные для родителей вопросы: Что оценивается? С какой целью? Что даст ребёнку участие в данном тестировании? Требуется ли специальная подготовка к тесту? Участие добровольное или обязательное? Могут ли быть негативные последствия для ребёнка и школы?
Кто готовит? Региональные специалисты, ответственные за проведение программы оценки. Желательно привлечь журналистов для работы над текстом.
Объём – 1-2 страницы
Слайд 23ПРЕСС-РЕЛИЗ
Россия. Мониторинг уч. достижений в нач. школе
WWW.RTC-EDU.RU
Пресс-релиз – сообщение для прессы,
подготовленное для журналистов и редакторов СМИ и рассказывающее о значимом событии, мероприятии или ином информационном поводе.
Выпускается под информационный повод (появились результаты оценки).
Объём не более двух страниц.
Ответственные за подготовку – Пресс-служба ОУО и РЦОКО.
Рекомендации и примеры: http://www.rtc-edu.ru/trainings/webinar/145
Главная задача пресс-релиза - сообщить новость таким образом, чтобы она была опубликована в СМИ и/или Internet и заинтересовала журналиста и побудила его обратиться за комментариями и дополнительной информацией.
Слайд 24СТРАТЕГИЯ РАСПРОСТРАНЕНИЯ ИНФОРМАЦИИ
Телевидение.
Телевидение из всех СМИ имеет самый большой охват и самое сильное
влияние на массовую аудиторию.
Но используемые при телевизионном вещании информационные сообщения, как правило, гораздо короче, чем в продуктах на печатной основе. Информация может быть наглядно запечатлена в телевизионных продуктах, но большинство сообщений должны быть тщательно сокращены до небольшого размера. Множество важных нюансов зачастую оказываются потерянными при этом.
Первичные каналы распространения информации:
печатные отчёты
электронные отчёты (в Интернет, на CD или картах памяти);
радио;
телевидение;
мультимедийные продукты.
Слайд 25СТРАТЕГИЯ РАСПРОСТРАНЕИЯ ИНФОРМАЦИИ
Каналы вторичного распространения информации:
Реклама;
Внутренние и внешние брифинги;
Пресс-релизы;
Интервью с журналистами;
Пресс-конференции, брифинги, конференции и семинары;
Публицистические статьи;
Новостные письма;
Статьи в информационные бюллетени.
Слайд 26ПРИМЕР: Национальная программа оценки качества образования SIMCE
Программа действует с 1988 года
Используются
стандартизированные тесты по математике, испанскому языку и естественным наукам.
Базируется на национальном учебном плане.
Целевые группы: учащиеся 4, 8 и 10 классов.
Участвуют все учащиеся и школы.
Закреплена в законе об образовании.
Управляется Министерством образования.
Слайд 27ПРИМЕР: SIMCE (Чили). Информационные продукты
Руководство по проведению оценки (с 1988)
Школьный отчёт
(с 1988)
Национальный отчёт (с 2006)
Приложение к газете (с 1995)
Отчёт для родителей (с 2005)
Он-лайн банк заданий (с 2007)
Комплект материалов для прессы (с 2006)
Файлы данных (с 2005)
Инструментарий анализа данных (с 2007)
Гео-информационная система (с 2010)
Вебсайт www.simce.cl (since 2001)
Слайд 28ПРИМЕР: SIMCE (Чили). Гео-информ. система
Слайд 29ПРИМЕР: SIMCE (Чили). Диссеминационная стратегия: Механизмы, Цели, Целевые группы, Содержание
Слайд 30КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ
Цель коммуникационной стратегии состоит в тщательном управлении первым впечатлением пользователей
относительно того, что особенного конкретный информационный продукт может им предложить.
Слайд 31КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ
Любая коммуникационная стратегия должна учитывать следующие аспекты:
1. Достижение соглашения по
количеству и содержанию ключевых сообщений о результатах оценки;
2. Предвидение вопросов, которые будут задаваться представителями СМИ и заинтересованных сторон, а также подготовка стандартных ответов для них;
3. Предвидение того, как журналисты и интересующиеся группы будут пытаться искажать ключевые сообщения;
4. Разработка механизмов наблюдения за реакцией заинтересованных субъектов о результатах исследования и реагирования на случаи неправильного использования данных в реальном времени.
Слайд 32КОМММУНИКАЦИОННАЯ СТРАТЕГИЯ
Если процесс обмена информацией спроектирован и управляется неумело, то тем
самым вы предоставляете пользователям свободу выносить свои собственные суждения по поводу качества и полезности для них продуктов и услуг.
А это крах вашей стратегии!
Слайд 33Резюме
Обеспечение максимального влияния результатов оценки на образовательную политику зависит от трёх
ключевых составляющих «джентльменского набора», которым должна обладать квалифицированная исследовательская команда.
Знание пользователей результатов программ оценки и их информационных потребностей.
Наличие информационных продуктов и услуг, способных удовлетворить существующие информационные потребности.
Понимание, какими способами следует доводить информацию до пользователей.
Слайд 34СПАСИБО ЗА ВНИМАНИЕ!
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
iavaldman@gmail.com