Слайд 1Система оценки качества образования: роль и место в системе образования
Семинар
«Актуальные вопросы
развития региональной системы оценки качества образования»
5-6 декабря 2013 года, г. Казань
В.А. Болотов
Научный руководитель РТЦ ИУО РАО, академик РАО, д.п.н.
И.А. Вальдман
зав. лабораторией мониторинга в образовании ИУО РАО,
директор Российского Тренингового центра ИУО РАО, к.п.н.
Слайд 2СИСТЕМЫ ОЦЕНКИ,
ИХ МЕСТО ИВЛИЯНИЕ
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 3ТЕЗАУРУС (МЕЖДУНАРОДНЫЙ ОПЫТ)
Оценивание (assessment) это процесс сбора и анализа информации о
том, что учащийся знает, понимает и умеет, он направлен на принятие обоснованного решения, что делать дальше в образовательном процессе.
Система оценки представляет собой сочетание политики, различных структур, практик и инструментов, направленных на получение и использование информации о результатах обучения.
Слайд 4ЦЕЛИ СИСТЕМЫ ОКО
1) Определение прогресса в обучении конкретного школьника.
2) Сертификация выпускников
(подтверждение завершения обучения).
3) Селекция – отбор для продолжения обучения или получения рабочего места.
4) Оценка деятельности образовательных учреждений.
5) Оценка деятельности образовательных систем.
6) Оценка деятельности национальной образовательной системы.
Слайд 5ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ
Эффективные системы оценки качества образования - это системы, которые
предоставляют информацию надлежащего качества и в необходимом количестве для того, чтобы удовлетворить информационные потребности всех заинтересованных групп и тех, кто принимает решения с целью повышения качества обучения учащихся.
Слайд 6МЕЖДУНАРОДНЫЙ ОПЫТ
Эффективная система оценки строится на сочетании разнообразных методов оценки.
Стандартизированное тестирование – всего лишь один из используемых подходов для определения качества обучения. Также широко используются экспертные оценки и социологические опросы.
Процедуры оценки ориентированы на более широкие образовательные результаты, нежели знания в рамках учебных дисциплин.
Слайд 7МЕЖДУНАРОДНЫЙ ОПЫТ
В основе оценивания результатов образования лежит как определённая норма
(когда это возможно), так и положительная динамика изменений достижений (индивидуальный прогресс, добавленная стоимость).
Анализ результатов оценки учебных достижений проводится с учётом факторов, оказывающих влияние на эти результаты.
Комбинация внутренней и внешней оценки– базовый подход для оценки деятельности школы.
Слайд 8ПРОГРАММЫ ОЦЕНКИ
УЧЕБНЫХ ДОСТИЖЕНИЙ
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 9Программы оценки образовательных достижений – необходимый набор для эффективной системы ОКО
Государственные
экзамены
Оценка
на уровне класса
Мониторинговые
исследования
Национальные
мониторинги
Вступительные
Выпускные
вопросы
тесты
наблюдения
Международные
сравнительные
исследования
учебные задания
Слайд 10ОЦЕНКА НА УРОВНЕ КЛАССА
Цель: Поддержать прогресс ученика. Помочь учителям и учащимся
в совершенствовании процесса преподавания и учения.
Как учится ученик и как лучше его обучать? Каковы сильные стороны конкретного ученика и как их можно развить? В чём ученик испытывает трудности и как они могут быть преодолены?
Слайд 11ОЦЕНКА НА УРОВНЕ КЛАССА
Оценка на уровне класса – процесс поиска и
интерпретации достоверных данных, которые ученики и их учителя используют для того, чтобы решить, где обучаемые находятся в процессе своего учения, куда им необходимо двигаться дальше и как сделать это наилучшим образом (программа Assessment for Learning, Великобритания).
Используемые методы – учебные задания, вопросы, наблюдения, собеседования с учителем, самооценка учащегося, оценка учащихся друг другом и т.п.
Оценка в целях обучения направлена на признание всех образовательных достижений учащихся.
Слайд 12ГОСУДАРСТВЕННЫЕ ЭКЗАМЕНЫ
Выпускной экзамен
Цель: Селекция/отбор для продолжения образования (например, при поступлении в
Вуз)
Кто из учащихся может продолжать обучение на следующей ступени образования?
Цель: Сертификация учащихся
Как осваивает государственный образовательный стандарт /образовательную программу конкретный учащийся?
Вступительный экзамен
Слайд 13Национальные/региональные мониторинги
Цель: Выяснить, насколько эффективно работает система образования.
Насколько эффективно учащиеся овладевают
знаниями и навыками в системе образования? Какие достижения демонстрируют представители различных групп учащихся? Какие факторы оказывают влияние на результаты обучения?
Слайд 14Национальные/региональные мониторинги
Главная задача - получение данных, позволяющих судить о том, в
какой мере достигаются цели, предусмотренные государственным стандартом.
В рамках Н/РМ изучаются факторы, негативно или позитивно влияющие на учебные достижения. Такая информация необходима для разработки политики на различных уровнях образования.
Проводится: 1 раз в 3-5 лет, по нескольким предметам, на основе выборки учащихся, используются тесты и вопросники
Слайд 15Международные сравнительные исследования
Какой уровень учебных достижений в конкретных областях знаний показывают
учащиеся страны в сравнении с учащимися других стран? Что школьные системы других стран «делают лучше»? Как изменяются результаты с течением времени?
МСИ становятся причиной пересмотра национального учебного плана, введения новых стандартов, изменения программ подготовки учителей и т.п.
Цель: Сравнение достижений своих учащихся с достижениями учащихся других стран.
Слайд 16Международные сравнительные исследования
Международная Ассоциация по оценке образовательных достижений - IEA
TIMSS (1995,
1999, 2003, 2007, 2008, 2011, 2015 годы)
PIRLS (1991, 2001, 2006, 2011 годы)
ICCS (1999, 2000, 2008 годы)
TEDS (2008 год)
ICILS (2012)
Организация экономического сотрудничества и развития – OECD
PISA (2000, 2003, 2006, 2009, 2011 годы)
TALIS (2008 год)
Слайд 17ПИРАМИДА ОБРАЗОВАТЕЛЬНОГО ОЦЕНИВАНИЯ
Как обеспечить максимальное влияние…
Углублённые
исследования
Крупномасштабное
оценивание
(мониторинги)
Государственные экзамены
Внутриклассное оценивание
(оценка на уровне класса)
Слайд 18ПРИМЕР: Система ОКО в Нидерландах
Слайд 19ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ
ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 20УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Эффективное использование результатов оценки зависит от ряда условий, которые
следует учитывать команде, координирующей организацию и проведение процедуры оценки, с целью достижения максимального влияния полученных результатов на повышение качества обучения и выработку образовательной политики.
Слайд 21УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Стратегия ОКО – Контроль или Поддержка.
Контроль
Для наложения санкций и
раздачи поощрений
Нет права на ошибку
ОУ не заинтересовано в обнаружении проблем
Поддержка
Оказание содействия ОУ и муниципалитетам в преодолении существующих проблем
Есть право на ошибку. Неудача – сигнал для оказания помощи.
ОУ заинтересовано в обнаружении проблем
Слайд 22УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
2. Поддержка заинтересованных сторон.
Крайне важно, чтобы все заинтересованные стороны пришли
к согласию относительно необходимости проведения оценки и оказывали поддержку при её проведении.
Слайд 23УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
3. Наличие надёжного инструментария.
Наличие надёжного инструментария, соответствующего необходимым профессиональным стандартам,
является главным фактором получения достоверных результатов и обеспечения доверия к ним со стороны общественности и профессионального сообщества.
Слайд 24ОСНОВНЫЕ ЭТАПЫ РАЗРАБОТКИ ТЕСТА
Определение цели тестирования и разработка спецификации теста.
Разработка заданий
для теста.
Экспертиза и доработка заданий.
Апробация и доработка заданий.
Составление теста.
Проведение апробации теста и обработка полученных результатов.
Доработка теста и подготовка окончательного варианта.
Слайд 25РЕСУРСЫ: ПРИЗНАННЫЕ ПУБЛИКАЦИИ
Серия Всемирного банка «Национальная оценка учебных достижений»
Книга 1. Оценка
образовательных достижений на национальном уровне
Книга 2. Разработка тестов и анкет для национальной оценки учебных достижений.
Книга 3. Проведение национальной оценки учебных достижений.
Книга 4. Анализ данных национальной оценки учебных достижений.
Книга 5. Сообщение и использование результатов национальной оценки учебных достижений.
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов: учебник. – М.: Логос, 2010.
Слайд 26ПРИМЕР ИЗ ОБЛАСТИ РИСОВАНИЯ
1 %
100 %
2 %
10 %
Насколько точно проводится измерение?
Что
не поддается измерению?
Сколько информации мы теряем, представляя сложную картину в черно-белом цвете?
Слайд 27УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
4. Наличие надёжной стандартизированной процедуры проведения оценки.
Стандартизированная процедура должна обеспечивать
информационную безопасность проведения оценки, предотвращать возможные нарушения и фальсификацию данных, обеспечивать сопоставимость результатов для всех общеобразовательных учреждений, чьи учащиеся принимали участие в оценке.
Слайд 28УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
5. Ориентация на информационные потребности основных групп пользователей результатов оценки.
Соответствующая
информация должна достигать представителей всех заинтересованных сторон (разнообразные информационные продукты).
Информацию следует представлять в форме, понятной потенциальным пользователям (интерпретация результатов).
Слайд 29Представление информации
Информационные продукты
Региональный отчёт по итогам оценки.
Специализированный отчёт (по предмету, группе
учащихся).
Аналитическая записка для министра.
Информационный буклет для родителей.
Пресс-релиз.
Распространение информации
Печатные отчёты.
Материалы в Интернет.
Статьи в СМИ.
Интервью.
Пресс-конференции, брифинги, конференции и семинары.
Слайд 30SIMCE (Чили). Информационные продукты
Руководство по проведению оценки (с 1988)
Школьный отчёт (с
1988)
Национальный отчёт (с 2006)
Приложение к газете (с 1995)
Отчёт для родителей (с 2005)
Он-лайн банк заданий (с 2007)
Комплект материалов для прессы (с 2006)
Файлы данных (с 2005)
Инструментарий анализа данных (с 2007)
Геоинформационная система (с 2010)
Вебсайт www.simce.cl (since 2001)
Слайд 31SIMCE. Распространение информации: Механизмы, Цели, Целевые группы, Содержание
Слайд 32УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
6. Подготовка ясного итогового отчёта.
Итоговый отчёт (на уровне федерации,
региона, муниципалитета, общеобразовательного учреждения) является наиболее важным и наиболее полезным из всех информационных материалов, которые могут быть подготовлены на основе данных процедуры оценки.
Слайд 33УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
7. Учёт дополнительных данных при принятии управленческих решений по итогам
оценки.
Крайне важно, чтобы при принятии решений «с высокими ставками», такими как государственные экзамены, аккредитация школ, аттестация педагогов и др., выводы о качестве образования делались не только на основе результатов процедур оценки качества образования.
Слайд 34УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
7. Учёт дополнительных данных при принятии управленческих решений по итогам
оценки.
Невозможно принимать «сложные» решения на основании данных одного вида
«Простые» решения
Итоговая государственная аттестация по предмету.
Как учителю и школе организовать работу «над ошибками»
Более «сложные» решения
Выбор профиля обучения в старшей школе
«Сложные» решения
Оценка качества работы учителя
Оценка эффективности работы школы
Слайд 35МАТРИЦА ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Слайд 36
Общероссийская система оценки качества образовани
WWW.RTC-EDU.RU
rtc.imerae@gmail.com
Слайд 37Базисные вопросы ОСОКО
на примере школьного образования
1) Какие образовательные результаты демонстрируют школьники? Какова
их динамика?
2) Какой вклад в эти результаты вносит школа?
3) Какие факторы определяют качество школьного образования?
Какие оценочные процедуры необходимо использовать?
Каким образом следует использовать результаты оценочных процедур?
Слайд 38РАЗВИТИЕ СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
Закон «Об образовании в Российской Федерации»
Федеральная целевая
программа развития образования
Государственная программа
«Развитие образования» на 2013-2020 гг.
Система ОКО в ключевых правительственных документах:
Слайд 39Процедуры оценки образовательных достижений в РФ
+
Слайд 40ОСОКО завтра
ГОСУДАРСТВЕННАЯ ПРОГРАММА РОССИЙСКОЙ ФЕДЕРАЦИИ
«РАЗВИТИЕ ОБРАЗОВАНИЯ» на 2013-2020 годы
В общем
образовании планируются следующие мероприятия:
Подготовка кадров в области оценки качества образования.
Разработка и экспертиза контрольно-измерительных материалов.
Участие в международных исследованиях качества образования.
Проведение федеральных и региональных мониторингов качества образования и социализации.
Независимые оценки с участием общества (общественные рейтинги, соц. навигаторы, учёт мнения потребителей, привлечение негосударственных организаций и независимых экспертов).
Слайд 41ОСОКО завтра. Оценка образовательных достижений
+
Слайд 42ОСОКО завтра. Процедуры ОКО: экзамены и мониторинги
ЦМОД – Централизованный мониторинг обр.
достижений в соответствии с ФГОС
М1 – мониторинг готовности (9 кл.), М2 – мониторинг социализации (16-летние)
1
2
3
4
5
6
7
8
9
10
11
Готовность
к школе
ЕГЭ
ГИА
ЦМОД
PIRLS
TIMSS
TIMSS
ICCS
ICILS
PISA
М2
М1
Слайд 43Штрихи к «идеальному» портрету федерального мониторинга образовательных достижений школьников
Инструментарий. Стандартизированные измерительные
материалы и анкеты для сбора контекстных данных.
Охват. Репрезентативные федеральная и региональные выборки.
Участники. Учащиеся 4, 6, 8 классов.
Периодичность. 1 раз в 3-5 лет.
Содержание оценки. личностные, метапредметные, предметные результаты (по математике, русскому языку постоянно и ряду других предметов периодически).
Использование результатов. Для оценки результатов деятельности образовательных систем и принятия управленческих решений на разных уровнях системы образования. Без последствий для школ и учителей.
Слайд 44Ближайшая тактическая задача по введению мониторингов качества образования в России
Необходимо обеспечить
переход от конкурсных и проектных механизмов (ФЦПРО) в организации оценочных процедур к их стабильному проведению уполномоченными профессиональным организациями.
Конкурсные механизмы финансирования позволили разработать и апробировать некоторые образцы инструментария мониторинга.
Для создания системы федеральных мониторингов и ведения их в практику на постоянной основе необходимо вводить работы по проведению конкретных мониторингов в функционал конкретных организаций.
Слайд 45Оценка деятельности общеобразовательных организаций
1. Независимая система оценки качества работы организаций, оказывающих социальные
услуги.
Постановление Правительства РФ от 30.03.2013 №286
Приказ Минтруда РФ от 24.05.2013 №217
Самообследование (самооценка) образовательной организации.
Приказ Министерства образования и науки РФ от 14 июня 2013 г. № 462
Слайд 46Ваши вопросы
WWW.RTC-EDU.RU
rtc.imerae@gmail.com