Семинар Методологические основы оценки качества образования презентация

качества общего образования (на примере исследований TIMSS, PIRLS, PISA)

Г.С.Ковалева, ИСМО РАО

основы международных исследований качества общего образования
3. Преимущества международных сравнительных исследований
4. Направления представления и анализа данных международных исследований
5. Примеры углубленного анализа результатов международных исследований

– IEA

TIMSS (1995, 1999, 2003, 2007, 2011 годы)
PIRLS (1991, 2001, 2006, 2011 годы)
ICCS (1999, 2000, 2008 годы)
TEDS (2008 год)

Организация экономического сотрудничества и развития – OECD

PISA (2000, 2003, 2006, 2009 годы)

и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы)
Оценка качества чтения и понимания текста учащимися начальной школы (4 класс)
Выявление динамики в результатах (TIMSS: 1995, 1999, 2003, 2007; PIRLS: 2001, 2006)
Выявление факторов, позволяющих объяснить различия в результатах

Исследование PISA
Оценка функциональной грамотности 15-летних учащихся в области математики, естествознания и чтения
Оценка отношений и учебных стратегий
Оценка качества и доступности образования
Выявление динамики результатов (2000, 2003, 2006, 2009)
Выявление факторов, позволяющих объяснить различия в результатах

исследования.

Определение типа мониторингового исследования (срезовое, лонгитьюдное или их сочетание).

Определение генеральной совокупности обследуемых учащихся и размера выборки.

Определение оснований для стратификации выборки учащихся и процедуры формирования выборки.

Определение показателей, для сбора информации по которым разрабатывается инструментарий.

Определение области проверяемого содержания и видов учебно-познавательной деятельности.

Обоснование математических моделей и шкал, которые будут использоваться при разработке инструментария и обработке результатов исследования.

10. Описание процедуры предварительной отработки инструментария и его экспериментальной проверки.

исследования.

12. Определение факторов, которые будут анализироваться в исследовании в соответствии с его задачами.

13. Формулирование гипотез о взаимосвязи между факторами и результатами тестирования учащихся. Анализ, на сколько инструментарий позволяет получить данные по всем отобранным факторам.

14. Отбор и обоснование используемых статистических методов анализа результатов исследования.

15. Форма и регламенты представления результатов исследования для обсуждения и последующего их распространения.

«Методологические преимущества крупно-масштабных кросс-национальных исследований в области образования (2000 г.):

Высокое научное и техническое качество проводимых исследований и вследствие этого высокое доверие к их результатам. Страны используют результаты международных исследований для реформирования системы образования.
Во многих странах больше доверия к международным исследованиям, чем к национальным
3. Результаты исследований помогают понять систему образования в стране в сравнении с другими странами
Международные исследования способствуют обеспечению качества проведения национальных исследований в области образования
5. В рамках международных исследований наиболее эффективно отрабатываются новые методики и технологии в области оценки качества образования

используемого инструментария.

2. Необходимость и достаточность (система показателей должна быть построена таким образом, чтобы они не дублировали друг друга и в целом обеспечивали получение полной информации по всем блокам системы оценки образовательных достижений и факторов, определяющих полученные результаты).

3. Оперативность (используемые технологии проведения мониторинга должны обеспечивать достаточно быстрый сбор и обработку информации в целях принятия управленческих решений).

быть экономически обоснован по используемым ресурсам).

5. Универсальность (система показателей и инструментарий должны быть инвариантными относительно социально-экономических и других особенностей субъектов РФ в целях технологического обеспечения сравнительного анализа мониторинговой информации на федеральном уровне).

6. Надежность интерпретации значений показателей (информация, получение которой обеспечивают показатели и разработанный инструментарий, не должна допускать возможности противоречивого ее толкования для эффективного принятия стратегических и оперативных управленческих решений).

проведения исследования до начала проведения мониторинга в образовательных учреждениях.

8. Сопоставимость основных показателей мониторинга образовательных достижений, обеспечивающая сопоставимость и сводимость получаемой на его основе статистической информации.

9. Цикличность исследований (обеспечение возможности оценки динамики изменений, происходящих в системе образования, с целью создания системы стратегического и оперативного планирования, системы прогнозирования развития отрасли).

контроль за адаптацией инструментария – NAF, QAS, и др.
Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования.
Контроль за качеством на национальной уровне – Национальные координаторы организуют исследование в стране и контролируют качество большей части исследования.
Мониторинг качества на международном уровне – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

шкале
Многоаспектное сравнение стран
Средний балл страны по отдельным группам показателей (гендерные различия, разделы учебного предмета, виды учебной деятельности и др.)
Распределение учащихся страны по уровням учебных достижений
Тенденции изменения образования в стране
Результаты выполнения отдельных заданий и ответов на анкеты и т.д.

(8 класс)

- Средний процент выполнения статистически значимо выше среднего среднего международного процента выполнения

i - Средний процент выполнения статистически значимо ниже среднего среднего международного процента выполнения

учащихся

the class. High performing learners in PISA 2006
Отдельные страны
Например, Германия: What makes the difference
Отдельные специалисты
Например, Margaret Wu: A comparison of PISA and TIMSS achievement results in Mathematics and Science
Анализ результатов отдельных стран
Исследовательские группы в странах:
Эффективные школы (РАО)
Углубленный анализ результатов международного сравнительного исследования PIRLS-2006 (ИРО ГУВШЭ)

performing learners in PISA 2006

Направления анализа:
- характеристика подготовки учащихся, продемонстрировавших 5 и 6 уровни естественнонаучной грамотности;
демографические и социальные характеристики
особенности школ
учебный процесс,
Интерес к естествознанию, мотивация к обучению, самооценка, планы на будущее

международную группу лидеров

and TIMSS achievement results in Mathematics and Science

Основные результаты
Основные факторы, статистически объясняющие различия в результатах стран:
содержание теста: содержание теста PISA дает некоторое преимущество западным странам (например, по математике значительно больше заданий на работу с данными, чем по алгебре). В исследовании PISA западные страны имеют более высокие результаты, чем прогнозируемые. Восточно-европейские и азиатские страны имеют более низкие результаты, чем прогнозируемые.
число лет обучения в школе на момент проведения исследования PISA: в восточно-европейских и азиатских странах этот показатель ниже, чем в западных странах

Изменения образовательных результатов «легко замаскировать», изменяя содержание теста и методы формирования выборки

математики

вопрос M136Q02

Задание «Скорость гоночной машины», вопрос M159Q03

азиатские страны

Результаты кластерного анализа данных стран по математике (TIMSS-2003)

1995 1998 1999 2000 2001 2003 2006 2009 2010 2020

2001 2003 2009

1998 2004 2006 2010

1995 1999 2003 2007

2000 2003 2006 2009

2001 2006

PIRLS

PISA

TIMSS

Оценке Учебных Достижений - IEA (International Association for the Evaluation of Educational Achievement): http://timss.bc.edu/http://timss.bc.edu/ http://pirls.bc.edu/
ссылка на международную базу данных результатов PIRLS-2006
http://pirls.bc.edu/TIMSS2007/idb_ug.html
ссылка на международную базу данных результатов TIMSS-2007
http://timss.bc.edu/pirls2006/user_guide.html

Исследование PISA
сайт Организации Экономического Сотрудничества и Развития - OECD (Organisation for Economic Co-operation and Development): www.oecd.org
ссылки на международную базу данных результатов
PISA-2000: http://pisa2000.acer.edu.au/index.php
PISA-2003: http://pisa2003.acer.edu.au/index.php
PISA-2006: http://pisa2006.acer.edu.au/

Исследовательский институт IEA-ETS Research Institute (IERI).
Направление деятельности:
совершенствование методологии исследований;
подготовка специалистов;
распространение результатов.
ссылка на сайт: http://www.ierinstitute.org

образования Института содержания и методов обучения РАО

Тел./факс: (499)-246-24-21 e-mail: centeroko@mail.ru сайт: www.centeroko.ru