Слайд 1Эффективность года школьного обучения для результатов PISA 2009
Тюменева Ю.А.
Кузьмина Ю.В.
Слайд 2Проблемы и возможности
Необходимость оценки эффективности школьного обучения в отсутствие лонгитюдных исследований
Выделение
других индикаторов (помимо средних результатов) для оценки эффективности (эффекта) образования
Оценка школьной эффективности на данных «срезовых» исследований (PISA)
Ограничения в интерпретации средних результатов международных исследований (PISA в том числе) как показателей эффективности образовательной системы страны
Слайд 3Оценка школьной эффективности на примере «срезовых» данных
Направления исследований:
Абсолютный эффект школьного обучения
Факторы,
сопряженные с эффективностью обучения в школе
Определение оптимального возраста для начала школьного обучения
Сравнение эффекта обучения и эффекта возраста
Слайд 4PISA: цели, выборка
Programm For International Student Assessment
Цель: оценка того, в
какой степени в разных странах школьники, завершая обязательное среднее образование, имеют необходимые умения для решения практических социальных и жизненных задач.
Области: чтение, математика, естественные науки
Выборка: 15-летние школьники, учащиеся в разных классах (с 7-ого по 12-ый). Максимальная разница в возрасте – 1 год (без 1-го дня)
Слайд 5Ограничения в интерпретации средних результатов PISA:
состав имеет значение
Разное время начала
обучения в школе - разный по длительности учебный опыт к моменту тестирования
Разные образовательные траектории: кроме общеобразовательных есть профессиональные и пред-профессиональные школы.
Множество других факторов, связанных с показателями PISA: социально-экономический статус семьи, материальные ресурсы и т.п.
Слайд 6Ученики «старших» классов имеют выше результаты в PISA, чем их сверстники
Слайд 7Ученики профессиональных школ показывают более низкие результаты
Слайд 8Выборка по классам и видам траекторий
Слайд 9Эффект одного года обучения как показатель эффективности обучения
Показателем эффективности обучения может
выступать эффект одного года обучения для образовательных результатов.
Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым).
Однако есть серьезные проблемы с прямой интерпретацией величины «прироста» баллов за один год!
Слайд 10Почему нельзя просто сравнить результаты двух «соседних» классов
-
Слайд 11Метод оценки
Для учета возраста и времени начала школьного обучения сравнивались достижения
учеников, имеющих одинаковую вероятность быть в 10 классе исходя из даты рождения – «до или после пороговой даты» (Regression Discontinuity design, Instrumental Variable analysis) и контролируются семейные характеристики ученика.
Для учета программы обучения и эффекта селекции производился отбор 9-классников, имеющих высокую вероятность учиться в 10 классе школы соответствующей ориентации: профессиональной или общеобразовательной (Propensity Score Matching)
Слайд 13Последовательность оценки
Оцениваемые модели:
Первая Только эффект дополнительного года обучения
Вторая Эффект дополнительного года
обучения + социально-демографические показатели ученика (пол, СЭС, местоположение школы
Третья и Четвертая: Эффект дополнительного года + социально-демографические характеристики + переменные взаимодействия (пол и СЭС)
Слайд 14Оценка эффекта дополнительного года обучения
без учета разделения на программы
Слайд 15Отбор 9-классников
для оценки эффекта одного года
на общеобразовательной программе
Для
10-классников проведена оценка вероятности обучения в общеобразовательной школе исходя из пола и СЭС
Полученные коэффициенты для переменных «пол» и «СЭС» использованы для расчета вероятности продолжения обучения в общеобразовательной школе для 9-классников
Отобраны 9-классники с высокой вероятностью (выше, чем в среднем по выборке) продолжения обучения в общеобразовательной школе
Анализ проведен на выборке 9-классников с высокой вероятностью и 10-классников из общеобразовательных школ
Слайд 16Оценка эффекта дополнительного года обучения для общеобразовательной школы
Слайд 17Связь социально-демографических характеристик
и эффекта дополнительного года обучения
(без учета разделения
на программы)
Россия, Чехия – нет различий в зависимости от СЭС и пола
Словакия, Венгрия – эффект дополнительного года выше для учеников с высоким СЭС
Слайд 18Связь социально-демографических характеристик и эффекта дополнительного года обучения
(на общеобразовательной программе)
Россия
– нет различий в зависимости от СЭС и пола
Словакия – эффект дополнительного года выше для мальчиков, Венгрия – выше для девочек (для математики)
Слайд 19Связь социально-демографических характеристик и эффекта дополнительного года обучения (на общеобразовательной программе)
. Продолжение
Чехия – эффект дополнительного года обучения ниже
для учеников с высоким СЭС
Венгрия – эффект дополнительного года обучения выше для учеников с высоким СЭС (для естественных наук)
Слайд 20Основные выводы (методологические)
Средние данные PISA не могут быть основанием для
выводов об эффективности образовательной системы без учета таких факторов как СЭС, класс и программа обучения, возраст и пр.
RD design в приложении к данным PISA позволяет оценить эффект одного года обучения, не прибегая к данным лонгитюдных исследований
Оценка эффекта дополнительного года обучения может быть показателем «добавочной стоимости» образования в отношении результатов PISA
Слайд 21Основные выводы
(по российским данным)
Эффект одного года обучения для всей выборки
является незначимым.
Эффект одного года обучения для общеобразовательных школ выше, чем всей выборки в целом (без учета разделения на программы). Это может быть свидетельством того, что для профессиональных школ эффект одного года - отрицательный.
Эффект одного года обучения не зависит от пола и социально-экономического статуса учеников.
Слайд 22Основные выводы
(сравнительные)
Для всей выборки в целом эффект одного года обучения
ниже, чем в других оцениваемых странах за исключением Словакии.
Для общеобразовательной программы эффект одного года обучения ниже, чем в других оцениваемых странах.
В России эффект одного года не зависит от пола и социально-экономического статуса учеников в отличие от других стран, где эффективность обучения меняется в зависимости от социально-экономических факторов.
Слайд 23Возможные направления будущих исследований
Динамика эффективности школьного обучения с 2000 по 2012
Выделение
факторов, связанных с высоким эффектом дополнительного года обучения
Эффект раннего и позднего разделения на разные треки (до 7 класса, после 7, после 8 класса, после 9 класса, после 10 класса): для оценки эффективности в целом по стране и для профессионального образования.
Изменение эффекта в разных ступенях (между 8 и 9 классом, между 9 и 10)
Слайд 25Динамика результатов по математике PISA в некоторых странах
Слайд 26Изменение пропорций учеников из разных классов
Слайд 27Оценка эффекта дополнительного года для стран с отсутствием разделения на разные
программы