41.Системы оценивания результатов тестирования.
42.Методы экспертной оценки качества тестовых материалов.
Тема 8. Организационно-технологическое обеспечение процедур оценивания
43.Понятие о процедуре оценивания. Виды процедур оценивании.
Обеспечение качества процедуры оценивания - это планируемые и систематически осуществляемые виды деятельности, отвечающие основным принципам организации процедуры и необходимые для создания уверенности в том, что результаты процедуры будут соответствовать поставленным целям оценивания.
Качество образования – основная характеристика системы образования, которая определяет соответствие образовательных результатов обучающихся и контекстных условий получения образования ожиданиям как самих обучающихся, их родителей, так и общества в целом.
Тогда процедуры, предназначенные для оценки качества образования, должны обеспечить качественный сбор информации, необходимой для системы образования.
Таким образом, система оценивания эффективна , если наряду с такими важными компонентами, как надежный инструментарий, качественный анализ и представление результатов, вовлечение политиков, профессионального сообщества и поддержка всех заинтересованных сторон, реализована качественная процедура проведения оценивания.
Все процедуры оценки качества образования, по отношению к участникам оценивания , делятся на:
«Безответственные» – не влияющие на аттестацию и служащие для обеспечения «обратной связи» для управленцев в образовании (международные, национальные и региональные мониторинги);
«Ответственные»– влияющие на дальнейшую учебную или жизненную траекторию участника и служащая для аттестации, отбора (рейтингования) (государственные экзамены).
В первом случае «лукавая» система сбора информации приведет к получению недостоверныхданных, принятию неверных решений, а во втором случае, кроме указанных последствий, ещё и может негативно повлиять на судьбу конкретных участников. Первую группу процедур оценки качества образования можно условно считать процедурами с «низкими» ставками, вторую группу процедур – с «высокими» ставками.
К программам оценки с «высокими ставками» относятся процедуры государственных национальных экзаменов, ввиду их особой значимости для принятия и реализации жизненно важных решений по продолжению образования и затрагивания интересов миллионов граждан страны, прежде всего учеников и их родителей. К программам оценки с «низкими ставками» относятся процедуры крупномасштабного оценивания (мониторинговые и диагностические исследования), а так же внутриклассное оценивание.
Вышеперечисленное деление процедур оценки качества образования напрямую влияет на определение схемы организационно-технологического обеспечения проведения процедур оценки.
Процедуры, как государственных экзаменов, так и различных по целям и задачам мониторингов призваны предоставить некоторый продукт – информацию . Необходимы механизмы, позволяющие упорядочивать информационные потоки, собирать, структурировать, оформлять базы данных и управлять ими, обрабатывать информацию и предоставлять её в соответствии с требованиями пользователей. Кроме того, требуется выстроенная и четко регламентированная процедура сбора данных экзамена (или мониторинга). Совокупность различных процессов и операций с набором необходимых механизмов, а так же их описание в инструкциях и регламентах для пользователей и есть технология оценочных процедур.
Используемая технология должна :
существенно сокращать время сбора информации.
Используемые механизмы сбора информации, по возможности, должны быть автоматизированы, адаптированы под территориальные особенности, должны соответствовать принципу «точно в срок» (англ. Метод «Just-in-Time»);
предоставлять равные возможности участникам оценки.
Процедура должна быть унифицирована, правила участия в ней должны быть одинаковы для всех участников, не зависимо от статуса образовательного учреждения испытуемых и их местонахождения;
должна быть понятна для исполнителей (организаторов) и испытуемых.
Действия всех участников процесса должны быть четко регламентированы, описаны в соответствующих правилах; участники процесса (как организаторы, так и испытуемые) должны быть заблаговременно проинформированы об этапах процедуры, о правилах её проведения;
должна быть отказоустойчива.
Устойчивость технологии должна быть проверена по количеству участников процедуры, по осознанию «ставок» процедуры и возможности влияния на неё, по технической надежности и стабильности в условиях непреднамеренных ошибочных действий исполнителей, по учету особенностей самой процедуры в соответствии с её целями и задачами, по учету территориальных особенностей (наличие труднодоступных территорий и др. аспекты), временных особенностей (часовые пояса).
В связи с общими требованиями к технологии процедур оценки качества образования, связанными с целями и задачами этих процедур, при формировании различных информационных потоков при реализации любой массовой оценочной процедуры отмечается определенная направленность на унификацию процедур и используемых механизмов по всем оцениваемым объектам.
Следует принимать во внимание, что, в случае, если результаты одной из процедур оценки качества образования планируется в дальнейшем интерпретировать в сопоставлении с результатами какой-либо другой процедуры, то это возможно только в случае применения надежных унифицированных процедур и калиброванных (проверенных, отобранных) измерителей.
При проектирован ии технологии и определения организационной схемы проведения процедуры оценки необходимо сначала обдумать ответы на ключевые вопросы, такие как:
Каковы цели и задачи проектируемой процедуры?
Что является конечным продуктом оценки и как его планируется использовать?
Какие могут быть издержки (трудовые, финансовые, социальные и др.) и насколько они оправданы эффектом от использования результатов оценки?
Какие структуры и элементы должны быть сформированы или имеются для обеспечения этих процедур?
Какие структуры несут ответственность за формирование и поддержку соответствующих целям процедуры процессов?
Какие меры информационной безопасности необходимо принять для обеспечения эффективности проведения процедуры оценивания?
Ответы на эти вопросы дадут возможность оценить имеющиеся возможности для реализации задач, а так же аргументировать выбор того или иного механизма в технологическом обеспечении процедуры. Под технологичностью можно понимать такую организацию всех необходимых работ, которая позволит провести большую часть процессов с помощь специальных технических средств, очень быстро, экономично и объективно, обеспечив испытуемым равные условия участия в процедуре оценивания.
По достоверности:
в нашей педагогической практике обычно используются “традиционные методы оценки”: наблюдение, беседа, изучение документации и продуктов деятельности, педагогический консилиум, экспертная оценка. Перечисленные методы, лежащие в основе “традиционного экзамена”, можно отнести к субъективным , т.к. они базируются на личных оценках одного или нескольких человек. Эти методы позволяют гибко подходить к оценке достижений ученика, его развития в ходе учебно-воспитательного процесса, учитывать влияние на них различных факторов, но оценка с помощью данных методов чревата именно субъективизмом.
При этом субъективные методы не всегда эффективны с точки.зрения затрат времени и ресурсов, так как зачастую для точного определения действительных знаний учащегося и его умений по их практическому применению большинству педагогов требуется немало душевных сил и много месяцев “проб и ошибок”.
Однако современной наукой разработаны и объективные методы оценки развития личности. Их главное достоинство - в обеспечении именно объективности оценки. Игнорирование этих методов, ограничение оценивания методами субъективными не дает достаточно достоверной картины состояния развития учащихся, так как результаты, получаемые в этом случае, основываются лишь на личных оценках педагогов, следовательно, неизбежно носят печать субъективности. Изменить такое положение может помочь правильное использование объективных методов оценки. Суть этих методов сводится к тому, что всем учащимся предлагаются схожие наборы заданий (тестируемые находятся в равных условиях), при этом задания научно обоснованы и апробированы в отношении их способности точно оценивать соответствующие параметры.
В случае, когда методики оценки (например, тесты) тщательно научно отработаны - до такой степени, что можно установить точность оценивания в процентах (эта точность должна быть, в зависимости от преследуемых задач оценивания, не менее 70-90 %), говорят об “ измерении” свойств психики.
1. Субъективные методы: наблюдение, экспертная оценка, беседа, анализ документации и продуктов деятельности (личных дел, медкарт, дневников, сочинений и т.п.), анкетирование. Их объективность несколько повышается при четкой, целенаправленной систематической работе, объективной фиксации информации в протоколе обследования.
2. Объективные методы (тесты в широком смысле).
В своем профессиональном значении, используемом специалистами, занимающимися разработкой методик оценки личности и человеческой деятельности, тест - это средство объективной и количественно точной оценки конкретных параметров (личности, человеческой деятельности и т.п.), состоящее из ряда компонентов.
Компонентами теста в таком его понимании являются:
1) инструкция по выполнению теста оцениваемым лицом;
2) стимульный материал - в широком смысле (вопросы, утверждения, задания, которые оцениваемому лицу предлагается выполнить);
3) “ключи” обработки результатов оценки (алгоритм подсчета результата по каждому параметру оценки в зависимости от определенных ответов или определенного выполнения заданий оцениваемым лицом);
4) схема интерпретации результатов оценки (алгоритм анализа обработанных результатов в соответствии с их социальной нормой, “весовым” коэффициентом каждого параметра, формированием необходимых практических выводов и рекомендаций);
5) норма оценки для каждого параметра (устанавливается с помощью специальных методов анализа соответствующих экспериментальных данных);
6)“весовой” коэффициент для каждого параметра (значимость параметра в оцениваемой деятельности в целом);
7) данные стандартизации (специальные – психометрические – характеристики качества теста, установленные по итогам проверки теста, основными из таких характеристик являются валидность и надежность).
Обобщая требования к эффективным методическим средствам объективной оценки образовательной деятельности целостного образовательного учреждения, в рамках настоящего исследования удалось определить следующие основные требования к методическому обеспечению внешней оценки качества деятельности УОО .
К основным принципам разработки и использования измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, целесообразно, по данным проведенного нами анализа соответствующих источников, отнести следующие принципы:
– необходимость учета общеупотребимых сегодня в науке характеристик качества “измерителей”, основные из которых называются “валидностью” и “надежностью”. Валидность “измерителя” – это его способность оценивать именно то свойство психики, для которого он используется. Надежность – это способность “измерителя” количественно точно оценивать соответствующее свойство;
– необходимость учета того, что каждый тест (или другой контрольный измерительный материал) проверяется на определенной группе людей (“выборке”), следовательно, ориентирован на ее “аналоги”.
– необходимость комплексного подхода к оценке результата “измерения”, поскольку данный результат – следствие взаимодействия среды (школы, семьи и других общественных институтов) с характером, знаниями, способностями, мотивациями и состоянием учащегося в данный конкретный момент.
К основным правилам, которые необходимо соблюдать при разработке и использовании измерительных материалов как в образовании в целом, так и в области независимого, внешнего оценивания качества работы общеобразовательных учреждений, следует отнести следующие правила:
– для получения наиболее достоверных выводов по итогам оценки необходимо разумное дополнение информации, полученной с помощью объективных методов оценки, информацией, получаемой с помощью научно обоснованных субъективных методов оценки;
– только корректное, уважительное отношение к оцениваемому лицу гарантирует от превышения допустимой погрешности измерения.
Проведенный нами анализ вотношении решения вопросовпроцедуры оценки (“как оценивать”) с учетом рассмотренных требований к методическому обеспечению внешней оценки качества деятельности УОО показал, что в практикеуже существуют апробированныесредства оценки (методики, программное обеспечение и др.)и алгоритмы их применения, которые обеспечиваютдостаточно валидную и надежную оценку указанных в предыдущем разделе показателей качества деятельности учреждений общего образования, отражающих результативность обеспечения этой деятельностью личностного развития обучающихся.
Как один из примеров в этом отношении может быть приведен опыт нашего научного коллектива (руководитель – С.В. Климин): в первую очередь в данном отношении целесообразно использовать опыт коллектива по созданию технологий аттестационной и аккредитационной оценки, обеспечивающих всестороннюю и объективную оценку содержания и результатов обучения и воспитания в ОУ - с помощью одной из таких технологий ("КАС ДОУ - Аттестация (Новая версия)") в период с 1997 г. по 2010 г. обеспечена массовая аккредитация школ, гимназий и лицеев в более чем 30 субъектах РФ.
В связи с обсуждающимися сегодня возможностями использования КИМов ЕГЭ для проведения государственной аккредитации образовательных учреждений нами проведено сравнение возможностей полного обследования уровня обученности выпускников общеобразовательных учреждений при их государственной аккредитации либо с помощью тестовых заданий ЕГЭ и его данных в 100-балльной шкале, либо с помощью специализированных тестовых заданий (специально разработанных для аккредитационной экспертизы качества подготовки выпускников) . Данное сравнение показало следующее.
Построение обследования общеобразовательных учреждений (далее – ОУ) при их аккредитации на основе тестовых заданий ЕГЭ возможно было бы только в случае четкого указания степени соответствия разных заданий КИМов ЕГЭ по каждому учебному предмету Обязательному минимуму содержания среднего (полного) общего образования, поскольку задачей государственной аккредитации ОУ является установление соответствия подготовки выпускников требованиям только госстандарта
Как показывают полученные в результате проведенного анализа выводы, содержание многих заданий ЕГЭ в различной степени выходит за пределы Обязательного минимума содержания среднего (полного) общего образования. Это обусловлено различием задач ЕГЭ и аккредитации ОУ : в отличие от указанной выше задачи государственной аккредитации ОУ, основной задачей КИМов ЕГЭ является сравнение выпускников между собой по уровню их подготовки – вследствие направленности заданий ЕГЭ не только на итоговую аттестацию выпускников III ступени, но и на отбор для поступления в вузы. В связи с этим, а также в связи с направленностью КИМов ЕГЭ именно на индивидуальную оценку критерием качества заданий ЕГЭ является в том числе выровненность заданий каждой части теста (“А”, “В”, “С”) по статистической трудности (в отличие от этого, основным критерием качества заданий оценки целых образовательных учреждений является полное соответствие и ограничивание содержания этих заданий рамкамиОбязательного минимума содержания образования соответствующей ступени ).
Поскольку перед разработчиками заданий ЕГЭ стоят задачи, принципиально отличающиеся от задач оценки при аккредитации ОУ, в отношении данных заданий проведенный анализ позволил получить следующие основные выводы, актуальные для вопроса изучения возможности использования этих заданий при проведении аккредитации:
1) указанные выше особенности КИМов ЕГЭ, проанализированные в аспекте задач государственной аккредитации ОУ, делают абсолютно необходимым сохранение такого инструмента аккредитационной экспертизы, как специальное тестирование ОУ с целью аккредитации ОУ;
2) вследствие же множественности таких особенностей, затрудняющих использование заданий ЕГЭ для полного обеспечения оценки уровня обученности при экспертизе качества подготовки выпускников с целью государственной аккредитации ОУ, целесообразна не столько переработка заданий ЕГЭ для целей аккредитации, сколько разработка заданий специально для аккредитационной экспертизы.
Сырицына Татьяна Николаевна,
заместитель директора по учебно-воспитательной работе
МБОУ «Южно-Подольская средняя общеобразовательная школа»
Черлакского муниципального района
Омской области
Использование результатов оценочных процедур
в повышении качества образования
Формирование системы оценки качества образования является одним из ключевых приоритетов развития образования в Российской Федерации. Все более широкое признание получает тот факт, что измерение учебных достижений учащихся необходимо не только для целей мониторинга, но и для повышения качества образования.
Как же необходимо использовать результаты оценочных процедур в управлении качеством образования?
Результаты оценочных процедур должны служить основанием для совершенствования преподавания учебных предметов; для повышения информированности, развития моделей родительского оценивания, принятия обоснованных решений о выборе образовательной траектории ребенка.
Каждая образовательная организация имеет в настоящее время основную образовательную программу, которая и определяет для педагогического коллектива главные ориентиры в достижении качества. Результаты оценочных процедур мы используем для решения задач, отражённых в основной образовательной программе школы, а также в целях повышения эффективности деятельности всего коллектива.
Сегодня в системе образования формируется комплексная система оценки качества образования, включающая ОГЭ, ЕГЭ, Всероссийские проверочные работы, национальные и международные исследования качества образования, а также исследования компетенций учителей.
В начальной школе оценочные процедуры проводятся в виде комплексных работ, позволяющих выявить уровень сформированности универсальных учебных действий.
Комплексные срезовые работы писали учащиеся 1-3 классов. Учащиеся 4 класса стали участниками Всероссийской проверочной работы.
Данная оценочная процедура проводилась с целью оценки качества начального образования в школе. Главная особенность ВПР заключается в том, что она комплексно позволяет взглянуть на результаты образования: оцениваются не только достижения планируемых результатов по отдельным предметам, но и основные метапредметные результаты, важные для оценки готовности продолжать образование в основной школе.
Обучающиеся МБОУ «Южно-Подольская СОШ» показали высокое качество знаний по всем предметам: по русскому языку – 88% при 100% успеваемости, по математике – 66% при успеваемости 88%, по окружающему миру – 66% при 100% успеваемости. По итогам работы было принято решение о продолжении обучения школьников на уровне основного общего образования, а также были сформированы педагогические рекомендации для индивидуальной поддержки учащихся уже в 5 классе. Результаты ВПР могут быть использованы в качестве материалов при оформлении представлений работодателем на педагогических работников для проведения аттестации.
Результаты ВПР 2016 года несколько отличаются от результатов промежуточной аттестации, особенно по окружающему миру.
Учителям начальных классов принимается во внимание такое расхождение в результатах с целью определения системы мер по повышению объективности оценивания знаний учащихся, они сосредоточивают свои усилия на более активном изучении методических рекомендаций по подготовке к итоговой аттестации по предметам, активном использовании тренировочных материалов на уроках, но главное – используют более продуктивные методы работы по закладыванию у ребёнка прочных стабильных знаний по предметам.
Учителям начальных классов по результатам ВПР были даны следующие рекомендации:
1. Обратить внимание на типичные ошибки, их причины и возможные пути устранения.
2. Повысить персональную ответственность каждого учителя в результате работы по овладению учащимися основными знаниями, умения и навыками, определяемыми программой и образовательными стандартами по русскому языку.
3. Объективно оценивать работы учащихся, руководствуясь принятыми нормами оценивания.
4. Подготовить индивидуальные программы (траектории развития) для обучающихся, которые выполнили ВПР с очень низкими результатами, и для обучающихся, которые выполнили ВПР с достаточно высокими результатами.
5. Проводить репетиционные работы по материалам открытого банка заданий НИКО, ВПР с последующим анализом результатов (выявление динамики результатов обучения).
Другой важный элемент системы оценки качества образования - государственная итоговая аттестация.
Результаты ОГЭ и ЕГЭ являются и средством подведения итогов, и основой для ежегодного анализа качества образования в разрезе общеобразовательных предметов в школе. В протоколах с результатами ОГЭ и ЕГЭ представлены индивидуальные предметные результаты, решаемость каждого задания, первичные и итоговые баллы. Мы подвергаем их всесторонней обработке и формируем статистическую информацию по предметам, по темам.
Выбор выпускниками того или иного предмета позволяет нам определить профессиональную ориентацию выпускников.
Общие результаты государственной итоговой аттестации выпускников 9,11 классов включают показатели, на основе которых мы определяем уровень общеобразовательной подготовки наших выпускников.
Результаты школы мы сравниваем с показателями по району и области. В 2015-2016 учебном году в государственной итоговой аттестации приняли участие 24 обучающихся: 15 девятиклассников и 9 выпускников 11 класса.
1 обучающийся 9 класса получил аттестат об основном общем образовании с отличием, 2 выпускника награждены медалями РФ «За особые успехи в учении».
Многие выпускники имеют две независимые экспертные оценки по обязательным предметам (так как ЕГЭ сдают те одиннадцатиклассники, которые два года назад сдавали ОГЭ). Следовательно, это можно использовать для определения индивидуальной динамики каждого ученика по математике или русскому языку.
Также мы проводим исследование по сопоставлению текущего и внешнего оценивания. Статистика данных по этому направлению позволяет увидеть систему текущего оценивания учителя в рамках единых оценочных эталонов. Выставляемые учителем четвертные, полугодовые, годовые оценки по предмету соотносятся с баллами ОГЭ и ЕГЭ. Таким образом, в школе сформирована система эффективного использования статистического анализа результатов государственной итоговой аттестации, составляющего элемента оценки качества образования.
Рассмотрим некоторые результаты ЕГЭ и ОГЭ за несколько лет.
1. Результаты ЕГЭ и профессиональное самоопределение выпускников :
Исследуя предпочтение выбора общеобразовательных дисциплин выпускниками МБОУ «Южно-Подольская СОШ», можно определить тенденции формирования социального заказа и реструктуризации рынка образовательных услуг в системе единого государственного экзамена. Статистические данные ЕГЭ показывают, что большая часть выпускников выбирает ЕГЭ по обществознанию, на втором месте – история России , биология, физика.
Следовательно, необходимо по этим предметам не только усилить уровень подготовленности на уроке, но и оказывать дополнительные образовательные услуги, что будет способствовать реализации принципа достижения качества – «Ориентация на потребителя». Результаты диагностики показали, что выпускники 11 классов МБОУ «Южно-Подольская СОШ» за последние несколько лет в основном выбирают специальности педагогических и технических вузов, выпускники 9 классов поступают в учреждения СПО в основном по специальностям «повар», «автомеханик», «машинист-тракторист». Проанализировав наши результаты и сравнив результаты ЕГЭ 2016 года с результатами ОГЭ 2015 года, мы понимаем, что необходимо выстраивать работу по формированию единого образовательного пространства в рамках развития агропромышленного кластера. В настоящее время именно здесь мы видим для себя «проблемные вопросы», которые выражаются не только в снижении результатов ЕГЭ и низком рейтинге при выборе выпускниками таких предметов, как география и химия, но и в целом в накоплении кадрового потенциала для сельского хозяйства. Это является особо актуальным для нашего региона. Поэтому задача развития 2017 года – это повышение профильной подготовки выпускников 9, 11 классов по данным предметам.
2. Выявление уровня усвоенности тем по отдельным предметам (на основе статистических данных контрольно-измерительных материалов, ЕГЭ позволяет изучить уровень усвоения тем по предметам):
В процессе проведения данной работы мы пришли к выводу, что единый государственный экзамен позволяет получить информацию не только об уровне образовательной подготовки выпускников по отдельным предметам, но и о качестве работы учителя.В частности, в МБОУ «Южно-Подольская СОШ» стабильно на протяжении нескольких лет наблюдается значительное расхождение среднего балла по математике между средним по школе и по району. То есть средний балл по школе значительно ниже районного, что говорит о недостаточно серьезной работе учителей математики. По данному факту регулярно принимаются управленческие решения, результаты данной работы уже можно видеть при сдаче выпускниками 9 классов ОГЭ по математике, где средний балл по школе незначительно отличается от среднего по району.
Сравнительные данные, полученные в результате мониторинговых исследований результатов ЕГЭ, позволяют определить рейтинг выпускников и учителей. На заседаниях ШМО выявляются причины успешной и неуспешной сдачи выпускниками экзаменов, планируются мероприятия по повышению качества образования, оказанию методической помощи учителям. К основным формам организации работы на основе диагностики профессиональных затруднений педагогов, анализа и мониторинга результатов ЕГЭ относим:
Составление программы по методическому сопровождению образовательного процесса с целью оказания методической помощи и поддержки учителям по формированию качественной системы подготовки учащихся к ЕГЭ и ОГЭ;
Формирование банка данных используемых УМК;
Использование педагогических технологий, организация элективных курсов по подготовке к ЕГЭ.
Каждый из этих вопросов рассматривается на заседаниях методических объединений в начале нового учебного года, разработан алгоритм подготовки обучающихся к ГИА – 2017. Уверена, что независимая оценка индивидуальных образовательных достижений также позволит учителю корректировать применяемую им систему текущего оценивания с учетом требований внешней оценки.
Современные подходы к оценке качества образования пугают родителей, у них возникает много вопросов, их беспокоит то, как помочь собственному ребенку в период подготовки к ответственному испытанию. Поскольку сегодня предусматриваются конкретные формы реализации прав родителей на соуправление образовательным процессом через деятельность Совета школы, как никогда необходима многоаспектность сотрудничества семьи и школы.
В нашей школе с целью вовлечения родителей в образовательный процесс проводятся дни открытых дверей, родители принимают участие в ГИА, ВПР в качестве общественных наблюдателей. Вопросы мониторинговых исследований различного уровня рассматриваются на заседаниях Совета школы. Постоянно проводится информирование родителей через информационный стенд и официальный сайт о предстоящих мониторинговых исследованиях, работает телефон «горячей» линии по вопросам ГИА.
Несомненно, в проведении оценочных процедур возможны риски и противоречия:
Неосознанная позиция определенной части родителей к образованию;
Недостаточная мотивация обучающихся к учебной деятельности;
Мониторинговые исследования могут быть не востребованы и не системны;
Неправильное использование и интерпретация результатов проведения оценочных процедур;
Частота, объем оценочных процедур должны быть оптимальными, исследования не должны дублировать друг друга.
На основе результатов ЕГЭ и ОГЭ в школе применянтся следующая модель оценки качества образования: организация образовательной среды – использование современных педагогических технологий – создание системы оценки качества результата и мониторинг личных достижений выпускника – оценка качества образования через характеристики процесса и соответствие результата модели выпускника.
Подводя итог, необходимо подчеркнуть, что использование результатов оценочных процедур позволяет администрации школы:
Разработать и внедрить программы повышения эффективности преподавания и обучения, внести изменения в основную образовательную программу;
Определить узкие места деятельности педколлектива и разработать соответствующие рекомендации для каждого педагога;
Выявить наименее подготовленных учащихся в целях предоставления им необходимой помощи;
Оказать соответствующую ресурсную, организационную и методическую поддержки неэффективно работающим учителям;
Иметь независимую оценку деятельности отдельного педагога, группы педагогов для организации работы с педкадрами.
Педагоги же используют результаты оценочных процедур для корректировки своих рабочих программ, а также при подготовке к прохождению аттестации в целях установления квалификационной категории.
Обучающиеся и их родители на основе результатов оценочных процедур получают рекомендации по формированию индивидуального учебного плана, внесению изменений в индивидуальный учебный план, а также перспективам получения дальнейшего профессионального образования.
Именно такая слаженная работа по использованию результатов оценочных процедур всеми участниками образовательного процесса и приводит к ежегодному повышению качества образования в школе.
Литература
1.Болотов В.А., Вальдман И.А., Горбовский Р.В., Захир Ю.С., Мерцалова Т.А. Ключевые вопросы развития национальных и региональных систем оценки качества образования (экспертный обзор), – М.: Издательский дом НИУ ВШЭ, 2016. – 380 с.
2.Вальдман И.А. Модель использования результатов мониторинговых исследований для повышения качества обучения и обеспечения эффективного управления образовательными системами. Управление образованием: теория и практика №1 (17) – 2015г.
Процедура получения оценок параметров совокупности (суммы показателя, среднего значения показателя, отношений величин показателей, долей, и т.п.) должна быть точно определена. Оценка представляет собой рассчитанное по данным выборочного наблюдения значение некоторого параметра совокупности. Также под оценкой понимают формулу или алгоритм вычисления числового значения оцениваемого по выборочным данным параметра изучаемой совокупности.
Как правило, в случае наблюдений на основе вероятностной выборки, оценки рассчитываются с учетом весов, соответствующих плану выборки (выборочных весов).
Для компенсации влияния систематических ошибок (неполучение ответа от единиц наблюдения, неполнота охвата) на достоверность итогов наблюдения и получения более точных значений оценки могут корректироваться, в том числе с использованием вспомогательной информации (например, методом калибрации).
Если в процессе оценки используются вспомогательные переменные, то их выбор должен быть обоснован, они должны быть соотнесены с переменными наблюдения и актуализированы. Использование той или иной модели процедуры оценивания должно быть задокументировано, включая и основополагающие допущения, принятые по данной модели.
В ходе выборочных наблюдений, которые используют невероятностные выборки, оценки, как правило, получают с использованием соответствующих статистических моделей. При этом процедуры оценки должны быть обоснованы, а принятые допущения - правдоподобны и, если это возможно, протестированы.
Оценки параметров совокупности должны сопровождаться характеристиками их точности (коэффициент вариации оценки, средний квадрат ошибки (СКО), среднеквадратическая (стандартная) ошибка выборки), в которых должны учитываться характеристики плана выборки (стратификация, многоступенчатый отбор и т.д.), а также поправки, внесенные в веса. По возможности в них также должны быть отражены и другие основные ошибки, которые наблюдаются во всем процессе производства статистических данных. Меры точности для наиболее важных оценок показателей должны быть получены как для всей совокупности, так и для основных разрезов разработки. Если они рассчитываются методами приближенных вычислений, то эти методы расчета должны быть задокументированы.
Критерии для публикации оценок должны быть установлены до их расчета: то есть должен быть зафиксирован уровень ошибки оценки, выше которого полученные данные не публикуются.
Процедуры оценки результатов статистического наблюдения, а также их применение детально описываются в соответствующих разделах методологических материалов (методологических рекомендациях, положениях и др.), утверждаемых в установленном порядке и размещаемых в открытом доступе на официальном сайте Росстата.
Процедура оценки может быть проведена с использованием специализированного или стандартного программного обеспечения. Специализированное программное обеспечение должно быть предварительно и точно испытано перед производством окончательных оценок. Все результаты процессов оценки должны быть воспроизводимыми (точно или с небольшими приближениями), а это означает, что, при повторении всей процедуры обработки должны быть получены такие же результаты.
Данные, полученные по итогам наблюдений, опросов, опытной работы, эксперимента, еще нельзя считать научно достоверными результатами, если они не повергнуты анализу, оценке и научному истол кова н и ю (и нте рп рета ци и).
Анализ должен выявить роль объективных и субъективных факторов, влияющих на ход и результаты, дать возможность выделить ведущие факторы, условия, необходимые для использования полученных данных. Проводится оценка результатов, выявляется их значимость, степень новизны, практическая востребованность. Интерпретация позволяет объяснить механизмы действия, смысл полученных результатов, их соотношение с известными ранее положениями, концепциями, раскрыть перспективы дальнейшего использования вновь добытых знаний или отработанных технологий.
Для того чтобы осуществить заключительную часть исследования, необходимо вернуться к его начальной стадии, используя выделенные и уже апробированные критерии, показатели и индикаторы (показатели, поддающиеся измерению). По существу это заключительная стадия мониторинга - постоянного слежения за образовательным процессом, за влиянием на его качество и результаты вносимых нововведений. Это изучение динамики процесса с целью сравнения с ожидаемыми результатами. Мониторинг включает сбор и систематизацию информации, ее анализ и интерпретацию, принятие решений о корректировке процесса для его оптимизации.
Критерии (обобщенные признаки), на основании которых производится отслеживание и оценка динамики и результатов процесса в образовании в силу его сложности и многофункциональности, всегда должны быть комплексными, но дифференцированными.
Различают критерии для оценки качества проектов и программ (актуальность, научная обоснованность, новизна, практическая реализуемость, ресурсная обеспеченность), критерии успешности протекания процесса преобразований (нормативно-правовой и ресурсной обеспеченности, степени мотивационной готовности, эффективности мероприятий, психологической комфортности участников, динамики продвижения к планируемым результатам) и, наконец, критерии достижений (результатов).
Последняя группа критериев - критерии результативности - могут относиться либо к изучаемому и преобразуемому процессу (системе), либо к основному «продукту» образования - человеку, личности.
Критерий результативности процесса преобразований в личностном плане, как мы полагаем, должен обязательно включать пять «подкритериев», составляющих: критерий результатов основной деятельности - учебной, спортивной, творческо-исполнительской (в зависимости от типа и направленности образовательного учреждения или изучаемого направления), критерий личностного развития, критерий воспитанности, критерий здоровья, в ряде случаев правомерно выделить еще критерий социальной адаптации или готовности к жизни в открытом социуме. Показатели, по которым отслеживается каждый критерий, во-первых, весьма многообразны и вариативны, а, во-вторых, сами по себе частичны и относительны. Поэтому о результатах образования никак нельзя судить по отдельно взятым показателям, например по результатам ЕГЭ, которые в основном отражают качество знаний и итоговых умений, но лишь очень косвенно свидетельствуют о развитии мыслительных способностей, социальной зрелости, культурного кругозора, компетентности. Весьма «частичным», ограниченным показателем является и выявление «остаточных знаний» студентов при аттестации вузов. Несомненно важными, по понятным причинам, неисчерпывающими и неполными являются такие показатели учебной деятельности, как школьная успеваемость, награждение медалями выпускников, их поступление в вузы, даже на бюджетные места, не говоря уже о платКадр 10
ных. Только по совокупности показателей можно вести анализ и давать оценку результатов. Осмысление полученных результатов позволяет выполнить предъявляемые к исследовательской, в том числе диссертационной, работе требования установления новизны, теоретической значимости и практической полезности результатов. В отчетах о результатах осуществления практических проектов и программ требования, касающиеся теоретической значимости, не столь обязательны, требование новизны более категорично, хотя ее степень может быть разной: от открытий до усовершенствований и модернизации известного, а практическая значимость должна быть выявлена особенно убедительно.
Новизна, теоретическая и практическая значимость выступают в качестве обобщенных критериев эффективности проделанной работы.
При установлении новизны ключевое слово, позволяющее дать конкретный ответ, - «впервые». Впервые установлено, выявлено.
определено, получены оригинальные данные, дано объяснение ит.д. Новизна может содержаться в постановке проблемы, в идее и замысле, в технологиях и процедурах оптимизации педагогического процесса, в выявлении оптимальных условий его протекания. Заметим попутно, что слово «впервые» и «новизна» синонимичны, и если раскрывается новизна, то повторять слово «впервые» не имеет смысла (см. кадр 11).
Приведем термины (глаголы), позволяющие выявить новизну результатов.
Кадр 12
Обратимся к примеру выявления новизны своей работы автором. В исследовании «Воспитание творческого отношения будущего учителя к организации образовательного процесса» (2004) автор видит новизну в том, что он выявил структуру творческого отношения будущего учителя к организации образовательного процесса, и эта структура включает мотивационно-ценностный, содержательно-процессуальный и эмоционально-волевой компоненты (заметим, что их можно выявить в любом педагогическом или образовательном процессе). Сущность исследуемого отношения заключается в поиске и выборе оригинальных форм, методов, средств организации образовательного процесса, выработке индивидуального творческого стиля деятельности, максимальной самореализации будущего учителя.
Слово «впервые» кутверждениям такого рода применить невозможно, поскольку все они уже очень хорошо известны. О том, что автор сумел обнаружить, применив эти положения к своему предмету исследования, он скромно умалчивает.
В подобных случаях хочется напомнить аспирантам, соискателям, исследователям-практикам, что они недипломаты. Ш. Талейран, как известно, говорил, что язык дан дипломату для того, чтобы скрывать свои мысли. Это изречение часто вспоминают, когда речь идет о языке дипломатическом, но исследователю он дан, чтобы четко и конкретно выразить свои идеи, принципы, рекомендации и ту новизну, которой они обладают (если, конечно, она обнаружена).
К примеру, уже упоминавшаяся нами Л. И. Гриценко, выражая новизну своих позиций по отношению к наследию А. С. Макаренко, подчеркивает, что социальная ориентация его воспитательной концепции наполнена гуманно-личностным содержанием, сущность воспитания А. С. Макаренко заключается в конструктивном синтезе внешне и внутренне ориентированных подходов к развитию человека, которое осуществляется на основе субъективной активности. Бинарный характер воспитательной системы А. С. Макаренко проявляется в гармонизации коллективного и индивидуального принципов, директивных и гуманистических методов в организации педагогически целесообразной жизнедеятельности субъектов воспитания.
Такой подход спорит и с традиционной положительной трактовкой А. С. Макаренко как автора концепции воспитания «в коллективе, для коллектива и через коллектив» и с его критической оценкой как «комиссара от воспитания», как, якобы, сторонника военно-дисциплинарной педагогики.
В практическом исследовании нет строгой необходимости в раздельном обозначении новизны и теоретической значимости, да и в диссертационных работах их не всегда удается развести однозначно, но выявить и конкретно раскрыть и то, и другое нужно обязательно.
Обратимся к уже использованному нами примеру.
Подчеркивая теоретическую значимость своей работы о творческом наследии А. С. Макаренко, Л. И. Гриценко выделяет следующие положения, несомненно содержащие научную новизну:
S определены сущность и специфические особенности аксиологических ориентиров макаренковского воспитания;
S выявлена органичная бинарно-синтетическая целостность мака- ренковской воспитательной системы, включающей коллектив и личность;
S показана субъективная, активная природа механизмов воспитания в коллективе, проявляющаяся в специфических особенностях использования принципов природосообразности и культуросообраз- ности в макаренковском воспитании;
S выявлены социально-демократические основы функционирования учебно-воспитательных учреждений А. С. Макаренко, обеспечивающие их гуманистическую и личностную направленность;
S раскрыты содержание и сущность целей воспитания в системе А. С. Макаренко, вскрыты противоречия идеологического (классового) характера официальных идей воспитания и их гуманистической ориентации;
S изучены генезис и сущность макаренковских представлений о коллективе на основе современных научных знаний и подходов в отечественной и мировой науке.
По существу Л. И. Гриценко показала насколько современными и перспективными являются концептуальные положения воспитательной системы А. С. Макаренко о личности и коллективе для выяснения путей и условий гармонизации педагогического процесса.
Теоретическая значимость означает несколько иное, нежели новизна, а именно: как выявленные в исследовании новые связи, зависимости, подходы, методики изменяют (углубляют, расширяют, доказывают несостоятельность определенных положений) бытующие в науке и практике теории, концепции, подходы; какие новые необходимые понятия введены в научный оборот; какие перспективы научных и научно-практических поисков открывают результаты проведенных изысканий (см. кадр 13).
Кадр 13
И, наконец, о практической значимости и полезности. Чтобы ее выявить, нужно осмыслить и показать, что уже удалось сделать практически, где и кем, с какими результатами были применены рекомендации, вытекающие из исследования, какие разработаны и распространены внедренческие материалы (пособия, рекомендации, программы, методики, технологии и т. д.). Полезно выдвинуть предложения по совершенствованию содержания, организации, материального обеспечения образования и его работников, по усилению роли образования в социально-экономическом развитии страны и региона, повышению его статуса. Эти предложения нужно адресовать на разные уровни государственного и муниципального управления, разным властным органам, в соответствии с их компетенциями. Вопросы, на которые нужно ответить, определяя практическую значимость работы, указаны в кадре 14.
