Объективность оценок обеспечивается:
Независимостью органа по сертификации и привлекаемых им к работе экспертов от заявителя или других сторон, заинтересованных в результатах оценки и сертификации;
Полнотой состава комиссии экспертов. В совокупности комиссия должна обладать знаниями стандартов на систему качества, техники проверки, а также особенностей производства продукции и нормативных требований к ней. В составе комиссии должен быть специалист по проверяемому виду экономической деятельности. При необходимости в состав комиссии могут быть включены специалисты по метрологии, экономике и др.;
Компетентностью экспертов, проводящих сертификацию. Эксперты должны быть сертифицированы на право проведения сертификации систем качества или сертификации производств и зарегистрированы в Реестре экспертов Системы сертификации ГОСТ Р.
Воспроизводимость результатов проверок и оценок систем качества
Воспроизводимость результатов проверок и оценок обеспечивается:
Применением при проведении проверок и оценок систем качества (производств) правил и процедур, основанных на единых требованиях;
Проведением проверок и оценок на основе фактических данных;
Документальным оформлением результатов проверок и оценок систем качества;
Четкой организацией системы учета и хранения документации органом по сертификации.
Конфиденциальность
Орган по сертификации, его эксперты и все привлекаемые к участию в работе комиссии специалисты (в том числе стажеры) должны соблюдать конфиденциальность всей информации об организациях, полученной на всех этапах сертификации, а также выводов, характеризующих состояние системы качества (производства). Условия соблюдения конфиденциальности информации обеспечиваются:
Для штатного персонала органа по сертификации - установлением требований соблюдения конфиденциальности в должностных инструкциях;
Конфиденциальностью приказов руководителя органа;
Для персонала, привлекаемого к работам по сертификации, - установлением требований конфиденциальности в трудовых договорах, заключаемых между органом по сертификации и привлекаемыми специалистами;
Для стажеров - установлением требований к конфиденциальности по условиям проверяемой организации.
Информативность
В Регистре должна обеспечиваться ежеквартальная публикация официальной информации о сертифицированных системах качества (производствах) держателей сертификатов. Кроме того, в оперативных источниках информации (периодических изданиях Росстандарта России и его институтов) должна публиковаться текущая информация о выданных сертификатах соответствия систем качества и производств, приостановлении или отмене их действия.
Официальным источником информации по перечисленным вопросам является сводный перечень сертифицированных систем качества и производств Регистра.
Специализация органов по сертификации систем качества
Органы по сертификации должны быть специализированы по областям аккредитации в соответствии с классификацией по видам экономической деятельности, принятой в Системе сертификации ГОСТ Р. Условием для включения в область аккредитации того или иного вида экономической деятельности является наличие в органе по сертификации экспертов (собственных и/или привлекаемых) по сертификации систем качества, по сертификации производств, по сертификации продукции, по сертификации услуг, а также технических экспертов (собственных и/или привлекаемых), специализированных по соответствующим видам экономической деятельности.
Проверка выполнения требований, предъявляемых к продукции (услуге) в законодательно регулируемой сфере
При условии предъявления к продукции (услуге) обязательных требований, устанавливаемых в соответствии с действующим законодательством Российской Федерации в государственных стандартах или других документах при сертификации систем качества (сертификации производств) проверяют способность организации обеспечить соблюдение, этих требований.
Достоверность доказательств со стороны заявителя соответствия системы качества (производства) нормативным требованиям
При сертификации систем качества орган по сертификации оценивает достоверность доказательств заявителя о выполнении требований ГОСТ Р ИСО 9001.
Высокое качество работы экспертов, участвующих в опросе, оказывает решающие влияние на получение точных и надежных результатов.
Качество экспертов определяется следующими группами свойств: компетентностью, заинтересованностью в результатах экспертизы, деловитостью и объективностью (беспристрастностью).
Компетентность эксперта должна распространяться на объект экспертизы (профессиональная компетентность) и методологию оценки (квалиметрическая компетентность).
Профессиональная компетентность включает знание технологических этапов производства продукции, значения показателей качества различных ее видов, перспектив развития продукции. требований потребителей, условий и характера потребления.
Квалиметрическая компетентность обеспечивает четкое понимание экспертом подхода к оценке качества продукции как к мере удовлетворения ею потребностей потребителей; знание методов оценки качества, особенно экспертных методов; умение пользоваться различными квалиметрическими шкалами, отличающихся большим числом градаций.
Заинтересованность эксперта в результатах экспертизы зависит от многих факторов: степени загруженности основной работой, с которой, как правило, совмещается экспертиза; возможности использования полученных результатов; целей экспертизы; характера выводов, которые могут быть сделаны по результатам экспертизы; индивидуальных особенностей эксперта.
Деловитость эксперта включает собранность, подвижность и эластичность внимания, позволяющие быстро переключаться с оценки одного показателя качества на оценку другого; контактность, т.е. умение работать с людьми при решении задач в конфликтной ситуации; мотивированность выносимых оценок.
Объективность (беспристрасность) -- способность учитывать только ту информацию, которая определяет удовлетворение потребности данной продукции. Необъективность эксперта заключается в завышении или занижении оценок объекта экспертизы по причинам, не имеющим отношения к качеству, например, из-за неспособности противостоять мнению большинства других экспертов вследствие неуверенности в своей правоте (проявление конформизма).
Методы оценки качества экспертов подразделяются на пять групп:
· эвристические (субъективные);
· статистические;
· тестовые;
· документальные;
· комбинированные.
Каждая из указанных групп делится на виды (частные оценки) и методы их получения.
Эвристические (субъективные) оценки – оценки, назначаемые человеком и основанные на предположении правильности отражения качества эксперта через оценку окружающих или самооценку.
Различают следующие виды эвристических оценок:
· самооценка;
· взаимооценка;
· оценка аргументированности и знакомства с объектом экспертизы;
· оценка эксперта рабочей группой.
Самооценка – вид и метод эвристической оценки компетентности самим экспертом. Установлено, что достоверность усредненной экспертной оценки тем выше, чем больше среднее значение самооценки членов группы. В то же время следует иметь в виду, что самооценка отличается значительной субъективностью, а это влечет за собой определенные недостатки ее. Самооценка зависит от психологических особенностей экспертов (наличия высокой или заниженной самооценки, иногда и необоснованно), степени удовлетворенности собой, понимания оценочной шкалы. Этим объясняется несовпадение результатов самооценки и взаимооценки.
Для снижения субъективности самооценку проводят дифференцированно, что повышает точность результатов. Для этого показатель самооценки определяется как функция двух коэффициентов: знакомства и аргументированности. Для экспертной оценки товаров самооценку эксперта рекомендуется определять с учетом его информированности и знакомства с оцениваемой продукцией путем заполнения «Анкеты самооценки». Эксперт отмечает регулярность чтения перечисленных в анкете источников информации и степень знакомства с оцениваемой продукцией.
Самооценка (K ca м j ) рассчитывается по формуле
K ca м j = Σ M i · K ij ,
где M i – весомость показателей информированности и знакомства; K ij – оценка, зависящая от степени информированности и знакомства.
Поскольку Σ M i = 1,00, а 0 ≤ K ij ≤ 10, то 0 ≤ K ca м j ≤ 10.
С учетом специфики оцениваемой продукции весомость отдельных показателей (M i ) может корректироваться экспертной группой.
Взаимооценка - вид и метод эвристической оценки, определяемой как средняя из оценок, назначаемых другими экспертами. Данная оценка предназначена для уменьшения субъективности оценки компетентности каждого эксперта. Установлено, что существует тесная связь между компетентностью эксперта и его усредненной оценкой, полученной от коллег. Сущность этого вида оценки заключается в том, что каждый эксперт дает оценку всем остальным экспертам, а затем рассчитывается усредненный результат.
В зависимости от количества экспертов в группе применяются две разные процедуры:
· при численности экспертов в группе менее 15 человек каждый эксперт оценивает всех остальных;
· при численности экспертов 15 человек и выше заполняется специальная анкета, в которой эксперты по квалификации поделены на три группы – выше средней, средней и ниже средней квалификации, а также по рангам внутри подгрупп (по 6– 8 человек в каждой). Затем ранжируют экспертов каждой подгруппы. Ранг 1 – самый квалифицированный эксперт, 2 – следующий по квалификации и т. д. Каждому оцениваемому эксперту присваивается числовая оценка от 10 баллов (самый квалифицированный) до 0 (совершенно неквалифицированный) с точностью до 0,5 балла.
Недостатки взаимооценки заключаются в следующем:
· эксперты могут недостаточно знать друг друга;
· на результаты оценки могут влиять взаимные симпатии или антипатии;
· эксперты, как правило, стремятся избегать сверхвысоких и сверхнизких оценок;
· неоднозначность восприятия понятия «качество эксперта».
· применять взаимооценку только в тех группах, в которых большинство экспертов хорошо знают друг друга. Если некоторые из оцениваемых экспертов незнакомы, то рекомендуется ставить прочерк в соответствующей графе;
· проводить анонимное анкетирование;
· разъяснять, что результаты анкеты будут использованы только для корректировки оценок товара;
· знакомить экспертов со структурной схемой свойств и их частных оценок.
Оценка аргументированности и знакомства с объектом экспертизы – вид и метод эвристической оценки степени специализации эксперта и факторов, влияющих на его компетентность. Эвристическая оценка компетентности, основанная на учете степени специализации и знакомства, обладает высокой эффективностью и достоверностью при условии тщательной проработки методов количественной оценки каждого из этих факторов в виде оценочных анкет. В данном случае оцениваются только те факторы, которые могут характеризоваться лишь субъективно в форме самооценки; эксперт количественно оценивает степень своей специализации по данному виду продукции и форму знакомства с ней. Затем с помощью специальной анкеты (похожей на анкету самооценки) определяет коэффициент аргументированности своих знаний и дает оценку степени своего знакомства с исследуемой проблемой. Коэффициент компетентности вычисляется как среднее арифметическое из коэффициентов аргументированности и знакомства.
Оценка эксперта рабочей группой – вид и метод эвристической оценки, предназначенной для количественной характеристики заинтересованности эксперта в экспертной оценке и его внимательности в ходе опроса. Оценка дается специалистами-аналитиками, проводящими опрос экспертов. При этом они оценивают отношение экспертов к проводимой экспертизе и их активность при обсуждении оценок. Оценки рабочей группы целесообразно выносить по 10-балльной шкале.
Статистические оценки – оценки, полученные в результате обработки суждений экспертов об объекте оценки.
Эти оценки применяются с целью уменьшения по мере возможности погрешностей, возникающих при экспертных оценках. Необходимость их обусловлена тем, что в отличие от измерений с помощью технических устройств, основанных на сравнении неизвестных величин с известными, при экспертных методах часто отсутствует известная величина (или образец, или эталон товара), значение которой принимается за действительное, т. е. максимально приближенное к истинному.
На точность результата могут оказать влияние организация и методика проведения оценки; качество построения структурной схемы показателей качества, число показателей качества, способы определения оценок, характер взаимоотношений между экспертами и т.д.
Таким образом, на точность экспертной оценки влияет множество объективных (зависящих от методики оценки) и субъективных (зависящих от эксперта) факторов, вследствие чего возникают погрешности оценки, имеющие систематическую и случайную составляющие.
Систематическая погрешность – постоянно повторяемая часть погрешности. Основной причиной возникновения ее является недостаточная или неправильная информированность экспертов. Снизить ее можно путем ознакомления эксперта с необходимой информацией перед началом экспертизы или путем проведения инструктажа, а также обсуждения, в ходе которого эксперт получает дополнительную информацию от специалистов-аналитиков или других экспертов. Кроме того, поскольку систематическая погрешность эксперта является случайной для группы экспертов, то усреднение оценок группы позволяет повысить точность оценки качества. Систематическую погрешность можно оценивать степенью отклонения от среднего мнения экспертной группы.
Случайная погрешность зависит от психолого-физиологических особенностей эксперта (собранности, уверенности в правоте, внимательности, других личных качеств) и снижается при многократных повторениях оценок. Установить ее величину можно по воспроизводимости результатов.
Различают следующие виды статистических оценок:
· оценка по отклонению от среднего мнения экспертной группы;
· оценка объективности эксперта.
Оценка по отклонению от среднего мнения экспертной группы – оценка, основанная на предпосылке, что действительным значением групповой экспертной оценки является средняя оценка экспертной группы. Поэтому чем меньше отклонение индивидуальной экспертной оценки от групповой, тем более высоким признается качество эксперта давшего эту оценку.
Индивидуальные экспертные оценки могут быть двух типов:
· ранжирование экспертом оцениваемых величин (в порядке убывания или возрастания);
· определение экспертом числовых значений оцениваемых величин (например, при определении коэффициентов весомости показателей качества каждому коэффициенту эксперты присваивают определенные числовые значения).
Оценка по отклонению от среднего мнения экспертной группы может быть выражена через совокупность абсолютных отклонений (Д і) , рассчитываемых как разница между средней групповой оценкой (Х с.г) и индивидуальной оценкой (Х і ):
Д і = Х c .г – Х і . .
Чем больше Д і , тем выше отклонение индивидуального мнения эксперта от среднего мнения экспертной группы.
Оценка объективности (беспристрастности) эксперта – оценка соблюдения экспертом принципа объективности, его способности к беспристрастной оценке конкретных образцов товаров. Эта очень важная характеристика качества эксперта существенно влияет на точность результатов групповой экспертной оценки. Статистические методы непосредственной оценки объективности экспертов не разработаны, поэтому на практике довольствуются косвенной оценкой по отклонению от среднего мнения экспертов.
Тестовые оценки – оценки с помощью тестирования психолого-физиологических особенностей экспертов. Данные оценки предназначены для оценивания объективности, квалиметрической и профессиональной компетентности эксперта. Достоинством этих оценок является возможность оценить личные качества эксперта, для чего другие методы и виды оценок неприемлемы. Недостаток их заключается в том, что полученные при тестировании результаты невозможно сравнить с данными, полученными каким-либо объективным методом.
При проведении тестовых оценок к тестам предъявляются следующие требования:
· понимание испытуемым экспертом постановки тестовой задачи и условий, которым должно отвечать ее решение;
· вероятность случайного угадывания решения задачи должна быть близка к нулю;
· тестовая задача должна иметь точное решение;
· обоснование близости тестовой задачи и тех реальных задач, которые приходится решать эксперту при оценке качества продукции.
Разновидностями тестовых оценок являются:
· оценка воспроизводимости результатов;
· квалиметрической компетентности эксперта;
· объективности корректирования своих оценок.
Оценка воспроизводимости результата – оценка степени близости индивидуальных оценок эксперта, проведенных через определенные промежутки времени. Обычно применяется в случаях, когда качество экспертов оценивается в несколько туров, при этом сравниваются оценки одного и того же автора в разных турах. Наиболее часто оценка воспроизводимости результатов применяется при органолептическом анализе пищевых продуктов.
Следует учесть, что промежуток времени между турами должен быть невелик, чтобы исключить влияние возможной новой информации, изменяющей его суждения, но в то же время достаточен, чтобы эксперт забыл данные оценки в предыдущем туре.
Если проводится ранжировка показателей качества, то оценка воспроизводимости результатов рассчитывается по формуле
где – j -го эксперта; R j – коэффициентов ранговой корреляции для j -го эксперта, определяется по формуле
где d ij – разность между рангами, присвоенными i- му показателю качества j -м экспертом в первом и втором турах опроса; n – количество объектов ранжирования.
Если же эксперты вычисляют численные значения коэффициентов весомости, то оценка воспроизводимости результатов рассчитывается по формуле
где – коэффициент воспроизводимости результатов j -го эксперта; ρ j – расстояние от среднего мнения группы для j -го эксперта, рассчитывается по формуле
где M ij * и M ij ** – значения i -го коэффициента весомости назначенные j -м экспертом соответственно в первом и втором турах.
Коэффициент воспроизводимости результатов эксперта может изменяться в интервале от 0 до 10. К экспертизе качества продукции рекомендуется допускать экспертов с воспроизводимостью результатов 6 и выше.
Оценка квалиметрической компетентности эксперта – оценка теоретических знаний методов оценки качества и умения их применять. Оценка теоретической подготовки эксперта может проводиться путем устного или письменного контроля знаний с использованием тестов в определенной области знаний. Несколько сложнее обстоит дело с проверкой умения, которое подразделяют на три типа:
· умение использовать разные типы оценочных шкал;
· умение определять субъективные вероятности;
· умение различать достаточное число градаций оцениваемого свойства.
Умение использовать разные типы оценочных шкал. Шкала – это упорядоченный ряд отметок, соответствующий соотношению последовательных значений измеряемых величин. В квалиметрии шкала является средством адекватного сопоставления и определения численных значений отдельных свойств и качеств различных объектов. Практически используют следующие виды квалиметрических шкал: шкалу наименований, шкалу порядка, шкалу интервалов, шкалу отношений и шкалу абсолютных значений.
Шкала наименований используется в случаях, когда несколько неизвестных размеров необходимо сопоставить с одним и определить, какие из них равны размеру, выбранному за базу для сравнения, а какие нет. По шкале наименований классифицируют размеры по признаку эквивалентности, тождества, равенства. Такое измерение является наиболее простым, но наименее информативным. При этом не определяется, какой из неодинаковых размеров больше или меньше размера, принятого за базовый, т.е. порядок возрастания или уменьшения размеров не устанавливается. Измерение заключается только в определении одинаковости (равенства) или отличия (неравенства) того или иного размера от заранее определенного значения. Следовательно, определяющие отношения между измеряемыми размерами таковы: равны или не равны, т.е. в символах = или ≠.
Математическое выражение сущности измерений по шкале наименований можно записать так:
Р i = Р j или Р i ≠ Р j ,
где Р i – размер, с которым сравнивают (базовый размер); Р j – j -й размер из сравниваемых размеров (j = 1,2,3, … , n ); n – число сравниваемых размеров.
При сопоставлении и измерении размеров по шкале наименований осуществляется, например, контроль и оценка качества чего-либо по альтернативному принципу: годен – не годен; подходит – не подходит; соответствует – не соответствует и т.п.
Шкала порядка – это последовательный ряд значений, дающий систематизированное представление о простейших соотношениях величин сопоставляемых размеров свойств, признаков или качеств в целом оцениваемых объектов.
При попарном сопоставлении всех измеряемых размеров устанавливают, какой размер больше или меньше другого, какой лучше или хуже другого. Если имеются одинаковые размеры, то это соотношение также определяется. Далее установленные соотношения размеров ранжируются в порядке возрастания и/или убывания (уменьшения) их величин. Сами величины при этом остаются неопределенными. Полученный в результате ранжирования ряд значений является шкалой порядка возрастающей или убывающей последовательности.
По шкалам порядка значения размеров могут быть классифицированы (оценены) не только по критерию «одинаковы или нет», но и по соотношению, что «больше или меньше» другого или «что лучше, а что хуже» другого.
Математическим выражением соотношений попарно сопоставляемых размеров является:
Р i = Р j или Р i ≠ Р j или Р i > Р j или Р i < Р j.
В результате сопоставления размеров Р i и Р j определяют, какой размер больше или меньше другого, а также какие размеры имеют одинаковые значения, т.е. по шкале порядка определяют следующие соотношения: равно (=), не равно (≠), больше (>), меньше (<).
Недостатком измерений по шкалам порядка можно считать то, что получаемые результаты в виде ранжированного ряда наименее информативны. В частности, при таком измерении нет возможности определить, на сколько один размер больше или меньше другого, лучше или хуже другого. Однако главным преимуществом измерений с использованием шкал порядка является то, что и их помощью инструментально неизмеряемые величины все же можно оценить (измерить) количественно. К измеряемым по шкалам порядка относятся такие свойства объектов, как вкус, запах, привлекательность, эстетичность, комфортабельность и др. По шкале порядка часто производят и общие экспертные оценки качества нескольких сопоставляемых объектов.
Шкала интервалов используется в случаях, когда нет возможности измерить сами размеры наблюдаемых величин, но возможно (или имеется необходимость) измерить только отличия (разницы) между познаваемыми сопоставлением размерами.
На измерительной шкале интервалов фиксируются отличия сопоставляемых размеров. Эта форма отображения величин измеряемого является более совершенной, так как на шкале интервалов имеются условные, но вполне определенные единицы измерений, что позволяет количественно (численно) охарактеризовать соотношение исследуемых размеров.
Математическая запись сравнения между собой двух однородных размеров по их разнице имеет вид:
ΔР i,j = Р i – Р j .
По шкале интервалов определяют такие соотношения размеров, как равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ).
Классическим примером измерений по шкале интервалов является измерение температур по шкале Цельсия. По шкале интервалов невозможно определить, во сколько раз один размер больше или меньше другого.
Шкала отношений – это измерительная шкала, на которой отсчитывается (определяется) численное значение величины q i как математического отношения измеряемого размера Р i к другому известному размеру, принимаемому за единицу измерений [Р].
Любое измерение по шкале отношений предполагает сравнение неизвестного размера с известным и выражение первого через второй в кратном или дольном отношении.
Математическая запись измерения по шкале отношений имеет вид:
где i = 1, 2, 3, … , n – это номер измеряемого размера.
Шкала отношений – это шкала интервалов, в которой определен нулевой элемент – начало отсчета, а также размер (масштаб) единицы измерений [Р].
По шкале отношений определяются такие значения измеряемых размеров, как: равно (=), не равно (≠), больше (>), меньше (<), сумма (+), разница (– ), умножение (×), деление (:). Следовательно, с относительными величинами измеряемых размеров можно проводить многие логические и все арифметические действия.
Шкала отношений наиболее приемлема для измерений большинства показателей качества, особенно для таких численных характеристик, как геометрические размеры объектов, их плотность, сила, напряжение и прочих.
Шкала абсолютных величин используется в случаях, когда величина измеряется напрямую. Например, непосредственно подсчитывается число дефектов в изделии. Количество единиц производственной продукции и т.п. При таких измерениях на измерительной шкале отмечаются абсолютные количественные значения измеряемого. Такая шкала абсолютных значений обладает теми же свойствами, что и шкала отношений, с той лишь разницей, что величины, обозначенные на этой шкале, имеют абсолютные, а не относительные значения.
Результаты измерений по шкале абсолютных величин имеют наибольшую достоверность, информативность и чувствительность к неточным измерениям.
Шкалы интервалов, отношений и абсолютных величин называются метрическими, так как при их построении используются меры, т.е. размеры, принятые в качестве единиц измерений.
Характеристики, параметры или характеристики свойств объектов, измеряемые по шкале наименований или по шкале порядка, являются не количественными, а качественными , т.е. неопределенными по их истинной величине и по величине различий между ними. Размер, определенный по любой из метрических шкал, является количественной величиной, и сами эти шкалы являются количественными .
Квалиметрические шкалы, их определяющие отношения, измеряемые ими типы характеристик качества, а также некоторые примеры измеряемого приведены в табл. 4.1.
Каждая из квалиметрических шкал имеет свое значение и свою область применения, и поэтому они чаще всего не взаимозаменяемы при решении той или иной экспертной задачи. Умение определять субъективные вероятности – способность эксперта оценивать вероятность наступления определенных событий. Эксперты, которые не обладают такой способностью, не должны привлекаться к экспертизам, связанным с прогнозированием.
Умение определять субъективные вероятности при вынесении некоторых видов оценок. Например, при определении коэффициентов весомости некоторых событий эксперту иногда приходится использовать понятие субъективности вероятности их наступления. Зачастую прибегают к специальным тестам, с помощью которых можно оценить умение кандидата в эксперты точно определять субъективные вероятности.
Умение различать достаточное число градаций оцениваемого свойства – способность эксперта улавливать различия в интенсивности проявления каждого свойства. Эта способность в значительной мере обусловлена чувствительностью эксперта к самым незначительным изменениям свойств и показателей объектов экспертизы. Например, при органолептическом анализе испытателей проверяют на умение выявлять разницу во вкусах, запахах, оттенка цвета и др. От способности эксперта различать градации оцениваемого свойства зависит также точность индивидуальных и групповой экспертных оценок, поэтому тестовые испытания по выявлению указанной способности должны помочь отобрать в экспертную группу специалистов высокого качества.
Таблица 4.1 . Виды квалиметрических шкал
«Мы можем поставить перед собой цель нового уровня и другого масштаба – сделать российскую школу одной из лучших в мире» Владимир Путин
Последнее в уходящем году заседание Госсовета было посвящено теме, неизменно вызывающей бурные дискуссии в обществе – качеству школьного образования. Президент России Владимир Путин сформулировал амбициозную задачу: в ближайшие 10 лет российская система образования должна стать одной из лучших в мире.
Сделать для ее решения предстоит немало: построить и оснастить новые школы, внедрить в образовательный процесс передовые информационные технологии, создать новую систему мотивации и профессионального роста учителей. Фундаментом же всех будущих преобразований, направленных на повышение качества обучения, должно стать создание комплексной и объективной системы оценки знаний учащихся на всех уровнях образования. Как пояснил руководитель Рособрнадзора Сергей Кравцов, речь идет о стимулировании развития образования и формировании единого образовательного пространства через различные оценочные процедуры. «Нам необходимо выстроить полноценную систему, но для этого нужны результаты по всем ступеням образования, чтобы выявить и закрыть проблемные места», - сказал Сергей Кравцов.
Всероссийские проверочные работы, национальные исследования оценки качества образования, исследования компетенции учителей, и, конечно, результаты объективного ЕГЭ - все это вместе составит общероссийскую систему оценки качества образования. «Главная ее функция – не карать, а помогать развиваться, как ученикам, так и учителям. Это касается не только деятельности учебных заведений, но и исследования профессиональных компетенций педагогов», - отметил руководитель Рособрнадзора. Для проведения исследований всех уровней образования и обобщения их результатов ведомство уже создало Федеральный институт оценки качества образования (ФИОКО). Собранные им данные будут использоваться для совершенствования образовательных стандартов и повышения квалификации учителей. Кроме того, институт займется обобщением результатов всероссийских проверочных работ, которые будут проводить школы по итогам каждого учебного года. В этом году успешно опробованы механизмы проведения Всероссийских проверочных работ, Национальных исследований качества образования. Теперь важно, чтобы выводы по результатам этих исследований послужили основой до выработки системы поддержки слабых школ, созданию мотивации для расширения деятельности институтов повышения квалификации учителей.
«Не смотря на то, что нами уже сделаны уверенные шаги в обеспечении объективности системы оценки качества образования, по итогам Госсовета для себя мы получили дополнительные ориентиры», - сказал Сергей Кравцов.
По его словам, ориентация на объективность станет для Рособрнадзора ключевой задачей, а основной целью - получение реальных данных о качестве и результатах обучения для принятия дальнейших решений по совершенствованию системы образования. Федеральная служба по надзору в сфере образования и науки постоянно развивает различные инструменты объективной оценки качества образования и предпринимает шаги для усиления контроля за объективностью итоговой аттестации учащихся.
Так, ГИА в 9-х классах уже в следующем году пройдет под выборочным контролем общественных наблюдателей. Об этом недавно заявил руководитель ведомства Сергей Кравцов, выступая на конференции «Национальные исследования качества образования: итоги и перспективы».
По его словам, в школах необходимо объективно проводить все экзаменационные процедуры, а не только ЕГЭ, организуемый на федеральном уровне.
«Зачастую мы видим, что экзамены без федерального контроля проходят необъективно. Когда школьник получает по ГИА-9 хорошую оценку, не имея соответствующих знаний, а затем переходит в старшую школу, у него возникают проблемы при сдаче ЕГЭ», - отметил глава Рособрнадзора. Он добавил, что отсутствие должного контроля за экзаменами в девятых классах «дестимулирует школьников учиться», и только объективное проведение экзамена заставит школьников готовиться к нему ответственно.
Глава Рособрнадзора напомнил, что в текущем учебном году в рамках ГИА-9 школьникам предстоит сдавать не только обязательные русский язык и математику, но и два предмета по выбору. В Рособрнадзоре отмечают, что исследования качества образования свидетельствуют об ухудшении в ряде регионов успеваемости школьников после пятого класса. Наиболее проблемной зоной является основная школа, 6-8 классы, поэтому на работе с ней и повышении квалификации учителей основной школы необходимо сделать основной акцент.
Для выявления имеющихся пробелов в знаниях учащихся Рособрнадзор с 2014 года начал проводить национальные исследования качества образования (НИКО). В следующем году такие исследования пройдут по истории, обществознанию и иностранным языкам. Также, ведомством начата работа по исследованию профессиональных компетенций учителей, так как аттестация, которую проходят учителя, зачастую проводится формально и не выявляет проблемных зон в их работе. В этом учебном году Рособрнадзор проведет оценку компетенций учителей русского языка, математики и литературы. Сергей Кравцов выразил надежду, что еще одним инструментом объективной оценки знаний школьников смогут стать Всероссийские проверочные работы (ВПР), апробация которых прошла в декабре 2015 года. Их результаты будут заноситься в федеральную базу данных и анализироваться.
В Тамбовской области в апробации Всероссийских проверочных работ по математике и русскому языку приняли участие полторы тысячи четвероклассников из двенадцати школ. По информации региональных организаторов, ВПР прошли в штатном режиме.
Сама процедура проверочных работ не сильно отличалась от обычной контрольной. Школьники в течение одного урока (45 минут) выполняли задания по математике, которые призваны проверить умение считать и применять математические знания. Задания по русскому языку были разбиты на два дня. В первой части ребята писали диктант. Вторая часть работы по русскому включала задания на проверку грамотности чтения, а также задания, проверяющие знание основ системы русского литературного языка.
Для того чтобы разъяснить общественности суть Всероссийских проверочных работ, управлением образования и науки проведена акция «ВПР – это не ЕГЭ», в которой приняли участие журналисты практически всех региональных СМИ, а также родители четвероклассников гимназии №12 им. Г.Р. Державина города Тамбова. 8 декабря одновременно со школьниками взрослые смогли проверить свои знания. Для родителей гимназистов коллективом учреждения был подготовлен открытый урок математики, основу которого составили задания, включенные в ВПР. В это же время корреспонденты писали диктант и выполняли задания по русскому языку. Родители смогли убедиться, что ВПР никакой дополнительной нагрузки детям не несет. По окончании урока родители школьников и журналисты смогли пообщаться с региональными организаторами мероприятия. В ходе встречи директор Тамбовского центра экспертизы образовательной деятельности Олег Мексичев рассказал собравшимся о перспективах введения ВПР, а также о том, как повлияют результаты работ на итоговую успеваемость учащихся. В частности он подчеркнул, что ВПР - это не ЕГЭ, как многие утверждали. «Ничего подобного. В 4-м классе никакого ЕГЭ нет. Кроме того, в этом году итоговая оценка не будет зависеть от результатов ВПР», - отметил Олег Мексичев. Он пояснил, что из себя представляют Всероссийские проверочные работы. По его словам, результаты ВПР в первую очередь потребуются школе для корректировки учебной программы, для индивидуальной работы учителя с каждым ребенком, для работы заместителя директора с каждым учителем. «По результатам мы сможем судить, где учат лучше, где хуже, где нужно отрегулировать учебную программу. На основе этих данных можно будет управлять качеством образования», - сказал руководитель Центра экспертизы образовательной деятельности. ВПР призваны проверить, как вводится федеральный государственный образовательный стандарт на разных уровнях образования.
Отличие ВПР в том, что работы проводятся по единым заданиям, разработанным на федеральном уровне, и проверяются по единым критериям. Таким образом все дети находятся в равных условиях. По словам организаторов, в перспективе Всероссийские проверочные работы будут проводиться по итогам каждого учебного года, а внедрять их будут поэтапно: в 2016 году – для 4 классов, в 2017 году – для 4 и 5 классов и так далее.
Что касается развития объективной оценки знаний студентов, то одним из способов повышения качества вузовского образования, по словам Сергея Кравцова, должна стать оценка знаний учащихся со стороны работодателей.
Текущая оценка представляет собой процедуру оценки индивидуального продвижения в освоении программы учебного предмета. Текущая оценка может быть формирующей, т.е. поддерживающей и направляющей усилия учащегося, и диагностической, способствующей выявлению и осознанию учителем и учащимся существующих проблем в обучении. Объектом текущей оценки являются тематические планируемые результаты, этапы освоения которых зафиксированы в тематическом планировании. В текущей оценке используется весь арсенал форм и методов проверки (устные и письменные опросы, практические работы, творческие работы, индивидуальные и групповые формы, само- и взаимооценка, рефлексия, листы продвижения и др.) с учётом особенностей учебного предмета и особенностей контрольно-оценочной деятельности учителя.Результаты текущей оценки являются основой для индивидуализации учебного процесса; при этом отдельные результаты, свидетельствующие об успешности обучения и достижении тематических результатов в более сжатые (по сравнению с планируемыми учителем) сроки могут включаться в систему накопленной оценки и служить основанием, например, для освобождения ученика от необходимости выполнять тематическую проверочную работу 11 .
Тематическая оценка представляет собой процедуру оценки уровня достижения тематических планируемых результатов по предмету, которые фиксируются в учебных методических комплектах, рекомендованных Министерством образования и науки РФ. По предметам, вводимым образовательной организацией самостоятельно, тематические планируемые результаты устанавливаются самой образовательной организацией. Тематическая оценка может вестись как в ходе изучения темы, так и в конце её изучения. Оценочные процедуры подбираются так, чтобы они предусматривали возможность оценки достижения всей совокупности планируемых результатов и каждого из них. Результаты тематической оценки являются основанием для коррекции учебного процесса и его индивидуализации.
Портфолио представляет собой процедуру оценки динамики учебной и творческой активности учащегося, направленности, широты или избирательности интересов, выраженностипроявлений творческой инициативы, а такжеуровня высших достижений , демонстрируемых данным учащимся. В портфолио включаются как работы учащегося (в том числе – фотографии, видеоматериалы и т.п.), так и отзывы на эти работы (например, наградные листы, дипломы, сертификаты участия, рецензии и проч.).Отбор работ и отзывов для портфолио ведётся самим обучающимся совместно с классным руководителем и при участии семьи. Включение каких-либо материалов в портфолио без согласия обучающегося не допускается. Портфолио в части подборки документов формируется в электронном виде в течение всех лет обучения в основной школе. Результаты, представленные в портфолио, используются при выработке рекомендаций по выбору индивидуальной образовательной траектории на уровне среднего общего образования и могут отражаться в характеристике.
Внутришкольный мониторинг представляет собой процедуры:
оценки уровня достижения предметных и метапредметных результатов ;
оценки уровня достижения той части личностных результатов , которые связаны с оценкой поведения, прилежания, а также с оценкой учебной самостоятельности, готовности и способности делать осознанный выбор профиля обучения;
оценки уровня профессионального мастерства учителя , осуществляемого на основе административных проверочных работ, анализа посещенных уроков, анализа качества учебных заданий, предлагаемых учителем обучающимся.
Содержание и периодичность внутришкольного мониторинга устанавливается решением педагогического совета. Результаты внутришкольного мониторинга являются основанием для рекомендаций как для текущей коррекции учебного процесса и его индивидуализации, так и для повышения квалификации учителя. Результаты внутришкольного мониторинга в части оценки уровня достижений учащихся обобщаются и отражаются в их характеристиках.
Промежуточная аттестация представляет собой процедуру аттестации обучающихся на уровне основного общего образования и проводится в конце каждой четверти (или в конце каждого триместра) и в конце учебного года по каждому изучаемому предмету. Промежуточная аттестация проводится на основе результатов накопленной оценки и результатов выполнения тематических проверочных работ и фиксируется в документе об образовании (дневнике).
Промежуточная оценка, фиксирующая достижение предметных планируемых результатов и универсальных учебных действий на уровне не ниже базового, является основанием для перевода в следующий класс и для допуска обучающегося к государственной итоговой аттестации. В период введения ФГОС ООО в случае использования стандартизированных измерительных материалов критерий достижения/освоения учебного материала задается как выполнение не менее 50% заданий базового уровня или получения 50% от максимального балла за выполнение заданий базового уровня. В дальнейшем этот критерий должен составлять не менее 65%.
Порядок проведения промежуточной аттестации регламентируется Федеральным законом «Об образовании в Российской Федерации» (ст.58) и иными нормативными актами.
Государственная итоговая аттестация
В соответствии со статьей 59 Федерального закона «Об образовании в Российской Федерации» государственная итоговая аттестация (далее – ГИА) является обязательной процедурой, завершающей освоение основной образовательной программы основного общего образования. Порядок проведения ГИА регламентируется Законом и иными нормативными актами 12 .
Целью ГИА является установление уровня образовательных достижений выпускников. ГИА включает в себя два обязательных экзамена (по русскому языку и математике). Экзамены по другим учебным предметам обучающиеся сдают на добровольной основе по своему выбору. ГИА проводится в форме основного государственного экзамена (ОГЭ) с использованием контрольных измерительных материалов, представляющих собой комплексы заданий в стандартизированной форме и в форме устных и письменных экзаменов с использованием тем, билетов и иных форм по решению образовательной организации (государственный выпускной экзамен – ГВЭ).
Итоговая оценка (итоговая аттестация) по предмету складывается из результатов внутренней и внешней оценки. К результатамвнешней оценки относятся результаты ГИА. К результатамвнутренней оценки относятся предметные результаты, зафиксированные в системе накопленной оценки и результаты выполнения итоговой работы по предмету. Такой подход позволяет обеспечить полноту охвата планируемых результатов и выявить коммулятивный эффект обучения, обеспечивающий прирост в глубине понимания изучаемого материала и свободе оперирования им. По предметам, не вынесенным на ГИА, итоговая оценка ставится на основе результатов только внутренней оценки.
Итоговая оценка по предмету фиксируется в документе об уровне образования государственного образца – аттестате об основном общем образовании.
Итоговая оценка по междисциплинарным программам ставится на основе результатов внутришкольного мониторинга и фиксируется в характеристике учащегося.
Характеристика готовится на основании:
объективных показателей образовательных достижений обучающегося на уровне основного образования,
портфолио выпускника;
экспертных оценок классного руководителя и учителей, обучавших данного выпускника на уровне основного общего образования.
В характеристике выпускника:
отмечаются образовательные достижения обучающегося по освоению личностных, метапредметных и предметных результатов;
даются педагогические рекомендации к выбору индивидуальной образовательной траектории на уровне среднего общего образования с учётом выбора учащимся направлений профильного образования, выявленных проблем и отмеченных образовательных достижений.
1. Общие правила проведения оценочных процедур.
1) Любые процедуры, проводимые в рамках ЦО, должны быть направлены на целевой сбор максимально широкой диагностической информации, в отличие от использования тех же самых методов в целях консультирования или обучения. Все действия эксперта во время проведения оценки должны быть направлены на сбор информации об актуальных возможностях испытуемого, а не на обучение, консультирование или терапию. Конечно, само участие испытуемого в программе оценки дает ему возможность познакомиться с новыми способами организации работы, оценить уровень своей подготовленности и развития определенных качеств, но это скорее дополнительный результат.
2) В процессе оценки условия работы всех испытуемых должны быть выравнены, необходимо максимально снизить влияние побочных факторов, которые могут повлиять на результат.
При проведении оценки необходимо быть уверенным в том, что все различия в проявлениях, показанные испытуемыми в рамках одной программы, связаны с различной степенью выраженности оцениваемых качеств, а не с разными условиями работы.
3) В процессе оценки существенно получить достоверную информацию о поведении испытуемого в обычной ситуации. Поэтому при проведении оценочных процедур важно попытаться снизить «эффект экспертизы», когда оцениваемый ведет себя не так, как в реальной ситуации, а в соответствии с ожиданиями эксперта.
Тесты, применяемые в программах ЦО, направлены в первую очередь на сбор предварительной информации (построения гипотез) об уровне развития личностно-деловых качеств, психологических особенностях, существенных для эффективной профессиональной деятельности. Эта информация может быть уточнена в ходе проведения специальных упражнений, групповых взаимодействий, интервью, ролевых игр и т.д.
1) перед каждым тестом или упражнением должна быть дана очень точная и строгая инструкция, которая может включать:
Описание порядка работы (этапов упражнения, правил фиксации результата, состава материалов, которые должны быть сданы в конце упражнения и т.д.);
Правила поведения во время выполнения упражнения (временной регламент, перечень средств, которыми можно пользоваться, когда и как можно задавать вопросы, можно ли прерывать работу и т.д.);
3) в процессе заполнения тестов целесообразно проводить наблюдения за тем, как работают участники - это даст возможность собрать дополнительную информацию о психологических и деловых качествах.
В программах ЦО групповые упражнения дают возможность собрать информацию, которая представляет реальное поведение человека в ситуациях, близких к обычным трудовым ситуациям. Получаемая информация, в сопоставлении с данными тестовых процедур и письменных упражнений, дает возможность уточнить гипотезы об индивидуальных особенностях и конкретизировать репертуар поведенческих средств.
3. К общим правилам проведения групповых упражнений необходимо отнести следующие:
1) ведущий групповой работы (фасилитатор) - должен построить работу группы таким образом, чтобы дать возможность максимально проявиться самим участникам. Лишь, когда его вмешательство может помочь наблюдателям лучше увидеть особенности испытуемых, возможны активные действия. Работу фасилитатора уместно сравнить с работой ассистента фокусника, который не виден, но без которого ни один из задуманных трюков не получится. Он должен быть всегда готов направить групповую работу в то русло, которое дало бы возможность показать каждому участнику, на что он способен. Для успешного выполнения своей роли фасилитатору важно: завоевать авторитет группы и каждого участника, получить своеобразный «вотум доверия» от группы, иначе его действия могут блокироваться, оставлять за собой возможность гибкого ведения групповой работы;
2) желательно, чтобы наблюдатели групповых упражнений минимально включались в групповую работу и не пытались самостоятельно воздействовать на поведение конкретного участника или групповой процесс в целом, так как такое дополнительное стимулирование может существенно исказить картину поведения.
Заканчивать работу всех участников ЦО целесообразно общей встречей. Цель подобной встречи - подведение итогов дня, символическое завершение работы, снятие напряжения и выход из контакта. Как правило, все участники ЦО (и испытуемые, и эксперты) после целого дня интенсивной работы чувствуют как психическую, так и физическую усталость. После участия в некоторых процедурах у участников может появиться чувство неудовлетворенности. Чтобы снять напряжение, необходимо ответить на все возникшие вопросы, представить дополнительную информацию, если она запрашивается. Полезно рассказать о том, где уже применялась данная конкретная программа, сколько человек в ней участвовало, еще раз напомнить о строгой конфиденциальности полученной информации. Если есть возможность, провести процедуру «обратной связи» - представления индивидуальных результатов, необходимо договориться о дне, времени и месте ее проведения.
Анализ результатов и оформление материалов для передачи заказчику
Информация, полученная по результатам может очень широко использоваться в различных кадровых программах. В зависимости от целей проведения ЦО способ представления результатов может варьироваться. В табл. 4 представлены основные способы представления итоговой информации в зависимости от того, с какой целью проводился центр оценки.
Таблица 4
После проведения программы ЦО данные об испытуемых, полученные в ходе проведения различных процедур, должны быть проанализированы, сопоставлены и превращены в полноценную информацию. Можно выделить несколько этапов прохождения и обработки информации:
1) первичная обработка результатов тестов, специальных и групповых упражнений;
2) перевод полученных результатов в индикаторы по критериям оценки;
3) оценивание - перевод индикаторов в балльные оценки по критериям;
4) сопоставление балльных оценок, полученных по одному критерию в разных процедурах, формирование итоговой балльной оценки и подготовка индивидуальных таблиц оценок;
6) подготовка обобщенных материалов по группе оцениваемых - ранжированных списков, карт распределения персонала.
Результаты тестов оцениваются специалистами-психодиагностами, которые готовят свой проект заключения о степени выраженности оцениваемых личностно-деловых качеств. Такую же предварительную индивидуальную оценку проводят специалисты, обрабатывающие результаты специальных упражнений. Для повышения объективности целесообразно привлекать к работе одновременно нескольких специалистов и затем сопоставлять полученные результаты.
Результаты групповых упражнений первоначально обобщаются в группах фасилитаторов и наблюдателей, которые сопоставляют результаты поведенческой диагностики, уточняют первичные данные, формулируют гипотезы о степени проявленности оцениваемых качеств.
Итоговое обсуждение - процедура сведения результатов оценки по различным процедурам - обычно проводится в форме группового обмена мнениями. В ходе такого общего обсуждения появляется возможность сопоставить проявления оцениваемыми одних и тех же качеств, показанные в различных процедурах, проверить гипотезы, сформированные частными специалистами, прийти к окончательному решению о том, как может быть оценен уровень развития качеств испытуемого, что может способствовать или препятствовать его эффективной работе, высказать предположения о перспективах роста и предпочитаемых областях деятельности сотрудника.
Пример структуры итогового заключения
1. Общее заключение по конкретному участнику ЦО (по пятибалльной шкале).
2. Описание слабых и сильных сторон участника.
3. Предложения по развитию качеств и отработки навыков, а также конкретные предложения в связи с продвижением.
I. Общее заключение:
(1.1) каким казался участник до начала оценки
(1.3) какое произвел впечатление
(1.4) другие данные (возраст, способности, наклонности, частичный анализ результатов прежней работы)
(1.5) характеристика качеств, способностей, присущих или недостающих участнику как руководителю
(1.6) характеристика участника в процессе выполнения отдельных упражнений, анализ поведения с точки зрения качеств, необходимых руководителю:
Способность к лидерству
Умение общаться с людьми взаимоотношения в группе
Стиль общения в свободное от работы время (в перерывах) почерк
2. Описание сильных и слабых сторон участника ЦО
(2.1) перечисление
(2.2) общие наблюдения:
общее впечатление
ораторское искусство
способность к коммерции
чуткость
целеустремленность
способность к критичным суждениям
способность к планированию и организации...
3. Предложения по результатам ЦО о возможности продвижения:
(3.1) предложения о том, что нужно предпринять лично участнику для преодоления своих недостатков
Информация о личностных особенностях может помочь при объявлении результатов ЦО. Это важно еще и потому, что в девяти из десяти случаев результаты оценки объявляются непосредственным руководителем.
Опыт проведения программ центров оценки персонала свидетельствует, если работа заканчивается подготовкой индивидуальных заключений, то получаемая информация используется лишь частично. При этом в ряде случаев появляется возможность, используя полученные результаты, провести специальный анализ кадрового состояния организации - кадровый аудит.
Понятие «кадровый аудит» - новое в практике кадрового менеджмента - включает следующие элементы:
Оценку уровня профессиональной обеспеченности организации - количества и качества специалистов, работающих на различных уровнях и направлениях;
Оценку, степени готовности организации к изменениям;
Выявление существующих в организации типов организационной культуры;
Построение прогноза развития организации и оценку степени реализуемости поставленных целей;
1. Суть технологии ЦO состоит в том, чтобы в модельных ситуациях, типичных для выполняемой деятельности, пронаблюдать кандидата и выявить наличие или отсутствие у него необходимых для успешной работы качеств, дать описание его особенностей и сформулировать задачи на обучение.
2. Требования к оценочной технологии состоят в том, чтобы персонал был оценен объективно, с высокой степенью надежности, достоверности, комплексности и доступности, при этом необходимо обеспечить возможность прогноза и встраивания в общую систему кадровой работы в организации.
3. Основные принципы, лежащие в основе технологии ЦО: 1) моделирование ключевых моментов деятельности, 2) разработка системы критериев оценки, 3) взаимодополнительность используемых техник и упражнений, 4) включение в процесс оценивания специально подготовленных наблюдателей из числа сотрудников организации, 5) оценка реального поведения, а не гипотезы о его причинах.
4. В методологии ЦО слились воедино три теоретических подхода к изучению проявлений человека: психометрия, социально-психологические и антропологические принципы описания поведения и клиническое наблюдение.
5. К основным методам, применяемым в центрах опенки, относятся: 1) специальные упражнения, 2) интервью, 3) групповые упражнения, 4) психологические тесты и 5) организационно-управленческие игры.
Список литературы
Для подготовки данной работы были использованы материалы с сайта http://www.i-u.ru/
Оценки; 3) конструирование процедур оценки; 4) обучение экспертов (наблюдателей-оценщиков); 5) реализация программы ЦО; 6) анализ результатов и оформление материалов для передачи заказчику. 2.ОСОБЕННОСТИ ЦЕНТРА ОЦЕНКИ ПЕРСОНАЛА В СОЦИАЛЬНОЙ СФЕРЕ Специфика труда в социальной сфере заключена в том, что он теснейшим образом связан с общением. Зачастую сама успешность работы зависит от...
От 1 до 5 дней (в зависимости от количества работающих экспертов и количества оцениваемых), обработка результатов и подготовка отчетов (для 30 чел) – примерно месяц. Основные методы, применяемые в центрах оценки Выполнение управленческих действий. За отводимые на выполнение задания два часа испытуемый должен ознакомиться с некоторыми инструкциями, деловыми бумагами, приказами и другими материалами...
