Home / Педагогика, психология, конфликтология / Мельков С.А., Хайрутдинова И.П., Шитова Е.П. Экспертный опрос о необходимости изменения процесса подготовки и сдачи экзаменов (зачетов)

Мельков С.А., Хайрутдинова И.П., Шитова Е.П. Экспертный опрос о необходимости изменения процесса подготовки и сдачи экзаменов (зачетов)

Мельков Сергей Анатольевич – заведующий кафедрой

государственного и муниципального управления

Академии гражданской защиты МЧС России

доктор политических наук, профессор

304304@mail.ru

Хайрутдинова Ирина Павловна – начальник отдела
(мониторинга и управления качеством образования)
центра (учебно-методического)

Академии гражданской защиты МЧС России

irina-geo@bk.ru

Шитова Евгения Павловна – студент 1-го курса

Академии гражданской защиты МЧС России

(направление «Государственное и муниципальное
управление», уровень магистратуры)

eva1899@mail.ru

 

Экспертный опрос о необходимости изменения процесса подготовки и сдачи
экзаменов (зачетов)

Expert poll on the need to change the process of preparation and delivery

Examinations (tests)

 

Аннотация: в статье подготовлен и проведен экспертный опрос педагогов и сотрудников Академии гражданской защиты по выяснению их оценки качества подготовительной работы в вузе к экзаменам и зачетам и проведения экзаменов и зачетов. Авторами были сформулированы показатели оценки. Авторами статьи были сформулированы зависимости качества подготовки консультаций от пяти показателей. Авторами статьи были сформулированы зависимости качества проведения экзаменов и зачетов от пяти показателей. Применен метод попарных сравнений.

Статья подготовлена в рамках научной школы «Государственная политика и управление», функционирующей на постоянной основе в Академии гражданской защиты МЧС России.

Abstract: in the article an expert survey of teachers and employees of the Academy of Civil Protection was prepared and conducted to determine their assessment of the quality of preparatory work in the university for examinations and tests and examinations and tests. The authors formulated the evaluation indicators. The authors of the article formulated the dependence of the quality of preparation of consultations on five indicators. The authors of the article formulated the dependencies of the quality of examinations and tests on five indicators. The method of pairwise comparisons is applied.

The article was prepared within the framework of the scientific school «State Policy and Management», functioning on a permanent basis in the Civil Defense Academy EMERCOM of Russia.

Ключевые слова: анализ, бакалавриат, важность предоставления достаточного количества времени, зачет, качество консультаций, критерий, магистратура, метод попарных оценок, метод экспертных оценок, посещаемость консультаций, оценка качества, оценка ответов студентов, ситуационный анализ, соответствие предлагаемых на экзамене (зачете) вопросов и заданий содержанию учебной программы, экзамен, экспертный опрос.

Keywords: analysis, bachelor’s degree, importance of providing sufficient time, offset, quality of consultations, criteria, magistracy, method of pairwise assessments, peer review method, attendance of consultations, quality assessment, student responses, situational analysis, Questions and assignments to the content of the curriculum, examination, expert survey.

 

Рецензия

Текст статьи в PDF

 

Актуализация темы исследования и постановка проблемы. В Академии гражданской защиты МЧС России не так давно – осенью 2016 года – был проведен первый педагогический эксперимент [1, 2, 3]. В ходе него, много общаясь со студентами и с педагогами именно по тематике качества образовательного процесса, мы обнаружили значительное количество разнообразных точек зрения (и желания поговорить, кстати, тоже) на такую его часть, как подготовка к сдаче (качество консультаций) и непосредственно сдача экзаменов (зачетов).

По всей видимости, полагаем, данная проблема наличия разных мнений и подходов на подготовку к зачетам и экзаменам и на их проведение – имеет место.

  1. Есть определенная часть педагогов и студентов, которым нравятся ВСЕ занятия в виде устного публичного обмена мнениями. И экзамен (зачет) может, по сути, стать устной беседой «приятных и умных людей» – так может быть в теории.
  2. Другая часть педагогов и студентов любит решать во время аудиторных занятий задачи и задачки, кейсы, письменно выполнять иные практические задания. Они предпочитают контрольные формы занятий (экзамены, зачеты) также проводить в основном письменно.
  3. И, наконец, мы выявили третью группу педагогов и обучающихся, у которых четкая позиция по этой проблеме отсутствует.

На эту проблему можно взглянуть иначе. Так, фактически сложно сегодня найти педагогов, которые были бы довольны качеством подготовки студентов к экзаменам и зачетам [6; 7, С. 92–96]. И наоборот, как правило, хватает студентов, которые не удовлетворены теми или иными педагогами (особенно, в устных приватных беседах со студентами). Но что нам дает это взаимное недовольство или неудовлетворение?

Методология анализа. Выступив в качестве экспертов-консультантов, авторы данной статьи действовали по следующему алгоритму:

– разбили интересующий нас процесс на 2 части: качество консультаций и качество проведения зачетов и экзаменов (см. таблицы 1, 2);

– по каждой из этих частей нами были сформированы по 5 критериев в виде некоторых зависимостей[1] (см. таблицы 1, 2 и 3);

– получившиеся критерии (зависимости) были предложены 2-м группам экспертов[2] для оценки по пятибалльной шкале важности: от «совсем не важно» до «очень важно» (см. таблицу 3 с общими оценками, без разбиения их на группы экспертов);

– затем методом попарных сравнений был определен числовой вес критериев по результатам экспертной оценки (см. таблицу 5);

– затем методом попарных сравнений были определены числовые веса критериев отдельно по оценкам преподавателей и сотрудников (см. таблицы 7-12).

Анализ проблемы. Итак, мы разбили интересующий нас процесс на 2 части: качество консультаций и качество проведения зачетов и экзаменов. Затем нами были сформированы показатели по оценке качества консультаций (см. таблицу 1).

Таблица 1

1. Глубокий анализ на кафедре наиболее типичных ошибок и затруднений студентов в процессе освоения учебной программы.
2. Полные, деликатные и тактичные ответы педагога на все поставленные студентами вопросы.
3. Доступность рекомендуемых педагогом источников для подготовки к экзамену (зачету).
4. Возможность обучающимся с помощью рекомендуемых педагогом источников в полной мере подготовиться к экзамену (зачету).
5. Личная посещаемость обучающимися консультаций.

 

Далее нами были сформированы показатели по оценке качества проведения экзаменов и зачетов (см. таблицу 2).

Таблица 2

1. Соответствие предлагаемых на экзамене (зачете) вопросов и заданий содержанию учебной программы дисциплины.
2. Объективность при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов.
3. Аргументированность причины или доводы при выставлении оценки за экзамен (зачет).
4. Предоставление достаточного количества времени для подготовки и полного ответа по всем вопросам проводимого зачета и/или экзамена.
5. Наличие в вопросах билета экзамена (зачета) практических заданий (кейсов, задач, нормативов и т.д.).

Затем нами были сформулированы некоторые зависимости (см. таблицу 3) и для анализа значимости этих зависимостей был проведен экспертный опрос. Суммарные значения оценок экспертов (всего было опрошено 26 человек – экспертов) по каждому зависимости представлены в таблице 3.

Таблица 3

Общее количество оценок экспертов по критериям

Показатели (зависимости) Оценки экспертов
Совсем не важно Не важно Затрудн. ответить Важно Очень важно
Оценка качества консультаций
1. Укажите, насколько важен глубокий анализ на кафедре наиболее типичных ошибок и затруднений студентов в процессе освоения учебной программы 1     20 5
2. Укажите, насколько важно для Вас полно, деликатно и тактично отвечать на все поставленные студентами вопросы 1 10 15
3. Укажите, как Вы оцениваете степень важности доступности рекомендуемых Вами источников для подготовки к экзамену (зачету) 2 2 15 7
4. Укажите, как Вы оцениваете степень важности возможности обучающимся с помощью рекомендуемых Вами источников в полной мере подготовиться к экзамену (зачету) 3 2 13 8
5. Укажите степень влияния личной посещаемости обучающимися консультаций на успешную сдачу экзамена (зачета) 8 2 10 5
Оценка качества проведения экзаменов и зачетов
1. Укажите, какое значение Вы придаете соответствию предлагаемых на экзамене (зачете) вопросов и заданий содержанию учебной программы 1   14 10
2. Укажите, какое значение Вы придаете объективности при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов 1 1 10 14
3. Насколько важно, по Вашему мнению, аргументировать причины или доводы при выставлении оценки за экзамен (зачет) 3 11 12
4. Как Вы оцениваете степень важности предоставления достаточного количества времени для подготовки и полного ответа по всем вопросам проводимого Вами зачета и/или экзамена 4   16 6
5. Оцените, насколько важным является наличие в вопросах билета экзамена (зачета) практических заданий (кейсов, задач, нормативов и т.д.) 1 1 3 11 10

Далее, с использованием метода попарных сравнений, каждому критерию были присвоены сравнительные числовые значения:

Таблица 4

Применение метода попарных сравнений

 

 Оценка качества консультаций
К1 К2 К3 К4 К5
К1 1 0,3 3 3 5
К2 3 1 3 5 7
К3 0,3 0,3 1 3 5
К4 0,3 0,2 0,3 1 5
К5 0,2 0,1 0,2 0,2 1
Оценка качества проведения экзаменов и зачетов
К1 К2 К3 К4 К5
К1 1 0,3 0,3 5 3
К2 3 1 3 7 5
К3 3 0,3 1 5 5
К4 0,2 0,1 0,2 1 0,3
К5 0,3 0,2 0,2 3 1

Числовые оценки критериев в таблице 4 были получены, исходя из следующей шкалы: 1 – равный вклад двух критериев в цель, 3 – умеренное превосходство одного над другим, 5 – существенное или сильное превосходство, 7 – значительное превосходство. Для каждого критерия из таблицы 4 был получен собственный вес[3], соответствующий экспертным оценкам из таблицы 3.

Таблица 5

Числовой вес критериев по результатам экспертной оценки качества консультаций

Критерий Числовой вес
1

 

 Важность глубокого анализа на кафедре наиболее типичных ошибок и затруднений студентов в процессе освоения учебной программы 0,2495

 

2

 

Необходимость полно, деликатно и тактично отвечать на все поставленные студентами вопросы 0,4587

 

3

 

Необходимость аргументировать причины или доводы при выставлении оценки за экзамен (зачет) 0,1608

 

4

 

Степень важности возможности обучающимся с помощью рекомендуемых Вами источников в полной мере подготовиться к экзамену (зачету) 0,0935

 

5

 

Степень влияния личной посещаемости обучающимися консультаций на успешную сдачу экзамена (зачета) 0,0375

 

 Как видно в таблице 5, наибольший числовой вес получен по 2-й зависимости: «Необходимость полно, деликатно и тактично отвечать на все поставленные студентами вопросы» (в таблице 5 выделена жирным шрифтом). На 2-м месте 1-я зависимость, и соответственно на 3-м месте – 3-я зависимость. Для усиления восприятия полученного в таблице 5 результата, мы специально представили его в виде диаграммы (см. диаграмму 1).

Диаграмма 1. Вес критериевпо общей оценке экспертов

Таким образом, по экспертной оценке 2-й критерий был выбран как самый приоритетный, на втором месте – 1 критерий (вес К1 на 46 % меньше, чем К2), на третьем – 3 критерий (на 65 % и 36 % меньше, чем К2 и К1 соответственно). Минимальный вес получил 5 критерий – «степень влияния личной посещаемости студентами консультаций на успешную сдачу экзамена» (зачета). Выводы, надеемся, будут сделаны руководством кафедры и вуза.

Таблица 6

Числовой вес критериев по оценке качества проведения экзаменов и зачетов

Критерий Числовой вес
1

 

Значение соответствия предлагаемых на экзамене (зачете) вопросов и заданий содержанию учебной программы 0,1586

 

2

 

Значение объективности при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов 0,4526

 

3

 

Значение аргументации причин или доводов при выставлении оценки за экзамен (зачет) 0,2726

 

4

 

Важность предоставления достаточного количества времени для подготовки и полного ответа по всем вопросам проводимого зачета и/или экзамена 0,0409

 

5

 

Важность наличия в вопросах билета экзамена (зачета) практических заданий (кейсов, задач, нормативов и т.д.) 0,0752

 

Как видно в таблице 6, наибольший числовой вес также получен по 2-й зависимости: «Значение объективности при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов» (в таблице 6 выделена жирным шрифтом). На 2-м месте 3-я зависимость, и соответственно на 3-м месте – 1-я зависимость. Для усиления восприятия полученного в таблице 6 результата, мы специально представили его в виде диаграммы (см. диаграмму 2).

 

Диаграмма 2. Вес критериев по общей оценке экспертов

По экспертной оценке качества проведения экзаменов и зачетов 2 критерий получил наибольший вес, на втором месте – 3 критерий (вес К1 на 40 % меньше, чем К2), на третьем – 1 критерий (на 65 % и 42 % меньше, чем К2 и К3 соответственно). Минимальный вес по общей оценке получил 4 критерий – «Важность предоставления достаточного количества времени для подготовки и полного ответа по всем вопросам проводимого зачета и/или экзамена».

Далее авторы статьи провели аналогичный анализ, но уже раздельно по группам экспертов (отдельно педагоги и отдельно – сотрудники). Представляем применение метода попарных сравнений для определения веса критериев отдельно по оценкам преподавателей и сотрудников:

Таблица 7

Преподаватели. Анкета 1 по оценке качества консультаций

К1 К2 К3 К4 К5
К1 1 0,3 3 3 5
К2 3 1 5 5 7
К3 0,3 0,2 1 3 5
К4 0,3 0,2 0,3 1 3
К5 0,2 0,1 0,2 0,3 1

Таблица 8

Сотрудники. Анкета 1 по оценке качества консультаций

К1 К2 К3 К4 К5
К1 1 0,2 0,3 0,3 3
К2 5 1 3 3 7
К3 3 0,3 1 1 5
К4 3 0,3 1 1 5
К5 0,3 0,1 0,2 0,2 1

Таблица 9

Числовой вес критериев по 1 анкете по оценке качества консультаций

Критерий Числовой вес
Преподава-тели Сотруд-ники Разница
1

 

 Важность глубокого анализа на кафедре наиболее типичных ошибок и затруднений студентов в процессе освоения учебной программы 0,2426 0,0857 0,1569
2

 

Необходимость полно, деликатно и тактично отвечать на все поставленные студентами вопросы 0,4939 0,4656 0,0283
3

 

Необходимость аргументировать причины или доводы при выставлении оценки за экзамен (зачет) 0,1411 0,2033 0,0622
4

 

Степень важности возможности обучающимся с помощью рекомендуемых Вами источников в полной мере подготовиться к экзамену (зачету) 0,0821 0,2033 0,1212
5

 

Степень влияния личной посещаемости обучающимися консультаций на успешную сдачу экзамена (зачета) 0,0403 0,0421 0,0018

Как видно в таблице 9, наибольший числовой вес и у педагогов, и у сотрудников получен по 2-й зависимости: «Необходимость полно, деликатно и тактично отвечать на все поставленные студентами вопросы» (в таблице 9 выделена жирным шрифтом). На 2-м месте у педагогов 1-я зависимость, и соответственно на 3-м месте – 3-я зависимость. А у сотрудников вуза наоборот: 2-м месте у сотрудников 3-я зависимость, и соответственно на 3-м месте – 1-я зависимость Для усиления восприятия полученного в таблице 9 результата, мы далее специально представили его в виде диаграммы (см. диаграмму 3).

Диаграмма 3. Сравнение весов критериев по 1 анкете
между преподавателями и сотрудниками

Наибольшая разница обнаружены по 1-му критерию – «Важность анализа на кафедре наиболее типичных ошибок и затруднений студентов в процессе освоения учебной программы» (см. таблицу 9, выделена жирным шрифтом в правом столбце). Не думаем, что мы уже сейчас готовы понять: почему здесь наиболее существенной является разница между педагогами и сотрудниками. Может быть потому, что опрошенные в качестве экспертов сотрудники вуза не работали и/или не работают в настоящее время на кафедре? Над этим еще предстоит как следует подумать [5].

Таблица 10

Преподаватели. Анкета 2 по оценке качества проведения экзаменов и зачетов

К1 К2 К3 К4 К5
К1 1 0,3 3 7 5
К2 3 1 3 7 5
К3 0,3 0,3 1 5 3
К4 0,1 0,1 0,2 1 0,3
К5 0,2 0,2 0,3 3 1

Таблица 11

Сотрудники. Анкета 2 по оценке качества проведения экзаменов и зачетов

К1 К2 К3 К4 К5
К1 1 0,3 0,3 5 3
К2 3 1 1 7 5
К3 3 1 1 7 5
К4 0,2 0,1 0,1 1 0,3
К5 0,3 0,2 0,2 3 1

Таблица 12

Числовой вес критериев по 2 анкете по оценке качества
проведения экзаменов и зачетов

Критерий Числовой вес
Преподава-

тели

Сотруд-

ники

Разница
1

 

Значение соответствия предлагаемых на экзамене (зачете) вопросов и заданий содержанию учебной программы 0,2869 0,1588 0,1281
2

 

Значение объективности при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов 0,4453 0,3638 0,0815
3

 

Значение аргументации причин или доводов при выставлении оценки за экзамен (зачет) 0,1561 0,3638 0,2077
4

 

Важность предоставления достаточного количества времени для подготовки и полного ответа по всем вопросам проводимого Вами зачета и/или экзамена 0,0377 0,0383 0,0006
5

 

Важность наличия в вопросах билета экзамена (зачета) практических заданий (кейсов, задач, нормативов и т.д.) 0,074 0,0753 0,0013

Как видно в таблице 12, наибольший числовой вес и у педагогов, и у сотрудников получен по 2-й зависимости: «Значение объективности при выставлении оценок, тактичности в замечаниях или комментариях при оценке ответов студентов» (в таблице 12 выделена жирным шрифтом). Обратим лишь внимание, что у сотрудников 3-я зависимость «Значение аргументации причин или доводов при выставлении оценки за экзамен (зачет)» набрала одинаковый со 2-й зависимостью числовой вес (также выделена жирным шрифтом). На 2-м месте у педагогов 1-я зависимость, и соответственно на 3-м месте – 3-я зависимость. А у сотрудников вуза на 3-м месте – 1-я зависимость. Для усиления восприятия полученного в таблице 12 результата, мы далее специально представили его в виде диаграммы (см. диаграмму 4).

Диаграмма 4. Сравнение весов критериев по 2 анкете
между преподавателями и сотрудниками

Наибольшая разница по 3 критерию – «Значение аргументации причин или доводов при выставлении оценки за экзамен (зачет)» (см. таблицу 12, выделена жирным шрифтом в правом столбце). Не думаем, что мы уже сейчас готовы понять: почему здесь наиболее существенной является разница между педагогами и сотрудниками. Над этим еще предстоит как следует подумать [5].

Краткие выводы по статье. Полученные авторами статьи результаты и примененные ими методы, полагаем, можно использовать:

– при подготовке и проведении педагогических экспериментов;

– в работе отдела качества образования центра (учебно-методического) данного вуза;

– развеять некоторые мифы и легенды о «плохих» или «очень плохих», «злых» или «очень злых» педагогах. Авторы данной статьи вообще считают, что бесполезно думать о педагоге как о плохом или хорошем, поскольку педагог – это «поводырь»;

– во время внесения изменений в тематические планы и учебные программы конкретных учебных дисциплин. Авторы данной статьи считают, что время многочисленных семинаров и преимущественно теоретического изучения дисциплин общественно-гуманитарного профиля давно прошло (более оптимальными являются практикумы и тренинги). На это нацеливают и Федеральные государственные образовательные стандарты поколения 3+, где вузам предоставлена широкая инициатива [4]. Поэтому уместно более широкое применение во время консультаций, экзаменов и зачетов решения задач, учебных кейсов, практических примеров и т.п.;

– аналогичное исследование есть смысл провести на студентах для изучения их оценок качества консультаций и качества проведения экзаменов и зачетов;

– аналогичное исследование есть смысл проводить регулярно в каждом вузе.

 

Литература

  1. Борисова Е.А., Лябах А.Ю., Мельков С.А., Сушанский А.С., Шитова Е.П., Эркин А.Ф. Учет временных затрат в рамках педагогического эксперимента по изучению возможности и целесообразности перевода изучения дисциплины «Политология» на дистанционные технологии обучения: есть ли смысл их считать? [Электронный ресурс] // ГосРег: государственное регулирование общественных отношений. 2017. Т. 19. № 1 (19) [сайт]. URL: http://elibrary.ru/download/elibrary_28897550_94127480.pdf (дата обращения: 10.04.2017).
  2. Лябах А.Ю., Мельков С.А., Сушанский А.С., Эркин А.Ф. О некоторых итогах педагогического эксперимента: научились ли в его ходе студенты решать учебные кейсы? Часть 1 [Электронный ресурс] // ГосРег: государственное регулирование общественных отношений. 2017. Т. 19. № 1 (19) [сайт]. URL: http://elibrary.ru/download/elibrary_28897562_79635140.pdf (дата обращения: 10.04.2017).
  3. Лябах А.Ю., Мельков С.А., Сушанский А.С., Эркин А.Ф. О некоторых итогах педагогического эксперимента: научились ли в его ходе студенты решать учебные кейсы? Часть 2 [Электронный ресурс] // ГосРег: государственное регулирование общественных отношений. 2017. Т. 19. № 1 (19) [сайт]. URL: http://elibrary.ru/download/elibrary_28897563_64338052.pdf (дата обращения: 10.04.2017).
  4. Малека Ю.Н., Мельков С.А., Эркин А.Ф. О введении в бакалавриате новой учебной дисциплины «История становления и развития административной системы управления в России» по направлению «Государственное и муниципальное управление» [Электронный ресурс] // ГосРег: государственное регулирование общественных отношений. 2016. № 2 (16) [сайт]. URL: http://elibrary.ru/download/elibrary_26698278_45565163.pdf (дата обращения: 10.04.2017).
  5. Сушанский А.С. Проблемы обучения в магистратуре АГЗ МЧС РФ (на примере направления «Государственное и муниципальное управление»): приглашение к дискуссии» // ГосРег: государственное регулирование общественных отношений. 2016. № 1 (15) [сайт]. URL: http://elibrary.ru/download/elibrary_25899317_64965646.pdf (дата обращения: 10.04.2017).
  6. Кошкин А.П., Новиков А.В. РЭУ им. Г. В. Плеханова в контексте социальных сетей. Научная монография. – М., 2017 [Электронный ресурс] // Научная электронная библиотека elibrary.ru [сайт]. URL: http://elibrary.ru/item.asp?id=28760360 (дата обращения: 10.04.2017).
  7. Забузов О.Н. Военное образование современное – проблемы старые? // Гуманитарные науки в современном образовании: проблемы, решения, перспективы развития: Сборник научных трудов. – М.: МЭСИ, 2014. – С. 91–96.
[1] Формирование зависимостей носило субъективный характер и протекало весьма дискуссионно.

[2] В качестве экспертов выступили: 1) 18 преподавателей 2-х кафедр Академии гражданской защиты МЧС России: государственного и муниципального управления и рекламы и связей с общественностью и 2) 6 сотрудников центра (учебно-методического) этого же вуза.

[3] Числовой вес получен из среднего геометрического значения (цены альтернативы) для каждого критерия из таблицы 2, деленного на параметр нормализации (сумма цен альтернатив для всех критериев).