Home / Педагогика, психология, конфликтология / Горячев А.А., Мельков С.А., Сушанский А.С., Шитова А.П., Шубина А.В. О некоторых итогах педагогического эксперимента: что дают ДОТ для успешного решения тестов?

Горячев А.А., Мельков С.А., Сушанский А.С., Шитова А.П., Шубина А.В. О некоторых итогах педагогического эксперимента: что дают ДОТ для успешного решения тестов?

Горячев Андрей Александрович – начальник

Центра (современных средств обучения)

Академии гражданской защиты МЧС России

a.goryachev@amchs.ru

Мельков Сергей Анатольевич – заведующий кафедрой
государственного и муниципального управления

Академии гражданской защиты МЧС России

доктор политических наук, профессор

304304@mail.ru

Сушанский Артур Сергеевич – профессор кафедры

государственного и муниципального управления

Академии гражданской защиты МЧС России

кандидат педагогических наук, доцент

arsu@mail.ru

Шитова Евгения Павловна – студент 1-го курса

Академии гражданской защиты МЧС России

(направление «Государственное и муниципальное
управление», уровень магистратуры)

eva1899@mail.ru

Шубина Александра Владимировна – инженер
научно-исследовательской лаборатории
(управления в кризисных ситуациях)

Академии гражданской защиты МЧС России

a.ruzhickaya@amchs.ru

 

О некоторых итогах педагогического эксперимента:
что дают ДОТ для успешного решения тестов?

About some results of pedagogical experiment:

What do DOT give for successful test solutions?

     

Аннотация: в статье излагаются некоторые итоги проведенного педагогического эксперимента по изучению возможности и целесообразности перевода изучения дисциплины «Политология» на дистанционные технологии обучения (эксперимент проводился в Академии гражданской защиты МЧС России по трем разным направлениям подготовки). После принятия зачета с оценкой по дисциплине «Политология» авторами статьи были проанализированы результаты освоения студентами предложенных им тестов на дистанционном портале Академии гражданской защиты МЧС России по дисциплине «Политология».

Ранее, четыре учебные группы студентов очной формы обучения были разделены на три категории: 1) изучающие дисциплину в полном объеме аудиторной нагрузки, которая остается без изменений (одна учебная группа); 2) изучающие дисциплину в частичном объеме аудиторной нагрузки (две учебные группы); 3) без аудиторной нагрузки (одна учебная группа). В соответствии с этой градацией экспериментальных учебных групп в данной статье проводился авторский анализ.

Статья подготовлена в рамках планово-экспериментального изучения учебной дисциплины «Политология» и научной школы «Государственная политика и управление», функционирующей в Академии гражданской защиты МЧС России на постоянной основе.

Abstract: In the article some results of the pedagogical experiment on the study of the possibility and expediency of translating the study of the discipline «Political Science» into distance learning technologies are presented (the experiment was conducted at the Academy of Civil Protection of the Ministry of Emergency Situations of Russia in three different areas of training). After taking the test with an assessment on the discipline «Political Science», the authors analyzed the results of students’ mastery of the tests they offered on the remote portal of the Civil Defense Academy EMERCOM of Russia on a permanent basis.

Earlier, four study groups of full-time students were divided into three categories: 1) studying the discipline in full of the classroom load, which remains unchanged (one training group); 2) students studying the discipline in part of the classroom load (two training groups); 3) without an audience load (one training group). In accordance with this graduation of the experimental training groups, the author’s analysis was carried out in this article.

The article was prepared within the framework of the planned and experimental study of the academic discipline «Political Science» and the scientific school «State Policy and Management», functioning in the Civil Defense Academy EMERCOM of Russia on a permanent basis.

Ключевые слова: Академия гражданской защиты МЧС России, дистанционный портал, задание на решение, заочная форма, компетенции, коэффициент, метод попарных сравнений, мозговой штурм, научный подход, образование, оценка, очная форма обучения, Политология, СДО Moodle, ситуационный анализ, статистические данные, студент, тест, технологии образовательные дистанционные (ДОТ), учебная нагрузка, эксперимент педагогический, эффективность.

Keywords: Civil Defense Academy EMERCOM of Russia, remote portal, task for decision, correspondence form, competence, coefficient, method of pairwise comparisons, brainstorming, scientific approach, education, assessment, full-time education, Political science, Moodle SDO, situational analysis, statistical Data, student, test, distance learning technologies (DOT), training load, pedagogical experiment, efficiency.

 

Рецензия

Текст статьи в PDF

 

Ситуация и проблематизация. В августе 2016 года руководством Академии гражданской защиты МЧС России была поставлена задача[1] – изучить возможность перевода части студентов очной формы обучения (обучающихся по 3-м направлениям подготовки[2]) на дистанционную форму обучения при сохранении, а по возможности и повышении, качества обучения при изучении конкретной учебной дисциплины «Политология». Еще раз уточним, что согласно 273-ФЗ «Об образовании в Российской Федерации» в нашей стране не предусмотрена такая самостоятельная форма обучения, как дистанционная [1]. Зато предусмотрено использование дистанционных технологий обучения или дистанционных образовательных технологий (далее – ДОТ). В дальнейшем, употребляя словосочетание «дистанционное обучение», мы будем иметь в виду обучение с использованием ДОТ.

Цель завершающегося в настоящее время эксперимента – определение возможности и целесообразности перевода студентов 2-го курса факультета (гуманитарного), обучающихся по дисциплине «Политология» с очной формы обучения на «очную форму обучения с применением ДОТ» [2]. Напомним задачи данного педагогического эксперимента:

– определить эффективность обучения в различных формах (при использовании различных педагогических технологий);

– определить затраты различных видов ресурсов в различных формах (при использовании разнообразных педагогических технологий);

– проанализировать содержание дистанционного курса обучения по дисциплине «Политология»;

– по результатам исследования провести анализ документов (учебная программа, тематический план, фонд оценочных средств, методические указания) и разработать предложения (по оптимизации расходования ресурсов, по доработке тематического плана, учебной программы, фонда оценочных средств и методических указаний по учебной дисциплине «Политология», и т.д.).

Выборка (выборочная совокупность исследования) составила: 4 учебные группы студентов 2-го курса (общее число – 81 человек) очной формы обучения гуманитарного факультета, обучающихся по 3-м направлениям подготовки.

Что изменялось в ходе нашего педагогического эксперимента? Напомним, что 1-я учебная группа – сохраняла полную аудиторную нагрузку: 54 часа согласно тематическому плану; 2-я и 3-я учебные группы – сохраняли 24 часа аудиторных занятий из 54-х плановых (9 двухчасовых лекций + зачет с оценкой 4 часа + конференция 4 часа), остальные занятия – с использованием дистанционных технологий). 4-я учебная группа – почти полное использование дистанционных технологий (сохранялось всего 10 часов аудиторных занятий: двухчасовая самостоятельная работа под руководством преподавателя + зачет с оценкой 4 часа + конференция [3] 4 часа.

В данной научной статье предметом исследования стали результаты решения студентами экспериментальных групп предлагаемых им на дистанционном портале вуза учебных тестов по конкретным темам дисциплины «Политология». Данный выбор именно такого предмета исследования в этой научной статье был сделан по следующим причинам:

— во-первых, время работы всех студентов экспериментальных групп на дистанционном портале вуза уже было ранее подсчитано и проанализировано;

— во-вторых, ранее нами уже был проведен анализ решения студентами экспериментальных групп предлагаемых им на дистанционном портале вуза нескольких учебных кейсов;

— в-третьих, учебные тесты являются распространенной формой контроля усвоения обучаемыми учебного материала;

— в-четвертых, предлагаемые студентам экспериментальных групп учебные тесты остались без изменений еще с «доэкспериментальных времен».

Формирование базы данных. Далее представляем некоторые итоги решения заданий тестов по дисциплине «Политология», размещенных на дистанционном портале Академии гражданской защиты МЧС России. В таблицах 1 и 2 представлены результаты по 1-й экспериментальной группе (в нашем случае она является контрольной группой).

Таблица 1

1-я контрольная группа, изучавшая дисциплину «Политология»
в полном объеме аудиторной нагрузки, 54 часа[4]

ФИО Тест № 1 (20) Тест № 2 (17) Тест № 3 (13) Тест № 4 (11) Тест № 5 (12)
1. 1-й студент 16 14
2. 2-й студент 12 13 8 8 12
3. 3-й студент 16 15 9 8
4. 4-й студент 18 13 11  11 12
5. 5-й студент 12 14 10 4
6. 6-й студент 18 15 10 10 12
7. 7-й студент 19 16 11 10 10
8. 8-й студент 16 16 11 9 11
9. 9-й студент 14 15 12 6 12
10. 10-й студент 18 16 13 11 10
11. 11-й студент 17 16 12 9 11
12. 12-й студент 17 14 11 6 12
13. 13-й студент 17 14 10 6 11
14. 14-й студент 12 13 11 8 10
15. 15-й студент 19 16 13 11 10
16. 16-й студент 19 16 13 11 11
17. 17-й студент 16
18. 18-й студент 16 14 8 6 11
19. 19-й студент 14 17 10 8 10
20. 20-й студент 18 12 10 7 12
21. 21-й студент 13 12 8 8 9
Средний балл (по макс. значению) 16,05 14,55 10,58 8,26 10,94
Среднее время в секундах (с учетом нескольких попыток) 1991 1011 917 1331 913
Общее время для группы (в часах) 11,61 5,62 4,84 7,02 4,31
Количество повторных прохождений теста 10 2 2 6 4

Сразу необходимо отметить, что для рассматриваемой группы данный тестовый контроль не является обязательным, так как группа по условиям эксперимента работала без ДОТ (студентам этой учебной группы было предложено изучить учебную дисциплину «Политология» на дистанционном портале вуза факультативно). Это к слову о мотивационной готовности к решению заданий. То есть, предположительно, мотивационный настрой у группы на результат может быть ниже, чем в контрольно-экспериментальных и экспериментальной группах.

Несомненно, что необходимо охарактеризовать и оценочные показатели. Средний балл теста, среднее время в секундах, общее время, количество повторных прохождений. Так на средний балл и вообще на баллы может влиять количество заданий в тесте, их сложность, порядок и другие условия прохождения.

В таблице 1 множество оценочных показателей с не всегда очевидными (а часто и со скрытыми, латентными) прямыми, обратными, композиционными, факторными, корреляционными и др. связями между собой. Если тесты мы рассматриваем как диагностическое средство, тогда снова возникает вопрос о соблюдении условий диагностики. Задача исследователя, аналитика, на наш взгляд, упорядочить и свести разноуровневые и разнокачественные по содержанию показатели, если не в одну единую оценочную систему, то в несколько и провести их анализ. Нам необходимы единые показатели при оценке решений тестов всеми группами, в которых и разное количество обучаемых и разные условия подготовки (по условиям эксперимента).

Нам представляется, что одним из таких оценочных показателей может выступить некий коэффициент показывающий производительность или эффективность решений (некий КПД), причем, в первую очередь в групповом его исполнении. Опять же, важно определиться, что мы оцениваем: эффективность решений, результативность или «производительность» или есть другие значимые показатели? При делении среднего времени затраченного при решение теста на количество заданий мы получим средний показатель в сек. (допустим К1) затрат времени группы при решении одного задания (с учетом нескольких попыток, и что 1-й тест решало на 1 чел. больше и разное количество повторов).К2 (общий показатель) будет равен отношению общего времени на количество заданий.

Для проведения количественно-качественного педагогического анализа решений студентов необходимо перевести баллы теста в единую систему оценки (так, как количество вопросов и критериальный аппарат в каждом тесте индивидуальные). В нашем случае, это 4-х бальная система, принятая в высшей школе РФ (несмотря на ее недостатки – она рабочая и позволяет оперировать единым оценочным инструментарием). Так, 1 тест – средний балл – «удовлетворительно»; 2 тест – «хорошо»; 3 тест – «удовлетворительно»; 4 тест – «удовлетворительно»; 5 тест – «удовлетворительно». Сразу необходимо отметить, что только 1-й тест решали ВСЕ студенты 1-й экспериментальной (контрольной) группы, остальные тесты хотя бы один студент этой учебной группы не решал (это может сказаться на средних оценочных показателях).

Логично ожидать, что в тесте с наибольшим количеством заданий (20) получается наибольшее количество повторных прохождений, но на этом логика и заканчивается, так как во 2-м тесте – 2 повтора при 17 заданиях, в 3-м – 2 повтора при 13 заданиях, в 4-м – 6 повторов при 11 заданиях, в 5-м– 4 повтора при 12 заданиях. «Невооруженным» взглядом видно, что наиболее «провальным» в плане эффективности оказался 4-й тест, по временным показателям, кстати, тоже. При наименьшем количестве заданий, на него ушло наибольше количество «среднего времени» (1331 сек.) и «общего времени» (7 часов, 02 мин), кроме 1-го теста.

С точки зрения оценки эффективности через К1, наибольшая эффективность показана группой в решении 2 теста (59, 47 сек.) и наименее эффективно по времени решение 4 теста (121 сек.). При том, что другие показатели следующие: 1-й тест – 99,8; 3-й тест – 70,53; 5-й тест – 76,08. Налицо корреляционная связь между количеством затраченного времени на решение теста, количеством повторов и результатом решения в баллах (по вузовской оценочной шкале). Наилучший показатель во втором тесте – 59, 47 сек., 2 повтора и оценка «хорошо» (единственная хорошая оценка). И наихудший показатель в 4-м тесте – 121 сек., 6 повторов и оценка «удовлетворительно» соответственно.

Если провести подобные расчеты коэффициента К2, то получим К2 для второго теста примерно 19,8 мин. (минимальный результат); для 4-го теста – примерно 42 мин. (максимальный результат) при том, что результаты 1-го теста – примерно 39,8 мин.; 3-го – примерно 22,2 мин.; 5-го теста – примерно 21 мин. Здесь также просматривается схожая с К1 корреляционная зависимость.

Анализ содержания тестов показал следующее. Если условно все имеющиеся вопросы всех тестов разделить по содержанию на группы, то можно выделить: а) вопросы на знание категорий изучаемой науки и соответствующей учебной дисциплины; б) вопросы на знание персоналий и их вклада в изучаемую науку; в) вопросы на знание научных подходов в рамках науки Политологии; г) вопросы, связанные с различными характеристиками, рассматриваемых явлений; д) вопросы, предполагающие выявление причинно-следственных связей между явлениями, е) другие.

Наиболее сложными, как представляется, являются вопросы группы «д». Классифицируя задания, таким образом, получаем следующие результаты: во 2-м тесте (17 заданий): а) 7, б) 3, в) 2; г) 3, д) 1, е) 1. В 4-м тесте (10 заданий) – а) 2, б) 1, в) 6, д) 1. Количественно по наиболее сложным заданиям «д» в рассматриваемых тестах равенство, а по е) – вопросы на знание научных подходов в рамках науки Политологии – в 4-м тесте их в 3 раза больше при том, что количество самих вопросов на 7-м меньше. Это может означать только одно, что наибольшую трудность и затратность ресурсов вызвали вопросы на знание научных подходов.

       Таблица 2

Сравнение по времени (в секундах) в 1-й контрольной группе, изучавшей дисциплину «Политология» в полном объеме аудиторной нагрузки, 54 часа[5]

ФИО Тест № 1 (20) Тест № 2 (17) Тест № 3 (13) Тест № 4 (11) Тест № 5 (12)
1. 1-й студент 1313 557
2. 2-й студент 1461 278 140 428 327
3. 3-й студент 1881 1154 756 1191
4. 4-й студент 1863 1257 1680 1889 733
5. 5-й студент 835 468 541 498
6. 6-й студент 2266 1321 1091 5289 1541
7. 7-й студент 2438 588 1369 1789 641
8. 8-й студент 3219 1762 1510 1411 939
9. 9-й студент 4272 859 520 701 491
10. 10-й студент 2564 701 849 213 640
11. 11-й студент 1235 763 510 1051 404
12. 12-й студент 2050 3130 1562 1048 2210
13. 13-й студент 819 643 1029 737 775
14. 14-й студент 1482 1130 275 681 381
15. 15-й студент 1405 490 341 986 308
16. 16-й студент 4125 2104 994 3378 2210
17. 17-й студент 1235
18. 18-й студент 884 752 718 2062 2299
19. 19-й студент 1758 1147 928 726 1006
20. 20-й студент 2605 306 185 301 171
21. 21-й студент 2099 810 2427 901 444

Выводы по таблицам 1 и 2. Индивидуальные результаты К1 выявляют лучших студентов в решении заданий. По 1-му тесту лучший результат 13-го студента – примерно16,3 сек. на одно задание. Но сказать, что он показал абсолютно лучший результат – нельзя, так как мы не знаем, совершал ли он ошибки (повторные прохождения) или нет и насколько самостоятельно он работал. И худший результат 9-го студента – примерно 213 секунд. Опять же сказать, что его результат абсолютно худший – нельзя, так как возможно, что данный студент проходил тест первый, а потом результатами «поделился» с товарищами (такую возможность мы в принципе исключить не можем).

По второму тесту К1 равен примерно 16 сек. – 2-го студента, а худший – 12-го студента – 184 секунды. 3-й тест: лучший результат 2-го студента – примерно 11 секунд, а худший – 21-го студента – примерно 171 секунда. По 4-му тесту: лучший результат – 10-го студента – 21,3 секунды на одно задание и худший – у 6-го студента почти 529 секунд. В 5-м тесте: лучший ответ у 20-го студента – около 14 секунд и худший – 191 секунда – у 18-го студента. При этом 1-й студент решал два теста, а 17-й студент – только один тест. Второй студент показал дважды лучший результат. Средний показатель данного студента по остальным тестам один из самых высоких. Остальные результаты можно характеризовать как индивидуальные достижения каждого обучающегося.

Если провести подобные расчеты коэффициента К2, то получим К2 для второго теста примерно 19,8 мин. (минимальный результат), для 4-го теста – примерно 42 мин. (максимальный результат) при том, что результаты 1-го теста – примерно 39,8 мин.; 3-го – примерно 22,2 мин.; 5-го теста – примерно 21 мин. Здесь также просматривается схожая с К1 корреляционная зависимость.

Таблица 3

2-я контрольно-экспериментальная группа, изучавшая дисциплину «Политология»
в усеченном объеме аудиторной нагрузки, 24 часа[6]

ФИО Тест № 1 (20) Тест № 2 (17) Тест № 3 (13) Тест № 4 (11) Тест № 5 (12)
1. 1-й студент 14 15 10 10 10
2. 2-й студент 12 13 8 8
3. 3-й студент  20 14 12 10 11
4. 4-й студент  20 16 11 11 10
5. 5-й студент 16 14 10 7 11
6. 6-й студент 17 16 7
7. 7-й студент 18 17 10 11 11
8. 8-й студент 17 15 12 11 10
9. 9-й студент 19 15 10 11 11
10. 10-й студент 15 13 12 9
11. 11-й студент 18 16 13 9 11
12. 12-й студент 18 14 9 7 10
13. 13-й студент 15 15 11 9 12
14. 14-й студент 18 16 13 11 11
15. 15-й студент 17 14 12 10 10
16. 16-й студент 16 15 13 8 11
Средний балл (по макс. знач.) 16,88 14,88 11,07 9,31 10,69
Среднее время в секундах

(с учетом неск. попыток)

2077 1160 1039 1214 586
Общее время для группы (в часах) 9,2 5,16 4,33 5,4 2,12
Количество повторных прохождений теста 15 5 7 14 2

Далее следует схожий анализ, но для второй группы. Как мы помним, 2-я группа также как и 1-я группа, обучается по направлению ГМУ, но обучалась по «Политологии» уже с элементами формирующего эксперимента, т.е. с определенными часами аудиторной нагрузки и «увеличенной» самостоятельной работой с ДОТ (по часам). То есть, 2-я группа контрольно-экспериментальная и выполнение контрольных тестов является для студентов это учебной группы обязательным. Соответственно, мы предполагаем, что 2-я группа изначально мотивирована на хороший результат при использовании ДОТ. Именно она может стать ориентиром для сравнения результатов других экспериментальных групп.

Высчитываем средний оценочный «образовательный» балл: 1-й тест – «удовлетворительно»; 2-й, 3-й и 4-й тесты – «хорошо», 5-й тест – «удовлетворительно». Мы получили заметно лучшие показатели, чем в 1-й группе.

Результаты измерений К1. По 1-му тесту – средний показатель примерно 13,8 сек.; по 2-му тесту – примерно 68,2 сек.; по 3-му тесту – 13,5 сек.; по 4-му тесту – 93,1 сек.; по 5-му тесту – примерно 89 сек.Лучший результат получился у обучающихся при решении 3-го теста (К1=13,5 сек. при 7-ми повторах), а худший результат – при решении 4-го теста – 93,1 сек. (при 14 повторах). Заметим, что 4-й тест вызвал сложности не только во 2-й группе, но и в первой. Надо отметить, что и количество повторов увеличилось в данной группе почти в 2 раза (24 ошибки у 1-й группы и 43 у 2-й группы).

О чем может говорить этот факт при среднем балле за все тесты во 2-й группе 3,6 и при среднем балле 1-й группы – 3,2 балла? Скорее всего, о «большем» желании получить более высокие баллы студентами 2-й группы. Так как это «желание» и в результате его спешка при решении заданий тестов могли привести к такому росту количества ошибок.

Все среднее время (в сек.), потраченное 1-й группой (21 студент) на решение всех тестов, равно 6163 секунды. Можно ввести коэффициент К3 (отношение всего среднего времени, потраченного всей группой к количеству студентов в группе), которое в 1-й группе будет равно примерно 292 секунды, т.е. в среднем студент 1-й группы тратил на решение всех тестов и соответственно всех заданий – 292 секунды. Коэффициент К4 (отношение всего общего времени, потраченного всей группой к количеству студентов в группе). Данный коэффициент К3 показывает количество общего времени, потраченное одним студентом на решение всех тестов.

В 1-й группе он будет равен примерно 1,6 часа или 5436 секунд (33,4 часа делить на 21 чел. в группе). К3 для 2-й группы будет равен примерно 380 секунды на одного студента (6076 сек. делить на 16 человек в группе). То есть в среднем студент 2-й группы тратил на решение всех тестов и соответственно всех заданий – примерно 380 секунд, что на 88 секунд больше чем в 1-й группе. Соответственно, К3 2-й группы более на 88 секунд, чем в 1-й группе (при том, что и ошибок во 2-й группе на 19 больше, чем в 1-й группе). Логика нашего рассуждения выводит на необходимость определения среднего группового коэффициента эффективности решения тестов К4, который должен быть равен отношению среднего балла за группу при решении всех тестов к среднему количеству времени потраченного на решение всех тестов. В 1-й группе он будет равен 0,000522, а во 2-й группе – 0,000592. Чем больше данный коэффициент, тем выше групповая эффективность. Как видно в первом приближении данный коэффициент выше во 2-й группе. Но мы не должны забывать, что во 2-й группе было совершено на 19 повторов (ошибок) больше.

Аналитика. Фактически, можно достаточно долго продолжать наш анализ в таком кропотливом ключе, пошагово отталкиваясь от результатов каждого студента и результатов каждой экспериментальной группы (хотя, конечно, формат научной статьи не является оптимальным для дотошного изложения всех цифр, таблиц, диаграмм и т.п.). Но мы решили такой объемный анализ завершить позднее в рамках научно-исследовательской работы, реализуемой в Академии гражданской защиты МЧС России[7] в настоящее время. Поэтому далее представляем аналитику обобщенных результатов решения тестов студентами экспериментальных групп, выполненную студентом 1-го курса очной магистратуры Академии гражданской защиты МЧС России Шитовой Е.П. и описанную в дальнейшем всеми авторами данной научной статьи.

Диаграмма 1[8] Количество верно решенных зачат в каждой группе.

Интерпретация результата по диаграмме 1: 3-й группой решено 90,6 % тестовых заданий – лучший результат из четырех экспериментальных групп. Результаты 1-й, 2-й и 4-й учебных групп практически не отличаются, сложно однозначно утверждать, что есть какая-либо тенденция, но формально у 1-й экспериментальной группы (использовавшей ДОТ факультативно) результат хуже остальных. Фактически мы полагаем, что уменьшение аудиторных (!) часов подготовки (аудиторных занятий) по дисциплине «Политология» для
2-й, 3-й и 4-й экспериментальных групп никак не отразилось на их тестовых результатах. Соответственно, можно предположить, что использование ДОТ компенсирует уменьшение количества аудиторных занятий.

Диаграмма 2[9] Средний балл.

Интерпретация результата по диаграмме 2 для каждого из пяти тестов. Из данной диаграммы 2 видно, что 1-я экспериментальная группа (факультативно использовавшая ДОТ) не только в общей сумме показала относительно низкий результат, но и по каждому конкретному тесту практически нигде не превосходила другие экспериментальные группы. Соответственно, можно предположить, что использование ДОТ как минимум не мешает студентам успешно решать учебные тесты по дисциплине «Политология».

Диаграмма 3[10] Среднее время решения тестов (в секундах).

Интерпретация результата по диаграмме 3: в 80 % случаев 4-я учебная экспериментальная группа тратила больше времени на решение тестов, чем остальные экспериментальные группы. Соответственно, можно предположить, что использование ДОТ вкупе с уменьшением аудиторных занятий увеличивает время студентов на решение тестов по дисциплине «Политология».

Диаграмма 4[11].

Интерпретация результата по диаграмме 4 (о самих тестах): лучшие итоговые результаты в среднем у всех учебных экспериментальных групп по 3-му и 5-му тестам. Можно предположить, что материал по ним был более доступным для понимания, темы лучше проработаны, или же эти тесты содержали более легкие задания относительно других тестов. Соответственно, можно предположить, что использование ДОТ вскрыло различия в учебных тестах, используемых при изучении дисциплины «Политология» на портале Академии гражданской защиты МЧС России.

Диаграмма 5[12].

Диаграмма 6[13].

Интерпретация результата по диаграммам 5 и 6: видно, что наибольшее количество повторных решений у 1-го и 4-го тестов – по-видимому (предположительно), эти тесты более сложные в сравнении с остальными, требуют больше времени и усилий для решения. Соответственно, мы посчитали нужным продолжить в будущем всесторонний анализ учебных тестов, используемых при изучении дисциплины «Политология» на портале Академии гражданской защиты МЧС России.

В результате мозгового штурма статистических данных (см. таблицы 1-3) профессорско-преподавательским составом и сотрудниками[14] Академии гражданской защиты МЧС России было выявлено несколько зависимостей (см. таблицу 4). Эти зависимости было решено считать критериями оценки эффективности применения тестов на дистанционном портале нашего вуза. Для анализа значимости критериев для эксперимента в Академии гражданской защиты МЧС России был проведен экспертный опрос. Суммарные значения оценок экспертов (в экспертном опросе участвовали 12 человек[15]) по каждому критерию представлены в таблице 4:

Таблица 4

Общее количество оценок экспертов по критериям

Предложенные педагогами вуза критерии Оценки экспертов
Совсем не важно Не важно Затрудняюсь ответить Важно Очень важно
Укажите степень важности для показателя: «зависимость оценки результатов теста от времени прохождения теста»: 3 8 1
Укажите степень важности для показателя: «зависимость результатов прохождения тестов от степени мотивации[16]»: 2 1 4 5
Укажите степень важности для показателя «зависимость результатов решения тестовых заданий от их содержания[17]»: 7 5
Укажите степень важности для показателя «зависимость результатов решения тестовых заданий от уровня сложности[18] заданий»: 1 4 7
Укажите степень важности для показателя «зависимость успеваемости студентов от условий прохождения тестовых заданий»: 5 2 4 1

 

Далее, с использованием метода попарных сравнений, каждому критерию были присвоены сравнительные числовые значения:

Таблица 5

Метод попарных сравнений

К1 К2 К3 К4 К5
К1 1 0,3 0,2 0,1 3
К2 3 1 0,3 0,3 5
К3 5 3 1 0,3 7
К4 7 3 3 1 5
К5 0,3 0,2 0,1 0,2 1

Числовые оценки критериев в таблице 5 были получены, исходя из следующей шкалы: 1 – равный вклад двух критериев в цель, 3 – умеренное превосходство одного над другим, 5 – существенное или сильное превосходство, 7 – значительное превосходство, 9 – очень сильное превосходство.

Для каждого критерия из таблицы 5 был получен собственный вес[19], соответствующий экспертным оценкам из таблицы 4:

Таблица 6

Числовой вес критериев по результатам экспертной оценки

Критерий Числовой вес
1 Зависимость оценки результатов теста от времени прохождения теста 0,06936
2 Зависимость результатов прохождения тестов от степени мотивации 0,15643
3 Зависимость результатов решения тестовых заданий от их содержания 0,28758
4 Зависимость результатов решения тестовых заданий от уровня сложности заданий 0,44628
5 Зависимость успеваемости студентов от условий прохождения тестовых заданий 0,04036

 

Диаграмма 7[20].

Для большей достоверности и дополнительной проверки результатов экспертного опроса была подсчитана оценка согласованности (синтез локальных приоритетов). Ее значение оказалось равным 0,089 (меньше 0,1 – средняя согласованность, меньше 0,01 – значительная согласованность) что подтверждает уникальность и несогласованность экспертных мнений между собой (отсутствие предварительной договоренности). Иначе говоря – мы убедились в объективности полученного экспертного мнения.

Таким образом, по экспертной оценке 4-й и 3-й критерии были выбраны как самые приоритетные, на третьем месте 2-й критерий (почти на 65 % и 54 % меньше, чем 4-й и 3-й критерий соответственно). Минимальный вес получили 1-й и 5-й критерии (их итоговые веса практически равнозначны). Таким образом, в качестве продолжения эксперимента 1-й, 2-й и 5-й критерии далее было решено не рассматривать, а 3-й и 4-й критерии – использовать и анализировать в дальнейшем.

Но поскольку по результатам экспертного опроса нам не удалось построить реальную и перспективную траектории решения тестов обучающимися экспериментальных групп (такая идея была высказана во время мозгового штурма проблемы), было принято решение в будущем сосредоточиться на оценке сложности и содержания тестовых заданий иными методами. Однако мы также поняли, что вручную сделать это крайне сложно и неперспективно. Следовательно, будущие критерии их оценки и сам процесс обучения с использованием ДОТ целесообразно создавать с учетом имеющегося опыта в этой сфере и соответствующих программ (например, СДО Moodle), позволяющих:

– создавать учебные курсы;

– поддерживать взаимодействие преподавателя со студентами;

– учитывать время работы пользователями с материалами;

– оценивать знания обучающихся;

– существенно снизить вероятность фальсификации результатов тестирования недобросовестными студентами [2, С. 87].

Фактически эта (СДО Moodle) и некоторые подобные программы (платформы) позволяют в автоматическом режиме создавать аналитику по тестовым заданиям с учетом значительного количества статистических показателей качества. Мы имеем в виду индексы легкости, дифференциации, дискриминации; показателей стандартного отклонения, случайно угаданной оценки, намеченного веса; коэффициента дифференциации. Однако такой автоматизированный анализ для нашего вуза является, все же, скорее всего, делом будущего [3, С. 49-50].

В качестве выводов по статье кратко отметим несколько принципиальных моментов.

Во-первых, использование ДОТ действительно позволяет большинству студентам успешно решать предлагаемые учебные тесты. Причем, успешность решения, похоже, находится в обратной зависимости от количества аудиторных занятий (меньше занятий– тратится больше времени на решение тестов) и прямой зависимости от использования ДОТ (больше ДОТ – больше времени на решение тестов).

Во-вторых, в результате эксперимента были выявлены две основные зависимости качества обучения при решении тестов: от сложности и содержания тестовых заданий. Была выявлена различная степень сложности предлагаемых студентам Академии гражданской защиты МЧС России отдельных тестовых заданий и тестов в целом. Однако вручную оценить степень сложности и содержания предлагаемых тестовых заданий оказалось сложно.

В-третьих, поскольку эксперимент было решено продолжить и далее, то в случае перехода на СДО Moodle оценить эти, как и многие другие, зависимости (как впрочем, степень сложности и содержания тестовых заданий) можно будет в автоматическом режиме. По всей видимости, такое решение в академии гражданской защиты МЧС России будет принято.

  1. Авторы статьи уверены в оптимальности среднего варианта (между полной аудиторной нагрузкой и полным переходом на ДОТ). Есть твердое ощущение, что значительное количество студентов-очников нуждается в вербальном общении с педагогом.

Литература:

  1. Федеральный закон от 29 декабря 2012 года N 273-ФЗ «Об образовании в Российской Федерации» [Электронный ресурс] // КонсультантПлюс [сайт]. URL: http://www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения: 18.02.2017).
  2. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения Moodle // Научно-технические ведомости СПбГПУ. 2013.
    № 5. С. 87-92.
  3. Малека Ю.Н., Мельков С.А., Шитова Е.П. Снижает ли объединение территорий политическую конфликтогенность и управляемость: анализ проблемы и решение кейса студентами бакалавриата // Власть. – 2017. – № 2. – С. 41-51.
[1] Такая задача была поставлена перед Центром (учебно-методическим), Центром (современных средств обучения) и кафедрой государственного и муниципального управления.

[2] «Государственное и муниципальное управление», «Реклама и связи с общественностью» и «Педагогическое образование».

[3] Фактически конференция проводилась перед зачетом с оценкой по теме «Особенности государственной политики России в условиях санкций».

[4] Группа обучается по направлению «Государственное и муниципальное управление». В скобках к каждому тесту указано количество вопросов в тесте.

[5] В скобках указано количество вопросов в тесте. Группа обучается по направлению «Государственное и муниципальное управление».

[6] Группа обучается по направлению «Государственное и муниципальное управление». В скобках указано количество вопросов в тесте.

[7] Имеется в виду НИР «Анализ результатов педагогического эксперимента по изучению возможности и целесообразности перевода изучения дисциплины «Политология» на дистанционные технологии обучения».

[8] По диагонали – номера учебных групп, по вертикали – процент верно решенных заданий по всем тестам для каждой из групп.

[9] По диагонали – номера тестов, по вертикали – балл каждой группы по соответствующему тесту.

[10] По диагонали – номера тестов, по вертикали – время в секундах.

[11] По диагонали – процент верно решенных заданий суммарно у 4-х групп по каждому из тестов, по вертикали – номера тестов.

[12] По диагонали – количество повторных решений для каждой из групп, по вертикали – номера тестов.

[13] По диагонали – количество повторных решений (в сумме по всем группам), по вертикали – номера тестов.

[14] В первичном мозговом штурме участвовали: Горячев А.А., Кочеткова Л.Н., Кошкин А.П.,
Лябах А.Ю., Мельков С.А., Ряжапов Н.Х., Сушанский А.С., Шитова Е.П., Эркин А.Ф.

[15] Эксперты: Борисова Е.А., Горячев А.А., Лапин А.Н., Лябах А.Ю., Малека Ю.Н., Малов А.В., Мельков С.А., Микрюков В.О., Сушанский А.С., Уваров А.В., Чижик П.И., Шитова Е.П.

[16] Мотивация – это процесс побуждения себя и других к деятельности для достижения личных целей или целей организации.

[17] Под содержанием подразумевается соответствие требованиям, заложенным в формализованных документах: в ФГОСе по направлению подготовки, в учебной программе, в тематическом плане по дисциплине и т.д.

[18] Под уровнем сложности подразумевается возможность освоения определенной группы заданий (в данном случае – теста) пониженной или повышенной доступности для понимания и освоения студентом.

[19] Числовой вес получен из среднего арифметического значения для каждого критерия из таблицы 2, деленного на параметр нормализации (сумма средних арифметических всех критериев).

[20] По диагонали – номера критериев, по вертикали – вес (мера значимости критерия, выраженная в числовом эквиваленте; сумма всех рассматриваемых весов равна единице).