Искусственный интеллект подводит итог: некорректная оценка эссе на тестах MCAS в Массачусетсе
В Массачусетсе произошел скандал из-за некорректной оценки эссе на тестах Massachusetts Comprehensive Assessment System (MCAS), в результате работы алгоритмов искусственного интеллекта. По данным NBC Boston, около 1,400 работ студентов из почти 200 школьных округов были оценены ошибочно, некоторые из них получили оценку «0», в то время как могли быть оценены на уровне «6» по шкале от 1 до 7.
Министерство начального и среднего образования штата сообщило, что все неправильные оценки были пересмотрены, и пострадавшие школьные округа были уведомлены. Все данные были скорректированы в августе. При этом результаты MCAS по всему штату, опубликованные в конце прошлого месяца, показали, что в условиях постпандемии остаточные затруднения в обучении все еще представляют собой «проблему» для учащихся на всех уровнях.
Согласно данным экспертов, всего в Массачусетсе было более 750,000 эссе, оцененных с использованием AI в течение последних двух лет. Министерство образования уточнило, что около 10% работ затем перепроверяются людьми для обеспечения согласованности оценивания.
Скандал с оценками происходит на фоне отказа жителей Массачусетса от окончательных оценочных критериев MCAS как условия для получения аттестата о среднем образовании. Почти 60% голосов на недавнем референдуме было отдано против стандарта, действовавшего в штате на протяжении двух десятилетий.
Кроме того, Государственный совет по окончанию среднего образования разрабатывает новые требования к выпуску, которые могут вернуть стандартизированные «конечные оценки курсов» по основным предметам для определения возможности получения аттестата о среднем образовании. В проекте рекомендаций Совета предусмотрено введение таких оценок, которые будут «разработаны, введены в действие и оценены на уровне штата, обеспечивая единый стандарт для Массачусетса».
С учетом того, что использование технологий в образовании продолжает развиваться, необходимо учитывать текущие вызовы и недостатки. В результате ошибки в алгоритмах AI могут существенно влиять на образовательную справедливость и квалификацию учащихся. По информации экспертов, подобные инциденты подчеркивают важность наличия контроля и надзора за автоматизированными системами оценивания. Фактически, лишь 10% животных оценок, подвергшихся пересмотру, подтверждают необходимость более строгого контроля данных инструментов.
Таким образом, при постепенном внедрении технологий в систему образования важно сохранять баланс между эффективностью технологий и человеческим компонентом, который играет критическую роль в оценивании учащихся. Это подчеркивает необходимость дальнейшего исследовательского анализа и анализа данных для устранения недостатков, а также обеспечения устойчивого качества образования в будущем.
