Одним из активно развивающихся и перспективных направлений в современной методике обучения иностранным языкам является использование компьютерных технологий для контроля уровня сформированности речевых навыков и умений.

Компьютерное тестирование дает возможность интегрировать в тестовых заданиях текстовую, графическую, звуковую и видеоинформацию, а также полностью автоматизировать процесс проведения контрольного измерения.

Компьютерное тестирование позволяет:

быстро обрабатывать вводимую информацию;

обеспечивать оперативную обратную связь, которая дает возможность испытуемому постоянно и незамедлительно получать подкрепление правильности ответа, а преподавателю - осуществлять поэтапный или пооперационный контроль действий тестируемого;

повышать мотивацию тестируемого, поскольку при работе с компьютерной программой присутствует элемент необычности, схожий с игровой ситуацией, появляется дух состязательности с компьютером;

значительно экономить время и затраты на организацию и проведение тестирования.

Итак, первая задача, которую позволяет эффективно решить компьютер, - хранить тестовые задания и создавать из них тесты, а именно обрабатывать первичный, исходный авторский материал, вносить в него необходимые уточнения, исправления, дополнения; хранить информацию, отбирать задания из электронного банка данных по заданным критериям и производить нужную компоновку тестов.

Вторая задача, которую реализует компьютер, - регистрация тестируемых и подготовка последних к выполнению заданий. Например, регистрация, которая может быть как предварительной, так и непосредственно перед тестированием, включает заполнение на экране компьютера регистрационной карты. Получив необходимые сведения, система выдает тестируемому идентификационный номер.

Компьютер может подготовить испытуемого к сдаче теста - провести инструктаж. В компьютерную программу включается информация о методике работы с тестом: рекомендации по технологии выполнения теста, данные о времени тестирования, процедуре оценивания и т. д. Подготовка к выполнению теста может включать и тренировку, поясняющую, как реагировать на те или иные задания, не допускать случайных (не имеющих отношения к языковой и речевой компетенции тестируемого) ошибок, выработать необходимые временные стереотипы.

Следующий этап - проведение сеанса тестирования с помощью компьютера. Ключевой проблемой этого этапа является длительность работы. Поэтому важно в компьютерную программу для тестирования заложить показ, учет и контроль отведенного, потраченного и оставшегося у испытуемого времени.

Чтобы начать работу, тестируемый обязан указать свой идентификационный номер, т. е. номер, полученный при регистрации. После этого ему предъявляется тест с заданиями и инструкциями по их выполнению.

Завершение сеанса тестирования может быть как добровольным (по желанию тестируемого и с разрешения инструктора, по мере выполнения заданий), так и принудительным (при окончании лимита времени).

Если авторы-составители теста специально не упорядочили тестовые задания по степени трудности, не разделили тест на автономные по целям выполнения и видам речевой деятельности разделы-субтесты, то допустимо выполнение теста в произвольном порядке. В противном случае пропуск отдельных, например показавшихся трудными, заданий и возврат к ним запрещаются компьютерной программой.

После выполнения заданий теста наступает этап обработки ответов и подсчета баллов. Согласно классификации В. И. Нардюжева, И. В. Нардюжева обработка может быть:

локальной, выполняемой на месте проведения тестирования;

удаленной, осуществляемой за пределами места проведения сеансов тестирования;

формальной, если возможно простое сравнение с ключами;

экспертной, если подобное сравнение невозможно и требуется привлечение экспертов, специалистов (например, для оценки развернутого устного или письменного ответа);

оперативной, позволяющей продемонстрировать результаты сразу же после тестирования;

отложенной по причине сложного алгоритма расчетов баллов или необходимости получения заключения рейтера, эксперта.

Использование компьютера позволяет осуществлять статистический анализ информации, т. е., с одной стороны, дать информацию об участниках тестирования, с другой - что наиболее важно на современном этапе развития лингводидактического тестирования - собрать данные о качестве тестовых материалов.

В первом случае алгоритм анализа предполагает:

)выбор объекта статистического анализа (субтеста);

)определение количества участников тестирования данного уровня;

)ранжирование тестируемых по числу набранных баллов;

)определение процента правильных ответов на каждое задание теста;

)построение по цифровым данным графиков;

)при необходимости сравнение результатов тестирования по различным объектам.

Во втором случае статистический анализ осуществляется через:

)определение минимального, среднего, максимального значения тестовых результатов;

)установление статистических параметров задания: уровня трудности, дифференцирующей способности (способности задания отличать сильных учащихся от слабых);

)анализ работы дистракторов, включающий определение частоты выбора ответов всеми, а также слабыми и сильными;

)определение независимости заданий в тесте .

Компьютерное тестирование возможно при наличии специально разработанного программного обеспечения, которое реализует предлагаемую авторами информационно-педагогическую модель тестирования.

Компьютерное обеспечение существенно влияет как на содержание тестовых заданий (например, использование звукового сопровождения предполагает оборудование компьютера звуковой картой), так и на способ реализации информационно-педагогической модели (например, подключение компьютеров к Интернету позволяет организовывать и проводить тестирование в режиме реального времени).

Компьютерные программы для проведения тестирования по иностранному языку можно классифицировать в зависимости от способа программирования. Программа может быть линейной: в этом случае предусматривается единственно возможное направление работы с тестом независимо от качества ответа учащихся на конкретный вопрос или задание. Например, тестируемый должен выбрать один из вариантов ответа, выполняя задания на проверку понимания прочитанного текста:

Линейная программа может быть осложнена этапом корректировки (например, при выполнении заданий на проверку грамматических навыков). В таком случае при неправильном ответе компьютер возвращает тестируемого к исходному заданию, инструкции или правилу.

В разветвленной программе предусмотрены разъяснение, дополнительные, наводящие вопросы, указания, помогающие выполнить исходные задания и получить разрешение на последовательное движение или движение через кадр.

Программы, сочетающие в себе линейные и разветвленные участки, относят к группе смешанных или комбинированных. Они обеспечивают и большую гибкость контроля, и приспосабливают работу к индивидуальным возможностям обучающихся. Вместе с тем компьютерное тестирование по иностранному языку имеет свою специфику и свои требования к презентации контролируемого материала и к выполнению заданий. Одной из основных задач является максимальное использование всех каналов подачи информации, привлечение для этого мультимедиатехнологий (графиков, анимационных клипов, видеоизображения), а также различных ссылок на документы и ресурсы (справочники, лексические минимумы, интонационные контуры и т. д.). В свою очередь, использование компьютерной дидактической наглядности, моделирующей ситуации общения и организующей выполнение заданий и корректировку ответа, повышает продуктивность контролирующих компьютерных программ и мотивацию тестируемых к овладению иностранным языком.

Возможности компьютерного тестирования

Сегодня в мире существуют различные организации, занимающиеся не только разработкой проблем, но и систем компьютерного тестирования. В их ряду Educational Testing Service (ETS) - Служба тестирования в образовании (#"justify">), которая с 1970 г. занимается вопросами компьютерного тестирования и предлагает на данный момент компьютерные варианты TOEFL (#"justify">) - Test of English as a Foreign Language. Этот тест по английскому языку как иностранному используется при поступлении в колледжи США и Канады.

Во Франции Национальный центр дистанционного обучения (Centre national denseignement à distance) предлагает компьютерный вариант теста по английскому языку как иностранному: Test FLE - Test de Français langue étrangère et seconde - niveau général (élémentaire, intermédiaire, avancé): compréhension écrite, grammaire, vocabulaire, compréhension orale (#"justify">). Тест позволяет определить уровень владения английским языком как иностранным. Английская языковая школа "LEcole des Trois Ponts" также предлагает выполнить в интерактивном режиме тесты на общее владение английским языком (#"justify">).

В России компьютерным тестированием одними из первых начали заниматься сотрудники кафедры гуманитарных технологий МГУ. Были разработаны технологии компьютерного дистанционного тестирования, в которых функции образовательного или психологического тестирования распределены между локальным компьютером пользователя ("клиентом") и центральным компьютером разработчика ("сервером"). Эта новая информационная технология обеспечивает быстрое и широкое распространение тестов, отвечающих международным научным стандартам. Ежегодно во время весенних каникул проводится телекоммуникационная олимпиада "Телетестинг" для выпускников (#"justify">). На указанном выше сайте можно в интерактивном режиме потренироваться в выполнении некоторых заданий (с выбором ответа) демонстрационных вариантов тестов разных лет, в том числе и по английскому языку.

Компьютерное тестирование по английскому языку проводят также различные языковые школы в России. Например, языковые школы BKC-International House (#"justify">), Transparent Language (#"justify">) предлагают тесты на определение уровня владения английским языком.

Компьютеризированная система контроля открывает широкие возможности для индивидуализации процесса усвоения знаний обучаемыми. Принцип индивидуализации обучения лежит в основе адаптивного тестирования. Адаптивное тестирование - это контроль, который позволяет регулировать трудность и число предъявляемых заданий каждому учащемуся в зависимости от его ответа на предыдущее задание: в случае правильного ответа учащийся получит более трудное следующее задание, в случае неправильного ответа - задание легче предыдущего . Режим адаптивного тестирования (и не только тестирования, но и обучения) предполагает набор заданий в тестовой форме, требующих от учащегося работы на пределе своих возможностей и обеспечивающих тем самым максимальный эффект. Использование заданий, соответствующих уровню подготовки ученика в адаптивном тестировании, повышает точность измерений, сокращает время индивидуального тестирования.

На основе анализа результатов адаптивного тестирования можно строить процесс обучения с позиций личностно ориентированного подхода, т. е. отбирать учебные задания на оптимальном уровне трудности для каждого ученика. Известно, что легкие задания не способствуют развитию, а трудные - снижают мотивацию обучения. Поэтому оптимальным уровнем трудности4 заданий в тестологии считается 50%.

Компьютеризация образования, развитие теории педагогических измерений позволяют создать рейтинговую систему контроля для более объективной и точной оценки знаний, навыков и умений учащихся. Рейтинговая оценка обученности дает возможность с большой степенью достоверности охарактеризовать качество подготовки учащегося по данному учебному предмету. "Рейтинг" в переводе с английского - это оценка, некоторая численная характеристика какого-либо качественного понятия. Обычно под рейтингом понимается "накопленная оценка" или оценка, учитывающая "предысторию".

Модульное обучение предполагает жесткое структурирование учебной информации, содержания обучения и организацию работы учащихся с полными, логически завершенными учебными блоками (модулями). Модуль по своему содержанию совпадает с темой изучения учебного предмета. Например, модуль изучения темы "География Англии и Америки". Однако в отличие от темы в модуле все измеряется, все оценивается: выполнение каждого задания, работа на занятии, посещение занятий, стартовый, промежуточный и итоговый уровни подготовки учащихся. В модуле четко определены цели обучения, задачи и уровни изучения данного модуля, названы навыки и умения.

Учащиеся при модульном обучении всегда должны знать перечень основных понятий, навыков и умений по каждому конкретному модулю, включая количественную меру оценки качества усвоения учебного материала. На основе этого перечня составляются вопросы и учебные задания, охватывающие все виды работ по модулю, и выносятся на контроль после изучения модуля. Как правило, в модульной технологии обучения используется тестовая форма контроля.

Учебные модули и тесты могут быть легко перенесены в компьютерную среду обучения. Многие российские институты дистанционного образования строят свои учебные программы именно на основе модулей.

В модульном обучении оценивается в баллах каждое задание, устанавливаются его рейтинг и сроки выполнения (своевременное выполнение задания тоже оценивается соответствующим количеством баллов), т. е. основной принцип рейтингового контроля - это контроль и оценка качества знаний, навыков и умений с учетом систематичности работы учащихся.

После окончания обучения на основе модульных оценок определяется общая оценка, которая учитывается при определении результатов итогового контроля по предмету.

Итак, компьютерное тестирование наряду с обучением является сегодня одним из основных методов новой информационной технологии оценки уровня владения иностранным языком.

1

Согласно Концепции модернизации российского образования можно отметить, что основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий. Используются они по-разному: для управления образовательным процессом, для непосредственного обучения, для контроля и проверки усвоения и практического применения полученных знаний обучаемыми. Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Спектр применения тестов очень широк от короткого опроса после объяснения текущей темы до итоговых, выпускных или вступительных экзаменов. При этом для многих высших учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний. Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. В заключение можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Исходя из вышесказанного, было принято решение по разработке программного комплекса, универсальной автоматизированной системы адаптивного тестирования (АСАТ) - являющейся средством разработки и создания различного рода тестов, а также используемая для проведения тестирования и обработки результатов. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Программный комплекс АСАТ предоставляет следующие возможности по организации процесса тестирования:

Автоматизация процесса создания тестов, качественное проведение процесса тестирования.

Открытость и наращиваемость системы.

Отсутствие жесткой привязки к какому-либо предмету.

Легкость создания и модификация тестов.

Обеспечение возможности многопользовательской работы. Персонифицированный доступ для всех категорий пользователей.

Защита от несанкционированного доступа к тестируемым заданиям.

Развитые средства навигации на всех уровнях при проведении процесса тестирования. Наличие средства динамического контроля процесса тестирования со стороны преподавателя.

Настройка (адаптация) тестового материала под индивидуальные особенности обучаемого (студента, учащегося, специалиста и т.п.).

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого.

Наполнение базы данных тестовыми заданиями, позволяющими работать как с текстовой, графической, так и с динамической тестовой информацией.

Возможность создания различных заданий из одного набора вопросов.

Возможность проведения тестирования по частям курса и как следствие проведение итогового экзаменационного тестирования по всему курсу.

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса.

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых.

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки.

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Оперативный сбор и анализ результатов тестирования на любой момент времени с возможностью формирования периодических отчетов и ведомостей по различным запросам.

Внедрение АСАТ в процесс обучения студентов СурГУ и в общеобразовательные учреждения ХМАО - Югры.

По способу оценки результатов, тесты бывают двух видов: традиционные и адаптивные. Преимущество адаптивного теста перед традиционным - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов. Еще один значимый эффект - повышение достоверности, так как в этом случае исключается быстрое изучение банка заданий путем простого "прощелкивания" вариантов на компьютере (таким образом, можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В данной системе тестирования адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних, трудных заданий в зависимости от числа правильных ответов, зарегистрированных в ходе сеанса тестирования. Следует заметить, что переход на адаптивную методику возможен только в результате накопления значительного банка заданий с эмпирическим измеренным уровнем трудности. Адаптивность сочетается с принципом "лестничного алгоритма" - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляются легкие задания, затем - средние и, если тестируемый успешен на предыдущих уровнях, - трудные. После каждого ответа программа тестирования определяет обоснованность так называемого «досрочного перевода» тестируемого на более высокий уровень трудности. На каждом шаге оценивается значимость различий между числом правильных и неправильных ответов. При значениях меньших чем 5%-ый уровень ошибки (в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется перевод тестируемого на более высокий уровень трудности. Если задания данного уровня исчерпались, а тестируемый не перешел на следующий уровень трудности, то процесс тестирования завершается и осуществляется определение уровня знаний тестируемого.

Система реализована в виде трех независимых модулей:

модуля тестирования (предназначенного для тестируемых);

модуля создания и редактирования тестов (предназначенного для преподавателя);

модуля статистики и анализа результатов (предназначенного для преподавателя), которые могут устанавливаться независимо друг от друга на различные клиентские машины;

для сохранения исходных данных и результатов проводимых тестов используется база данных, которая хранит банк тестовых заданий, параметры настройки теста и процесса тестирования, информацию для аутентификации пользователей, результаты тестирования и другую информацию по обработке данных.

Модуль создания и редактирования тестов осуществляет идентификацию зарегистрированных или регистрацию новых преподавателей, обращается к базе данных, в которой хранятся тестовые задания и ответы к каждому тесту, а также его параметры, и позволяет преподавателю создать новый тест, изменить настройки имеющегося теста, редактировать вопросы и ответы.

Следует заметить, что преподаватель, зайдя в систему под своим регистрационным именем и паролем, получает доступ только к своей совокупности тестов, не имея возможности просмотреть или изменить тесты другого преподавателя.

Используя базу данных, модуль тестирования проводит идентификацию зарегистрированных или регистрацию новых пользователей, выбор теста, осуществляет тестирование испытуемого посредством вывода на экран вопроса и последующего получения ответа, обрабатывает поступившие данные и записывает полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования преподавателем.

Тестируемые могут получить доступ только к определенным тестам, заранее назначенным преподавателем. При этом используется адаптивный алгоритм контроля знаний, обуславливающий выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы. В данной системе отсутствует возможность пропустить вопрос и вернуться к нему в конце тестирования, это связано с тем, что в зависимости от того, как тестируемый ответит на текущий вопрос, обуславливается выбор очередного задаваемого вопроса. По окончании выполнения теста для тестируемого выводится результат тестирования и краткий комментарий. Результатом тестирования является оценка, которую пользователь получает исходя из критериев, заданных преподавателем для данного теста.

Модуль статистики и анализа результатов тестирования предоставляет преподавателю возможность просмотреть результаты тестирования отдельного студента или целой группы, по одному или нескольким тестам с различной степенью детализации. При этом в отчете отображаются результаты всех студентов по всем пройденным ими тестам, относящимся к выбранному предмету определенного преподавателя.

Так как тестирование основывается на принципе адаптивности, то вопросы, а также их количество в пределах одного теста для каждого пользователя будет неодинаковым. Поэтому в данном модуле предусматривается возможность вывода не только общей информации, но и более детального отчета о прохождении теста, который содержит информацию о том, какие пользователь получал вопросы и как он на них отвечал.

Созданная система соответствует современным требованиям, предъявляемым к классу подобного типа систем, как в области педагогического тестирования, так и в области информационных технологий.

Библиографическая ссылка

Бушмелева К.И. АВТОМАТИЗИРОВАННАЯ СИСТЕМА АДАПТИВНОГО ТЕСТИРОВАНИЯ // Фундаментальные исследования. – 2007. – № 2. – С. 48-50;
URL: http://fundamental-research.ru/ru/article/view?id=2517 (дата обращения: 18.09.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

УДК 004.4

А. М. ГУДОВ, С. Ю. ЗАВОЗКИН, Е. В. СИДОРОВА

A. M. GUDOV, S. U. ZAVOZKIN, E. V. SIDOROVA

СИСТЕМА КОМПЬЮТЕРНОГО АДАПТИВНОГО ТЕСТИРОВАНИЯ

SYSTEM OF COMPUTER ADAPTIVE TESTING

В данной работе описывается еще один подход к оценке знаний обучающихся посредством компьютерного тестирования. Оценка предполагает использование двух стратегий: алгоритм неадаптивного (прямого) и адаптивного (выбор траектории тестирования в зависимости от ответов тестируемого) тестирования. В случае неадаптивного компьютерного тестирования расчет итоговой оценки зависит только от уровня сложности тестовых заданий, в другом случае – от уровня сложности, «веса» базового (начального) и дополнительного набора тестовых заданий, а также количества прохождений одного и того же теста. Сам тест имеет иерархическую структуру.

Ключевые слова: тестирование; адаптивный алгоритм; оценка знаний студентов; тест; тестовое задание.

This article describes one more method to assess student’s knowledge by using computer testing. There are two strategies of assessment: non-adaptive (direct) and adaptive (selection of the path of testing depends on the answers that are given) testing algorithms. In the case of non-adaptive computer testing, calculation of grade depends on complexity level of the test tasks. In the other case – calculation of grade depends on complexity, “weight” of basic (initial) and additional sets of the test tasks, and the number of passing one and the same test. The test has a hierarchical structure.

Keywords: testing; adaptive algorithm; assessment of student’s knowledge; test; test task.

На современном этапе развития образования все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является компьютерное тестирование. Основные преимущества тестирования давно обсуждаются в специальной литературе. Однако традиционное компьютерное тестирование имеет ряд проблем, таких как:

1. Примитивность расчета итоговой оценки, который сводится либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ.

2. Недостоверность тестирования, так как возможно быстрое изучение банка заданий.

3. Необъективность оценки знаний ‑ тестируемым с разным уровнем подготовки задаются вопросы одного уровня сложности.

Перечисленные проблемы могут быть решены применением компьютерного тестирования на основе адаптивного алгоритма. Адаптивное тестирование – это широкий класс методик тестирования, предусматривающих изменение последовательности предъявления заданий в самом процессе тестирования с учетом ответов испытуемого на уже предъявленные задания.

С другой стороны, система прямого тестирования позволяет наиболее точно провести испытуемого через траекторию, заданную преподавателем. Компромиссным решением служит система, которая позволяет проводить контрольные испытания адаптивным и неадаптивными способами.

На рынке представлено большое количество систем тестирования, которые были проанализированы на основе следующих основных критериев: использование в качестве клиентского приложения Web – браузера; возможность проведения тестирования адаптивным и неадаптивным способами; возможность ограничения теста по времени; возможность использование иллюстраций в качестве формулировок и вариантов ответов на тестовое задание; присутствие основных типов тестовых заданий; наличие механизма анализа результатов тестирования; соответствие тестовых заданий при экспорте/импорте стандарту QTI ; возможность интеграции с другими системами.

В число рассмотренных систем вошли и используемые в данный момент в КемГУ системы RealTests (собственная разработка) и АСТ (приобретенная система).

Результаты анализа показали, что ни одна из рассмотренных систем полностью не соответствует предъявленным критериям. Таким образом, была поставлена задача создании принципиально новой системы тестирования на базе используемой системы RealTests, позволяющей проводить контрольные испытания у студентов двумя способами: традиционным и адаптивным .

При разработке алгоритма адаптивного тестирования учитывались следующие принципы:

1. Количество заданий и уровень сложности, определяются преподавателем в зависимости от структуры плана и курса (базовый набор).

2. Если испытуемый отвечает на задания базового набора по текущему уровню сложности – ему задаются задания повышенного уровня сложности (студент имеет возможность досрочно завершить тестирование с положительной оценкой).

3. Если испытуемый не отвечает на вопросы заданного уровня сложности из базового набора ‑ ему задаются задания пониженного уровня сложности из базы тестовых заданий.

4. Если студент не отвечает на дополнительные вопросы текущего уровня, то уровень понижается, и подбираются дополнительные вопросы из базы тестовых заданий этого уровня.

5. Если студент отвечает на дополнительные вопросы заданного уровня, то уровень увеличивается, и студент может вернуться к ответу на задания из базового набора или дополнительного набора заданий.

На рисунке 1 схематично представлен алгоритм адаптивного тестирования, где использованные обозначения имеют следующий смысл: t – количество тем; L – количество уровней сложности; https://pandia.ru/text/79/108/images/image002_115.gif" width="69 height=45" height="45">.gif" width="23" height="24">.gif" width="19" height="25 src=">.gif" width="93 height=47" height="47">– общее количество заданий в базовом наборе.

В процессе тестирования определяются следующие значения:

Https://pandia.ru/text/79/108/images/image019_11.gif" width="201" height="95 src="> – текущая балльная оценка знаний испытуемого при использовании адаптивного алгоритма (– штрафной коэффициент, где l – количество пересдач);

- ‑ текущая балльная оценка знаний испытуемого при использовании неадаптивного алгоритма.

Рисунок 1. – Адаптивный алгоритм

Выбор тестового задания с другим уровнем сложности происходит в соответствии с показанным на Рисунке 2 алгоритмом.

Рисунок 2. - Изменение уровня сложности

В соответствии с требованиями к системе были разработан комплекс моделей:

1. информационная модель;

2. функциональные диаграммы в нотациях IDEF0 и IDEF3;

3. ER – модель;

4. диаграммы системного окружения и вариантов использования в нотации UML.

При моделировании учитывалось, что создаваемая система «СКАТ» должна интегрироваться с рядом подсистем, входящих в интегрированную аналитическую информационную систему ИАИС , внедренную в КемГУ и обеспечивающую единое информационное пространство ВУЗа.

В соответствии с построенными моделями реализована система тестирования с использованием следующих средств: СУБД ORACLE; процедурный язык PL/SQL; сервер приложений Apache Tomcat 5.4.4; пакет приложений KemSUWEB.

Внедрение системы позволит достичь новых результатов при оценке знаний обучающихся:

повышение объективности оценки знаний;

реализация гибкой траектории испытания в зависимости от градации уровней сложности тестовых заданий;

простота использования системы за счет использования стандартного web-браузера;

мобильность преподавателя и испытуемого;

обмен тестовыми заданиями между различными системами, поддерживающими стандарт QTI.

СПИСОК ЛИТЕРАТУРЫ

1. Спецификация IMS Question & Test Interoperability. - Vol. 1.2 [Электронный ресурс]/ IMS Global Learning Consortium, Inc.// http://www. imsglobal. org/question/. – 2001 – 2012

2. Ростовцев, компьютерного контроля успеваемости студентов [Текст] / , // Материалы региональной научно-практической конференции "Информационные недра Кузбасса". КемГУ, Кемерово: изд."Фирма Полиграф", 2001, ч.2, с.194-198.

3. Афанасьев, аналитическая информационная система управления университетом: основные элементы [Текст] / , . – Кемерово: издательство, 2009.

К. ф.-м. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

К. т. н., доцент кафедры ЮНЕСКО по НИТ

E-mail: *****@***ru

ФГБОУ ВПО «Кемеровский государственный университет», г. Кемерово

Студентка кафедры ЮНЕСКО по НИТ ФГБОУ ВПО КГУ

1

Согласно Концепции модернизации российского образования можно отметить, что основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий. Используются они по-разному: для управления образовательным процессом, для непосредственного обучения, для контроля и проверки усвоения и практического применения полученных знаний обучаемыми. Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Спектр применения тестов очень широк от короткого опроса после объяснения текущей темы до итоговых, выпускных или вступительных экзаменов. При этом для многих высших учебных заведений актуальным вопросом является использование информационных технологий при разработке автоматизированных систем обучения и контроля знаний. Ведь использование подобного типа систем в образовательном процессе позволит применить новые адаптивные алгоритмы тестового контроля, использовать в тестовых заданиях мультимедийные возможности компьютеров, уменьшить объем бумажной работы, ускорить процесс подсчета результатов опроса, упростить администрирование, снизить затраты на организацию и проведение тестирования. В заключение можно отметить, что компьютерные системы контроля знаний приобретают все большую популярность, что объясняется их объективностью, доступностью и экономической эффективностью.

Исходя из вышесказанного, было принято решение по разработке программного комплекса, универсальной автоматизированной системы адаптивного тестирования (АСАТ) - являющейся средством разработки и создания различного рода тестов, а также используемая для проведения тестирования и обработки результатов. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Программный комплекс АСАТ предоставляет следующие возможности по организации процесса тестирования:

Автоматизация процесса создания тестов, качественное проведение процесса тестирования.

Открытость и наращиваемость системы.

Отсутствие жесткой привязки к какому-либо предмету.

Легкость создания и модификация тестов.

Обеспечение возможности многопользовательской работы. Персонифицированный доступ для всех категорий пользователей.

Защита от несанкционированного доступа к тестируемым заданиям.

Развитые средства навигации на всех уровнях при проведении процесса тестирования. Наличие средства динамического контроля процесса тестирования со стороны преподавателя.

Настройка (адаптация) тестового материала под индивидуальные особенности обучаемого (студента, учащегося, специалиста и т.п.).

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого.

Наполнение базы данных тестовыми заданиями, позволяющими работать как с текстовой, графической, так и с динамической тестовой информацией.

Возможность создания различных заданий из одного набора вопросов.

Возможность проведения тестирования по частям курса и как следствие проведение итогового экзаменационного тестирования по всему курсу.

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса.

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых.

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки.

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Оперативный сбор и анализ результатов тестирования на любой момент времени с возможностью формирования периодических отчетов и ведомостей по различным запросам.

Внедрение АСАТ в процесс обучения студентов СурГУ и в общеобразовательные учреждения ХМАО - Югры.

По способу оценки результатов, тесты бывают двух видов: традиционные и адаптивные. Преимущество адаптивного теста перед традиционным - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов. Еще один значимый эффект - повышение достоверности, так как в этом случае исключается быстрое изучение банка заданий путем простого "прощелкивания" вариантов на компьютере (таким образом, можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В данной системе тестирования адаптивность выражается в изменении относительных пропорций в предъявлении легких, средних, трудных заданий в зависимости от числа правильных ответов, зарегистрированных в ходе сеанса тестирования. Следует заметить, что переход на адаптивную методику возможен только в результате накопления значительного банка заданий с эмпирическим измеренным уровнем трудности. Адаптивность сочетается с принципом "лестничного алгоритма" - предъявления заданий с систематическим нарастанием уровня трудности. Вначале предъявляются легкие задания, затем - средние и, если тестируемый успешен на предыдущих уровнях, - трудные. После каждого ответа программа тестирования определяет обоснованность так называемого «досрочного перевода» тестируемого на более высокий уровень трудности. На каждом шаге оценивается значимость различий между числом правильных и неправильных ответов. При значениях меньших чем 5%-ый уровень ошибки (в отвержении гипотезы равновероятной встречаемости правильных ответов и ошибок) осуществляется перевод тестируемого на более высокий уровень трудности. Если задания данного уровня исчерпались, а тестируемый не перешел на следующий уровень трудности, то процесс тестирования завершается и осуществляется определение уровня знаний тестируемого.

Система реализована в виде трех независимых модулей:

модуля тестирования (предназначенного для тестируемых);

модуля создания и редактирования тестов (предназначенного для преподавателя);

модуля статистики и анализа результатов (предназначенного для преподавателя), которые могут устанавливаться независимо друг от друга на различные клиентские машины;

для сохранения исходных данных и результатов проводимых тестов используется база данных, которая хранит банк тестовых заданий, параметры настройки теста и процесса тестирования, информацию для аутентификации пользователей, результаты тестирования и другую информацию по обработке данных.

Модуль создания и редактирования тестов осуществляет идентификацию зарегистрированных или регистрацию новых преподавателей, обращается к базе данных, в которой хранятся тестовые задания и ответы к каждому тесту, а также его параметры, и позволяет преподавателю создать новый тест, изменить настройки имеющегося теста, редактировать вопросы и ответы.

Следует заметить, что преподаватель, зайдя в систему под своим регистрационным именем и паролем, получает доступ только к своей совокупности тестов, не имея возможности просмотреть или изменить тесты другого преподавателя.

Используя базу данных, модуль тестирования проводит идентификацию зарегистрированных или регистрацию новых пользователей, выбор теста, осуществляет тестирование испытуемого посредством вывода на экран вопроса и последующего получения ответа, обрабатывает поступившие данные и записывает полученные результаты тестирования в базу данных для возможности дальнейшего анализа и использования преподавателем.

Тестируемые могут получить доступ только к определенным тестам, заранее назначенным преподавателем. При этом используется адаптивный алгоритм контроля знаний, обуславливающий выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы. В данной системе отсутствует возможность пропустить вопрос и вернуться к нему в конце тестирования, это связано с тем, что в зависимости от того, как тестируемый ответит на текущий вопрос, обуславливается выбор очередного задаваемого вопроса. По окончании выполнения теста для тестируемого выводится результат тестирования и краткий комментарий. Результатом тестирования является оценка, которую пользователь получает исходя из критериев, заданных преподавателем для данного теста.

Модуль статистики и анализа результатов тестирования предоставляет преподавателю возможность просмотреть результаты тестирования отдельного студента или целой группы, по одному или нескольким тестам с различной степенью детализации. При этом в отчете отображаются результаты всех студентов по всем пройденным ими тестам, относящимся к выбранному предмету определенного преподавателя.

Так как тестирование основывается на принципе адаптивности, то вопросы, а также их количество в пределах одного теста для каждого пользователя будет неодинаковым. Поэтому в данном модуле предусматривается возможность вывода не только общей информации, но и более детального отчета о прохождении теста, который содержит информацию о том, какие пользователь получал вопросы и как он на них отвечал.

Созданная система соответствует современным требованиям, предъявляемым к классу подобного типа систем, как в области педагогического тестирования, так и в области информационных технологий.

Библиографическая ссылка

Бушмелева К.И. АВТОМАТИЗИРОВАННАЯ СИСТЕМА АДАПТИВНОГО ТЕСТИРОВАНИЯ // Современные проблемы науки и образования. – 2007. – № 2.;
URL: http://science-education.ru/ru/article/view?id=2517 (дата обращения: 18.09.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Введение

1. Формирование требований к программному средству

1.1 Выявление требований. Документ "Видение"

1.2 Построение диаграммы вариантов использования

1.2.1 Выявление актеров

1.2.2 Выявление вариантов использования

2. Анализ предметной области

2.1 Описание входной и выходной информации

2.2 Построение диаграммы потоков данных

3. Проектирование программного средства

3.1 Проектирование архитектуры ПС

3.2 Концептуальное и логическое проектирование структуры информационного обеспечения

3.3 Проектирование интерфейса

4. Реализация программного средства

4.1 Выбор средств реализации

4.2 Реализация информационного обеспечения

4.2.1 Создание БД

4.2.2 Создание таблиц и полей. Заполнение БД

4.2.3 Создание связей. Построение диаграммы БД

4.3 Реализация пользовательского интерфейса

4.4 Реализация функциональности программного средства

4.5 Организация взаимодействия приложения с БД

4.6 Руководство пользователя

5. Тестирование программного средства

Заключение

Приложения

Введение

Согласно концепции модернизации российского образования на период до 2010 года одной из ключевых приоритетных задач является обеспечение государственных гарантий - доступности и равных возможностей получения полноценного образования; достижение нового современного качества профессионального образования. Основные усилия по реализации реформы сегодня сосредоточены на увеличении роли информационных технологий.

И это требует нового, современного подхода в создании интеллектуальных систем дистанционного обучения. Если раньше такие системы могли представлять собой набор гипертекстовых, электронных материалов и тестов, то теперь становится крайне необходимо систематизировать и наполнить системы интеллектуальной «начинкой». Основные требования к таким системам известны: интеллектуальность, открытость, гибкость и адаптивность при организации процесса обучения.

Для этого в последнее время все большее применение на разных этапах обучения получили различного рода тестовые опросы. Однако, традиционное тестирование, осуществляемое с помощью стандартизированных тестов, постепенно утрачивает свою актуальность. Оно перерастает в современные, более эффективные формы адаптивного тестирования. Данные формы тестирования основываются на отличных от традиционно теоретико-методологических основ, и иных технологиях конструирования и предъявления тестов.

Преимущество адаптивного теста перед традиционной формой тестирования - его эффективность. Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов. При выполнении одного и того же адаптивного теста тестируемые с высоким уровнем подготовки и тестируемые с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний - легких. Доли правильных ответов у обоих могут совпадать, но так как первый отвечал на более сложные вопросы, то он наберет большее количество баллов.

В соответствии с этим, было принято решение по разработке подсистемы адаптивного тестирования "Тестирование" - являющейся средством генерации различного рода тестов из прикрепленных баз данных, а также имеющая возможность создавать и редактировать данные тесты. Основным требованием к разработанной системе являлось ее интеллектуальность, достигающаяся за счет организации адаптивности процесса тестирования.

Адаптивная система тестирования (АСТ) "Тестирование" предоставляет следующие возможности по организации процесса тестирования:

Открытость и наращиваемость системы;

Адаптивный выбор следующего вопроса в зависимости от правильности предыдущих ответов обучаемого;

Обеспечение полной и качественной проверки знаний большого количества обучаемых (студентов, учащихся, специалистов) без особых временных затрат и материальных средств по всем разделам учебного процесса;

Достоверность, точность и объективность результатов тестирования. Исключение субъективного подхода к оценке знаний обучаемых;

Уменьшение вероятности возникновения ошибок при подсчете результатов тестирования и выведения итоговой оценки;

Освобождение преподавателей от трудоемкой работы по обработке результатов тестирования.

Перспективой данной разработки является создание модели подсистемы адаптивного тестирования, написание ее программной реализации и обеспечение эффективного функционирования. Использование данной подсистемы будет возможно в следующих случаях: при проведении текущей оценки знаний, аттестации, экзамена студентов (учащихся, специалистов) и т.п.

Важнейшими особенностями разрабатываемой подсистемы, которые отличают ее от большинства уже созданных систем, можно считать открытость, эффективность и простота использования. Открытость системы заключается в том, что для использования подсистемы студентами и преподавателями не требуется дополнительного обучения. Ознакомиться со структурой системы можно в порядке 10-15 минут. Про эффективность уже говорилось ранее. Простота использования заключается в том, что конечному пользователю (заказчику данной подсистемы) не нужно для ее использования искать специализированное программное обеспечение, все необходимое (программа с.exe файлом, прикрепленная база данных, и помощь: руководство для преподавателя и руководство для тестируемого) собранно в распространяемой производителем папке.

Обосновав актуальность выбранной темы курсового проекта, можно приступать к описанию основных этапов жизненного цикла программного обеспечения (ПО), которые нужно выполнять в строгой последовательности. Сначала следует сформировать требования к программному средству (ПС), затем произвести анализ предметной области, и в завершении приступить к проектированию программного средства, его реализации и тестированию.

программный архитектура проектирование

1. Формирование требований к программному средству

1 Выявление требований. Документ "Видение"

Требования - это исходные данные, на основании которых проектируются и создаются автоматизированные информационные системы.

Наиболее подробно проанализировать и определить высокоуровневые требования для подсистемы адаптивного тестирования, и в результате получить хороший конечный продукт, можно путем составления документа Видение. Документ обращает внимание на то, как и почему данные потребности существуют в данной подсистеме. Остановимся на основных пунктах данного документа, которые помогут нам детально проанализировать подсистему.

Настоящий документ основан на теоретических данных об адаптивном тестировании, имеет взаимосвязь с проектом подготовки адаптивных тестирований и разрабатывается в рамках автоматизации адаптивных тестов в среду дистанционного образования (ДО).

Как уже говорилось ранее, адаптивное тестирование является эффективнее традиционной формы, однако и тут есть некоторые проблемы. Какие же проблемы существуют, и что получится в случае их успешного решения. Данную информацию представим в виде таблиц.

Таблица 1 - Проблема 1

ПроблемаУпрощение задачи, стоящей перед слушателем. Вместо самостоятельного формулирования полного и исчерпывающего ответа на поставленный вопрос требуется лишь выбрать правильный ответ из числа готовых вариантов ответаЗатрагиваеттестируемыйЕе следствием являетсявозможность угадывания правильного ответаУспешное решениеувеличивается объем разнообразного учебного материала, который может быть проверен за определенный отрезок времениТаблица 2 - Проблема 2

ПроблемаНеобходимость высокой квалификации преподавателей и экспертов, составляющих задания.Затрагиваетпреподаватели - экспертыЕе следствием являетсянеобходимость дополнительного повышения квалификаций преподавателейУспешное решениезато, отсутствует необходимость непосредственного участия преподавателя в самом проведении тестирования

Таблица 3 - Проблема 3

ПроблемаНевозможность оценки характера мышления (логика построения концепции, умения обосновать ее, используя для этого необходимые данные, логическое мышление и др.)Затрагиваеттестируемый, преподавательЕе следствием являетсянеоднозначность оценки ответаУспешное решениевозможность статистической обработки результатов контроля, и отсутствие предвзятого (личного) отношения пары преподаватель-студент

Теперь определим позицию данной подсистемы адаптивного тестирования.

Таблица 4 - Определение позиции подсистемы

ДляВУЗаКоторойТребуется оптимизировать процесс адаптивного тестированияНазвание продуктаАСТ "Тестирование"КоторыйПродукт надежен и основан на БДВ отличие отСуществующей системы устной проверки знанийДанный продуктОблегчает процедуру проверки знаний

Однако это не означает, что данная система создается исключительно для вузов. Целевым заказчиком, подсистемы адаптивного тестирования, позволяющей обеспечить современный уровень обучения на основе применения современных информационных технологий, вполне, могут являться еще и учебные центры, стремящиеся идти в ногу со временем.

При описании проблем были упомянуты пользователи данной системы. Опишем, кто к ним относится и какими правами обладает.

Система адаптивного тестирования обеспечивает надежную работу следующих групп пользователей:

Преподаватели - эксперты, составляющие задания

Студенты, тестирующиеся по конкретным дисциплинам