You are on page 1of 55

Калининградский Государственный Технический Университет

Кафедра СУ и ВТ

Реферат
«Методы и модели интеллектуального
автоматизированного контроля знаний»

Проверил
к.тн., доцент кафедры СУ и ВТ КГТУ
Рудинский Игорь Давидович
оценка___________________
«______»_____________2001
_________________________

Выполнил
Соловей
Евгений Владимирович
«____»_________2001
__________________

Калининград
2001

Аннотация
Настоящий реферат содержит результаты анализа методов и моделей
интеллектуального контроля знаний с применением средств вычислительной техники,
существующих на данный момент в области образования. Также рассказывается о
новых разработках в этой области и собственных мыслях автора. Узловыми вопросами
работы является обзор имеющихся средств автоматизации контроля знаний и
тестирования, теоретические разработки различных авторов, методы построения
интеллектуальных систем контроля, модели оценивания знаний.

2

Содержание
Введение...............................................................................................................................................5
1. Контроль и тестирование...........................................................................................................7
1.1 Функции контроля..................................................................................................................7
1.1.1 Контролирующая функция.................................................................................................7
1.1.2 Обучающая функция..........................................................................................................7
1.1.3 Диагностическая функция.................................................................................................8
1.1.4 Прогностическая функция.................................................................................................8
1.1.5 Развивающая функция........................................................................................................8
1.1.6 Ориентирующая функция..................................................................................................9
1.1.7 Воспитывающая функция.................................................................................................9
1.2 Методы контроля.....................................................................................................................9
1.2.1 Устная проверка..................................................................................................................9
1.2.2 Проверка письменно – графических работ....................................................................11
1.2.3 Проверка практических и лабораторных работ.............................................................12
1.3 Средства контроля................................................................................................................12
1.3.1 Безмашинные средства контроля....................................................................................12
1.3.1.1 Проверка домашнего задания..................................................................................12
1.3.1.2. Диктант......................................................................................................................13
1.3.1.3 Организация самостоятельных работ......................................................................13
1.3.1.4. Организация контрольных работ............................................................................13
1.3.2 Машинные средства проверки.........................................................................................14
1.4 Компьютерное тестирование...............................................................................................14
2. Интеллектуальное тестирование............................................................................................19
2.1 Методы и модели....................................................................................................................20
2.1.1 Модели распознавания образа уровня знаний...............................................................20
2.1.2 Предметно - критериальная методика составления тестов..........................................22
2.1.3 Метод определения количества образовательной информации...................................24
2.1.4 Информационно-генетические алгоритмы....................................................................26
2.1.5 Модель Раша......................................................................................................................28
2.1.6 Абсолютная временная шкала измерения знаний.........................................................31
2.1.7 Методика статистического анализа качества обучения...............................................32
2.1.8 Модель адаптивного тестового контроля.......................................................................34
2.1.9 Концептуальная модель адаптивного тестового контроля знаний...............................36
2.1.9.1 Блок целей обучения..................................................................................................36
2.1.9.2 Блок содержания........................................................................................................36
2.1.9.3 Блок измерения..........................................................................................................37
2.1.9.4 Блок адаптивного обучения......................................................................................39
2.1.9.5 Блок системы мониторинга.......................................................................................42
2.1.10 Технология рейтинговых исследований качества образования с применением
нейронных сетей........................................................................................................................42
2.2 Собственные разработки......................................................................................................45
2.2.1 Тестирование по методу цепочек вопросов...................................................................45
2.2.2 Автоматизированный контроль знаний по методике уточняющих вопросов.............46
2.2.4 Алгоритмы прямого тестирования в интеллектуальной автоматизированной системе
контроля знаний.........................................................................................................................48
2.2.5 Метод адаптивного автоматизированного тестирования знаний.................................50
3

Заключение........................................................................................................................................52
Список использованной литературы............................................................................................54

4

Введение
В последние годы в России в сфере образования наблюдается стремительное
усиление интереса к автоматизации промежуточного и финального контроля
результатов обучения учащихся самых различных учебных заведений, начиная от школ
и заканчивая коммерческими курсами. Самым популярным видом такого контроля
является

тестирование,

пользователем.

основанное

Стремительный

рост

на

диалоге

вычислительной

быстродействия

системы

компьютерных

с

систем,

уменьшение цен на вычислительную технику, появление качественных и мощных
систем программирования

увеличило

потребность

в

системах,

позволяющих

объективно, быстро и надежно оценивать знания учащихся, предлагая интересные
формы взаимодействия с ними.
Но вопрос создания таких систем является не однозначным, и авторы
существующих разработок иногда отходят от педагогической и психологической
стороны

вопроса,

пытаясь

максимально

увеличить

привлекательность

своих

программных продуктов за счет средств мультимедиа. Иногда программисты просто
игнорируют

процесс

взаимодействия

с

непосредственно

носителями

знаний

(преподавателями), что отражается на существующих приложениях. Очень часто сами
преподаватели не владеют в должной мере методами оценки качества создаваемых
тестов (будем говорить о тестировании).
Необходимо отметить, что первые концепции компьютеризации обучения
возникли более 30 лет назад под лозунгом “техническое перевооружение педагога,
механизация

его

труда”,

“обучающей

машины”,

имитирующей

процесс

индивидуальной работы преподавателя с обучаемым. Со временем росло понимание
их ограниченности. Определенное распространение получили попытки использовать в
учебном процессе системы искусственного интеллекта [1]. Именно применение
методов искусственного интеллекта и инженерии знаний, на мой взгляд, поможет
превозмочь субъективность и прямолинейность процесса тестирования, поднимая
уровень оценивания знаний машинными системами. Дело в том, что применение
традиционных методов компьютерного обучения и контроля (прямое тестирование,
бальная система, и т.д.) неприемлемо: для того, чтобы оценить знания обучаемого,
преподавателю приходится переработать огромное количество информации, и процесс
взаимодействия оценивающего и оцениваемого не поддается строгой формализации,
5

цикл) при реализации машинных систем не смогут описать в полной мере данную предметную область. выдвинуть собственные идеи. без которых критерии оценки знаний и способы определения уровня их усвоения выявить нельзя. осуществление автоматизированного контроля знаний. умений обучаемых. 6 . 2). Т. описать и оценить качество существующих систем контроля. включает решение проблемы определения совокупности требуемых качеств знаний. ветвление. в первую очередь. Автор в данной работе попытался показать некоторые существующие методы и модели интеллектуального тестирования (см.е.поэтому три основные алгоритмические структуры (последовательная.

Они не только воспроизводят ранее изученное. изучается глубина и объем их усвоения. При помощи контроля определяется исходный уровень для дальнейшего овладения знаниями. в изучении степени усвоения приемов познавательной деятельности. в указании путей совершенствования. функции: диагностическую. но и применяют 7 . Рассмотрим эти функции более подробно. Во – вторых. 1. воспитывающую [3]. умений. Сравнивается планируемое с действительными результатами. успехов учащихся. углубления знаний. умениями и навыками предусмотренных программой. конкретизация основной цели контроля связана с обучением приемам взаимоконтроля и самоконтроля. то можно говорить контролирующую. Если перечисленные цели контроля знаний и умений учащихся реализовать. Эта цель в первую очередь связана с определением качества усвоения учащимися учебного материала – уровня овладения знаниями. Контроль и тестирование Основная цель контроля знаний и умений состоит в обнаружении достижений. 1. чтобы создавались условия для последующего включения учащихся в активную творческую деятельность. В .1.1. формированием потребности в самоконтроле и взаимоконтроле.1 Контролирующая функция Контролирующая функция состоит в выявлении состояния знаний и умений учащихся.2 Обучающая функция Обучающая функция контроля заключается в совершенствовании знаний и умений. их систематизации. ориентирующую.1 Функции контроля 1.третьих эта цель предполагает воспитание у учащихся таких качеств личности. прогностическую.1. навыков рационального учебного труда. форм и средств обучения. что контроль обучающую выполняет следующие (образовательную). В процессе проверки учащиеся повторяют и закрепляют изученный материал. с тем. устанавливается эффективность используемых преподавателем методов. умениями и навыками. как ответственность за выполненную работу. уровня их умственного развития. развивающую. о том. проявление инициативы.

в развитии их творческих способностей.3 Диагностическая функция Сущность диагностической функции контроля – в получении информации об ошибках. а также уточнить направление дальнейшего совершенствования содержания методов и средств обучения. В процессе контроля развиваются речь. Прогноз помогает получить верные выводы для дальнейшего планирования и осуществления учебного процесса.знания и умения в новой ситуации. воображение. Результаты диагностических проверок помогают выбрать наиболее интенсивную методику обучения.1. склонности. о числе. 1. как способности. Контроль оказывает большое влияние на развитие и проявление таких качеств личности. недочетах и пробелах в знаниях и умениях учащихся и порождающих их причинах затруднений учащихся в овладении учебным материалом. 1. воля и мышление школьников. потребности. интересы.1. Проверка помогает выделить главное. характере ошибок. В результате проверки получают основания для прогноза о ходе определенного отрезка учебного процесса: достаточно ли сформированы конкретные знания.5 Развивающая функция Развивающая функция контроля состоит в стимулировании познавательной активности учащихся. сделать проверяемые знания и умения более ясными и точными. Контроль обладает исключительными возможностями в развитии учащихся. допускающего сегодня ошибки данного типа или имеющего определенные пробелы в системе приемов познавательной деятельности.4 Прогностическая функция Прогностическая функция проверки служит получению опережающей информации об учебно-воспитательном процессе. темы). Результаты прогноза используют для создания модели дальнейшего поведения учащегося. память. Контроль способствует также обобщению и систематизации знаний. умения и навыки для усвоения последующей порции учебного материала (раздела. внимание. 1. 8 .1. основное в изучаемом материале.

а также эффективней становится и сам учебный процесс. Итак. Методика устной проверки включает в себя две основные части:  составление проверочных вопросов и их задание. настойчивости. 9 .  ответ учащихся на поставленные вопросы.в получении информации о степени достижения цели обучения отдельным учеником и группой в целом – насколько усвоен и как глубоко изучен учебный материал. аккуратности.2 Методы контроля 1.1. в зависимости от ее цели и от содержания проверяемого материала.2. он указывает им направления приложения сил по совершенствованию знаний и умений.7 Воспитывающая функция Воспитывающая функция контроля состоит в воспитании у учащихся ответственного отношения к учению. В зависимости от содержания она проводится по материалу предшествующего урока или по отдельным разделам и темам курса. Реализация выделенных функций на практике делает контроль более эффективным. Контроль помогает учащемуся лучше узнать самого себя. Она является условием воспитания твердой воли. Вскрывая пробелы. привычки к регулярному труду [3]. контроль знаний является неотъемлемой частью учебного процесса. ошибки и недочеты учащихся. 1.1. Существует несколько методов контроля. Среди целевых установок проверки можно выделить следующие: проверить выполнение домашнего задания. оценить свои знания и возможности. Проверка побуждает более серьезно и регулярно контролировать себя при выполнении заданий. честности. Контроль ориентирует учащихся в их затруднениях и достижениях.1 Устная проверка Устная проверка организуется по-разному. Выделение функции контроля подчеркивает его роль и значение в процессе обучения. 1. рассмотрим основные из них.6 Ориентирующая функция Сущность ориентирующей функции контроля . В учебном процессе сами функции проявляются в разной степени и различных сочетаниях.1. выявить подготовленность учащихся к изучению нового материала. дисциплины. проверить степень понимания и усвоения новых знаний.

Качество вопросов определяется характером умственных действий. должен быть предельно сжатым. Качество вопросов определяется их содержанием. Качество устной проверки зависит от подбора. каждый вопрос должен быть целенаправленным и логически завершенным. которые выполняют учащиеся при ответе на вопрос. Причем устную проверку считают эффективной. что проверять следует те знания. во-первых. которая обеспечивает наилучшую работу его интеллектуальных сил. которые предлагаются. мышление (на сравнение. которые заставляют применять полученные знания в практической деятельности. доказательство. 10 . лаконичным и точным. Большое значение имеют проблемные вопросы.Составление проверочных вопросов и заданий . а. Второй составной частью устной проверки является ответ учащегося на вопросы. последовательности и постановки вопросов. если она направлена на выявление осмысленности восприятия знаний и осознанности их использования. во-вторых. речь. а также словесной формулировкой. а для тематической и итоговой проверки . В дидактической литературе выделяются два условия качественного выявления знаний учащегося:  ученику никто не мешает (преподаватель и аудитория комментируют ответ потом).выделение ведущих знаний и способов оперирования ими. При составлении вопросов всегда исходят из того.  создается обстановка. Поэтому среди проверочных заданий выделяют вопросы. На подбор вопросов оказывает влияние вид проверки: для уточнения содержания вопросов для текущей проверки необходим анализ связей изучаемого материала с ранее пройденным.важный элемент устной проверки. активизирующие память (на воспроизведение изученного). если она стимулирует самостоятельность и творческую активность учащихся. характером выполняемых учащимися при ответе на вопросы умственных действий. которые являются основными в данном курсе или относительно трудно усваиваются учащимися или которые необходимы для успешного усвоения дальнейших разделов и тем курса. обобщение).

В методике письменно – графических работ выделяют четыре основных этапа. образцы проверочных работ в журналах. При этом следить за самостоятельностью выполнения работы каждым учеником. как оформить решение. это подготовка. если он не отвечает на вопрос. отобрать содержание объектов проверки. качество речи. составить проверочные задания. Анализ ответов учащихся эффективен тогда. изучить причины их появления и наметить пути их устранения. как озаглавить работу. Выбор тех или иных приемов во многом предопределяется целью и логикой урока. а уклоняется в сторону. время выполнения работы. когда он проводится по определенным схемам (схемам поэлементного анализа).2 Проверка письменно – графических работ Вторым широко применяемым методом контроля в обучении является проверка письменно .  умения применять его к решению задач. охват нужного числа проверяемых. которым надо уделять внимание.графических работ. Тщательно проведенный анализ позволяет глубоко изучить пробелы и достижения отдельных учеников. какие задания им предназначены. экономия времени. Этот метод имеет свои качественные особенности: большая объективность по сравнению с устной проверкой.  контроля сформированных навыков. Большую помощь при этом оказывают учебно – методические пособия. 11 .Прерывать ученика можно только в том случае. анализ результатов. При оценке ответа ученика обращают внимание на правильность и полноту ответа. организация. 1. последовательность изложения. проведение. При подготовке нужно: вычленить цель проверки. Приемы устной проверки используются на различных этапах урока. выделить типичные ошибки и основные затруднения учащихся.2. При организации проверочной работы учащимся сообщается. Применение письменных работ используется для:  проверки знания теоретического материала.

Это и устный опрос у доски или с места по домашнему заданию. 1. Это несколько затрудняет проверку и оценку каждого действия ученика. проведение и обработку результатов. действий что ученика. пользоваться различными таблицами. 1. но оцениваются по-разному. но.3 Проверка практических и лабораторных работ С помощью этого метода получают данные об умении учащихся применять полученные знания при решении практических задач. приборами. 12 . Преподаватели практикуют разные формы учета. которые не требуют больших затрат времени на подготовку. и короткая письменная работа. в котором приводится только результат или схематически описаны план практической работы и ее результаты. по результатам тренировочных работ можно выставить лишь положительные оценки. чертежными и измерительными инструментами. выборочная во внеурочное время. деятельности. самостоятельная и контрольная работы. применяемые преподавателями в своей практике. по результатам обзорных работ оценки выставляются. диктант. преподавателем в своей несколько методов образовательной контроля.1. удачно позволят подобранных достаточно объективно оценить знания учащихся.3. 1. если не налажена их проверка. формулами.3 Средства контроля В настоящее время создаются и распространяются такие средства. Таким образом. прежде всего это непосредственная проверка задания в тетрадях – фронтальная при обходе класса в начале и более основательная. очень различны.2. проконтролировать то.1. проверка учителем тетрадей с домашним заданием.1 Безмашинные средства контроля Среди безмашинных средств проверки наиболее распространены в практике устный опрос учащихся у доски. Средства. Преподаватель получает отчет ученика. Поэтому на практике в проверочном задании осуществить такую приводится проверку алгоритм правильности его выполнения. позволяет Все работы проверяются.1 Проверка домашнего задания Роль домашних заданий практически обесценивается.3. Среди них выделяют машинные и безмашинные средства проверки. что было изучено и сделано за определенный период.

Как и в первом случае.Также существует самопроверка по образцу и применяется на первом уроке после объяснения нового материала. В этом случае учащиеся проверяют домашнюю работу своего соседа тоже по образцу. Они должны быть сообщены учащимся. 1. Перед проведением контрольной работы необходимо определить объект контроля.д. умениями преобразовывать выражения и т. тетради у всех закрыты.3. 13 . подчеркивая ошибки. связанных между собой. цель предстоящей работы и средства контроля. 2.3.1.). Организация контрольных работ Контрольная работа может быть кратковременной и долговременной. заданной для повторения.1. Он представляет собой систему вопросов. Взаимопроверка с помощью образца используется на следующем уроке. В зависимости от вида заданий нужно продумать.3. Диктант Диктант может заменить опрос по теме.4. окончательно тетради проверяет преподаватель. 1. Учащиеся рассматривают решение образец и устно комментируют его. Эти умения и навыки могут быть по настоящему проверены только в письменной работе. Его продолжительность обычно 10-20 минут.2. Обычно самостоятельные работы проводятся после коллективного решения задач новой темы и предшествуют контрольной работе по этой теме. Затем открываются тетради и проверяются свои работы по образцу.1. но и умели применять его к решению задач и упражнений. Этот способ развивает внимание и выявляет ошибки с помощью образца. Образец решения домашней работы записан на доске заранее. обладали бы рядом навыков (вычислительными навыками. 1. каким образом ученик должен их оформить. чтобы учащиеся не только знали теоретический материал.3 Организация самостоятельных работ При изучении важно. 1.

3. Сильным ученикам нужно дать задания труднее.4 Компьютерное тестирование Идея компьютерного тестирования напрямую проистекает от идеи программированного контроля знаний. Основной проблемой любого образования (и не только российского. потому что на следующий день или позже учащиеся уже теряют интерес к содержанию работы и многие интересуются только оценкой. из этого будет складываться оценка. для этого необходимо завершать работу за несколько минут до окончания. 4. 1. в свою очередь. явился неизбежной реакцией на некоторые проблемы прежде всего высшего образования в России. Причем если в школьной практике учитель еще более-менее имеет возможность с определенной 14 .3. 7. примерно те же проблемы распространяются и на школьное образование. Критерии оценки хотя бы в общих чертах должны быть известны учащимся. но последнее. В дальнейшем будем говорить о машинных средствах контроля знаний. в силу традиционной косности. 5. Собственно. очень слабо восприимчиво к новым технологиям. в частности. а что к ошибкам. Для контроля знаний учащихся удобно применять типовые расчеты. и. 6. Каждой контрольной работе должна предшествовать самостоятельная работа с аналогичными упражнениями. Анализ контрольной работы необходимо проводить сразу. которые включают наиболее характерные задания базового курса [3]. является отсутствие четкого контроля за качеством усвоения материала. о тестировании с применением средств вычислительной техники. Обязательно нужно проводить количественный и качественный анализ контрольной работы. Желательно фрагменты решения разобрать сразу после написания работы. кстати). Контрольная работа должна быть посильной для всех учащихся без исключения. 1. Программированный контроль знаний. Учитель должен продумать что он отнесет к недочетам.2 Машинные средства проверки Для контроля знаний учащихся используют персональный компьютер.

Прежде всего это давало бы экономию времени преподавателя. один (или несколько) из которых являются правильными.учащимся выдается некий бумажный носитель (расцвет программированного контроля вызвал к жизни релейно-ламповых "электронных" монстров. Необходимость систематического контроля за усвоением материала сомнений не вызывает. С получением большим числом обучаемых доступа в Internet положение усугубилось еще и тем. которые студентами давно усвоены. это предполагаемое самостоятельное получение знаний остается целиком и полностью на совести студента. частенько студенты даже не считают нужным целиком прочесть то. или излагать положения. Учащемуся остается лишь расставить крестики против правильных ответов. естественно. Во вторую очередь. и только в таком случае преподаватель будет получать реальную картину знаний учащегося. и преподаватель абсолютно не может знать. на котором записаны вопросы и варианты ответов. то в ВУЗе преподаватель целый семестр выдает материал и лишь в конце семестра убеждается в уровне его усвоения. которые по сей день можно видеть на экзаменах по сдаче на водительские права). в системе высшего образования подразумевается. Технически программированный контроль знаний прост . основанные на фактах. систематический контроль за уровнем знаний учащихся стимулирует повышение качества обучения за счет усиления акцента на трудных для усвоения положениях и повышения ответственности обучаемых за результаты самостоятельной работы (в случае. что студенты должны в достаточной степени заниматься и самостоятельным образованием. 15 . что теперь даже сдача рефератов не подразумевает абсолютно никакой работы с информацией.периодичностью проверять уровень текущих знаний ученика. что обусловлено переносом акцента с карательной функции на информативную. кто именно из студентов хоть что-то делает самостоятельно. Само собой. который при отсутствии обратной связи вынужден или повторять положения. когда преподаватель в этом заинтересован). однако. Важным моментом систематического программированного контроля знаний является его объективность. плохо усвоенных студентами. Только в таком случае учащийся не будет бояться контроля и изобретать способы получения повышенной оценки. что распечатывают из Сети [4].

Кроме того.е.  определенность (общепонятность). состоящий из 8-10 вопросов. Недостатком программированного контроля в его до-компьютерном виде являлась высокая трудоемкость создания программированных карт. что тест должен иметь одно задание одного уровня. Требование простоты теста означает.от 5 до 10 минут. давая возможность предложить каждому учащемуся свой вариант программированной карты. и обработки результатов. не должен быть комплексным и состоять из нескольких заданий разного уровня. Необходимо отличать понятие “комплексный тест” от понятия “трудный тест”. Трудность теста принято характеризовать числом операций P. Программированный контроль. вторая – соответствие теста оцениваемому уровню деятельности. Различают содержательную и функциональную валидность: первая – это соответствие теста содержанию контролируемого учебного материала. Выделяют пять общих требований к тестам:  валидность. проводится за очень короткий срок . и сложность их последующей обработки.  надежность. т.Подобная осуществлении технология обратной позволила связи совершить между качественный преподавателем и скачок в студентом. техническая реализация программированного контроля позволила полностью избежать списывания. что он должен выполнить.  однозначность. Валидность теста – это адекватность. С появлением компьютерных технологий у преподавателей появилась возможность резко снизить трудоемкость и подготовки контроля. Выполнение требования определенности (общедоступности) теста необходимо не только для понимания каждым учеником того. которые (в идеале) требовались на каждое занятие.  простота. отличающихся от эталона. P = 3-10 – вторая группа 16 . которое надо выполнить в тесте: P < 3 – первая группа трудности. и при этом преподаватель может получить полноценную информацию об усвоении пройденного материала всей учебной группой одновременно. но и для исключения правильных ответов.

Однозначность определяют как одинаковость оценки качества выполнения теста разными экспертами. что созданный комплекс будет отвечать всем требованиям преподавателя и учащегося. Количественный показатель надежности r  [0. принадлежащие к более низкому уровню в число существенных не входят. очного контроля знаний. Операции. При K  0. контрольных работ. что деятельность на данном уровне усвоена. где P1 – количество правильно выполненных существенных операций в тесте или батарее тестов. придерживаться именно этих пяти требований к создаваемым тестам. Реализация в системах тестирования описанных выше пяти требования к тестам не означает того. не информационных технологий). Но проблема компьютерного тестирования стоит намного острее. 1]. Требование надежности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. в большинстве в случаев. Существенными считают те операции в тесте. Итак.7 считают. конспекта.контролирующего курса могут использоваться как независимые учебные модули другими преподавателями (а также и 17 . Для измерения степени правильности используют коэффициент K = P1 / P2 .трудности. Большинство программных продуктов не дают возможности преподавателю и студенту. при реализации систем компьютерного тестирования необходимо. Не следует также смешивать понятия простоты-комплексности и легкоститрудности с понятием сложности. экзаменов. учителю и ученику отойти в реальном учебном процессе от традиционных методик: лекционного курса. на мой взгляд. Недостаток этот можно определить следующим: компьютерный курс является авторским по определению. Понятие надежности тестирования определяют как вероятность правильного измерения величины K. зачетов. Для выполнения этого требования тест должен иметь эталон. контролирующего или обучающе . обладает Хотя достаточными отдельные знаниями области компоненты компьютерного обучающего. Надежность теста или батареи тестов растет с увеличением количества существенных операций P [5]. которые выполняются на проверяемом уровне усвоения. P1 – общее количество существенных операций в тесте или батарее тестов. и поэтому обеспечивает высокое качество образования только при соответствующем сопровождении автором (который.

Именно неформальность знаний как таковых. должна быть четко выражена определенность и результативность [6]. и т. может быть достигнут только во взаимодействии с автором. скорее всего. породило множество проблем в области компьютерного тестирования. трудно необходима поддающихся активная обработке обратная связь. 18 . основанный на авторском мультимедиа курсе.п. медленная работа компьютерных систем. трудность понимания учащимися подготовленных вопросов. Что касается проверки качества знаний. возникает опасность конфликта личностей. неформальный характер процесса оценивания знаний преподавателем требует компьютерных применения тестов. и процесса проверки знаний в частности.разработчиком курса. позволяющую строить модели знаний преподавателя и тестируемого и объективно оценивать знания и умения последнего. помогающая оценить правильность усвоения материала. но и разные личностные подходы. На мой взгляд. таких как необъективность оценивания. так как на едином образовательном поле сталкиваются не только различные способы методической организации учебного процесса. максимальный эффект. Если же в образовательный процесс.при самостоятельном освоении темы ). включается другой преподаватель. инженерия знаний и методы теории искусственного интеллекта помогут создать систему контроля знаний.

способные чувствовать существа [2]. которые решают весь комплекс задач. «построить» приближенное мышление человека с использованием параллельных процессов и нейронных сетей. Еще древние египтяне и римляне испытывали благоговейный ужас перед культовыми статуями.настоящие живые. и раз за разом энтузиазм ученых угасал.2. Появление многопроцессорных систем и увеличение количества команд микропроцессоров и его тактовой частоты позволяет сейчас. будем рассматривает этот процесс как одну из разновидностей взаимодействия человека с ЭВМ. и вообще ведут себя как живые люди. Идея создания мыслящих машин "человеческого типа". говорят.д. Попытки создать машинный разум не удавались. В настоящее время роботы. с повышением "интеллектуальности" искусственных систем. Интеллектуальное тестирование В понятие «искусственный интеллект» вкладывается различный смысл — от признания интеллекта у ЭВМ. до отнесения к интеллектуальным лишь тех систем. казалось бы. решающих логические или даже любые вычислительные задачи. вызывают у непосвященного тот же трепет и восторг перед «думающей» машиной. которые. Обращаясь к проблеме роли ИИ в обучении и образовании. на мой взгляд. экспертные системы и т. которые направлены на создание 19 . не без помощи жрецов). осуществляемых человеком. уходит корнями в глубокое прошлое. двигаются. Вторая связана с задачей оптимизации совместной работы "искусственного интеллекта" и собственно интеллектуальных возможностей человека. так как существующие на тот момент вычислительные средства не позволяли хотя бы приблизительно воссоздать взаимодействие нейронов головного мозга. думают. слышат. которые жестикулировали и изрекали пророчества (разумеется. Первая связана с совершенствованием самих машин. Но не зря в свое время были заморожены некоторые исследования в области ИИ. что у кого-то из мудрецов есть гомункулы (маленькие искусственные человечки) . Можно выделить две основные линии работ по искусственному интеллекту (ИИ). системы распознавания образов. или еще более широкую их совокупность. В средние века и даже позднее ходили слухи о том. и раскрывать среди перспективных возможностей те.

неприемлемый уровень неправильных ответов q1. Вместе с тем. знания которых по “эталону уровня знаний” отнесены к лингвистическим оценкам неудовлетворительно (D). При тестировании по альтернативному признаку используется закрытая форма теста. Рассмотрим некоторые из них более подробно. Перечисленные характеристики являются взаимозависимыми. по которым устанавливается стипендия. модели самого процесса тестирования и оценивания. что порождает проблему распознавания лингвистического образа знаний по результатам такого образовательного тестирования. 2. удовлетворительно (C). Под образом уровня знаний понимаются обучаемые. риск завышенной оценки знаний b.так называемых адаптивных обучающихся систем. риск заниженной оценки знаний a. приемлемый уровень неправильных ответов q0. объем выборки заданий теста n и критерий принятия решений в виде предельного числа неправильных ответов K. объем образовательной информации N. проставляются записи в зачетных книжках за период обучения и др. характеристиками которой являются: функция плотности распределения неправильных ответов f(d). хорошо (B). 2. но не обладающими достаточным свойством четкости. отлично (A). Так можно охарактеризовать в общем все разработки в этой области. производится учет успеваемости. Под распознаванием образа уровня знаний понимается процедура принятия решения о принадлежности конкретного обучаемого к одному из указанных образов на основании сравнения его образовательных достижений при тестировании с характеристиками образа.1. функция оценивания знаний f(Q). В условиях их нечеткости для 20 . принадлежащие к множеству (группе). имитирующих оперативный диалог учащегося и преподавателя-человека. такая новая образовательная процедура как образовательное тестирование по альтернативному признаку предполагает оценивание уровня знаний в диапазоне от нуля до ста.1 Методы и модели Интеллектуальное тестирование предполагает наличие модели знаний.1 Модели распознавания образа уровня знаний Традиционная Российская система оценивания знаний обучаемых основана на лингвистических оценках.

что обучаемые по 21 . q1. К достоинствам нормального способа относится то. что задания теста однородны по количеству образовательной информации по конкретной учебной дисциплине. По второй выборке заданий теста n2=n1 или n2<n1 для уровня низкий ужесточаются исходные характеристики q0 и q1 и обучаемые аттестуются по трем образам D. Для того. При этом задаются только четыре исходные характеристики теста q1. q0.B и A. d2. чтобы иметь четыре образа необходимо произвести для каждой из трех областей повторное последовательное тестирование [7]. При известной функции оценивания знаний по закону Пуассона последовательный критерий Вальда позволяет по выборке объемом n классифицировать обучаемых по уровню знаний на три подобраза по количеству областей принятия решений. нормальная и высокая.C и B. Поскольку образовательная информация в банке заданий теста N в их выборке n представляется как статистическая совокупность. В предлагаемой процедуре рекомендуется использовать два способа распознавания образа уровня знаний: нормальный и усиленный. то для распознавания образа уровня знаний возможно воспользоваться последовательным критерием Вальда. Для высокого уровня тестирование осуществляется без изменения исходным q0. a и b. a и b и обучаемые аттестуются на два образа B и A. Для нормального уровня ужесточаются характеристики a и b и обучаемые аттестуются по трем образам C. По нормальному способу по первой выборке заданий теста n1 производится классификация обучаемых на три предварительные области (уровни): низкая. Будем обозначать гипотезу о приемлемом уровне знаний H0.распознавания образа уровня знаний обучаемых вполне допустимо для нормально реализованной образовательной услуги принять модель распределения неправильных ответов по закону редких случайных событий Пуассона и функцию оценивания уровня знаний сформировать по этому же закону [8]. d3…dn. При этом примем дополнительное принципиальное условие. Пусть в результате последовательного поступления заданий теста в объеме n получены неправильные ответы d1. поскольку аналитических методов классификации заданий по мере их сложности или трудности пока не разработано. а гипотезу о неприемлемом уровне знаний H1. а задания теста обучаемому в компьютерном варианте всегда для выполнения выдаются последовательно.

критериальная методика составления тестов В каждом курсе есть ключевые моменты. особенно важные темы. когда снижено доверие к реализуемой образовательной услуге. что позволяет использовать для решения практических задач распознавания образа уровня знаний международный стандарт ИСО 8423-91 «Статистические методы. без знания которых невозможно усвоение более сложного материала в процессе учебы или которые будут необходимы в работе по специальности. потому что не всегда наиболее важные разделы содержат больше всего материала. что отвечает требованиям закона «О защите прав потребителей продукции и услуг». На устном экзамене при личном контакте со студентом преподаватель обязательно оценивает понимание студентом этих тем. Существенным отличием предлагаемых методов распознавания образа уровня знаний при тестировании от известных является заранее заданная погрешность распознавания. Достоинством усиленного способа является более уверенное распознавание образа уровня знаний и поэтому его рекомендуется использовать в тех случаях. По второй выборке для низкого уровня ужесточаются характеристики q0 и q1 и обучаемые аттестуются только на два образа D и C.второй выборке могут существенно улучшить свои образовательные достижения. что позволяет использовать предложенные теоретические разработки для обоснования методов оценивания знаний в предлагаемом едином экзамене довузовского образования. 2. увеличив долю вопросов по этим разделам в общем количестве вопросов. При автоматизированном тестировании можно учесть важность каких-либо разделов курса.1. заложенная в рисках принятия решений a и b. в процессе реформирования Российской системы образования [7]. Но это не всегда удобно для составителя теста. Последовательные планы выборочного контроля по альтернативному признаку». Это способствует повышению достоверности компьютерного тестирования.2 Предметно . 22 . использование наиболее мощного критерия Вальда и достаточно простые и апробированные в статистическом приемочном контроле способы ужесточения планов тестирования. По второй выборке для высокого уровня ужесточаются характеристики a и b и обучаемые аттестуются только на два образа B и A. По усиленному способу по первой выборке обучаемые классифицируются только на два уровня: низкий и высокий.

достаточное для получения соответствующей оценки. преподаватель:  разбивает курс на темы (разделы) Т1.  определяет структуру теста – количество m вариантов ответов на каждый вопрос. р3 – уровни знаний студента (или вероятности выбора правильного ответа). Vk и степень важности S1. «4». S2. После этого вычисляется минимальное количество вопросов n. определяется по специальной методике. р2 и р3 (0< p1£ p2£ p3<1) задаются преподавателем с учетом структуры теста и могут быть изменены. Количество вопросов ni по каждой теме Ti должно соответствовать (быть пропорционально) объему изучаемого материала Vi. V2. как степень важности и объем изучаемого материала в разделах курса. Sk. Tk и оценивает степень важности Si и объем изучаемого материала Vi по каждой теме Ti. Итак. р2. Т2. чтобы при заданных параметрах m. оценке «удовлетворительно» (3) соответствует вероятность правильного ответа от p1 до p2. соответствующие оценкам: “2” – 0£ p< p 1 . Следует отметить. p3 и заданном уровне значимости e на основании испытания статистических гипотез можно было поставить оценку «5». Минимальное количество вопросов ni по каждой теме Ti определяется в соответствии с методикой с учетом параметра Vi. “4” — p1< p£ p3 . При составлении теста преподаватель делит курс на темы Т 1.  определяет их объемы V1. … . Знания по каждому разделу курса оцениваются по пятибалльной (а фактически по четырехбалльной) системе. необходимое для того. T2. Тк. p 1. оценке «хорошо» (4) соответствует вероятность правильного ответа от p2 до p3. … .Предлагаемая методика предусматривает учет таких параметров. “5” — p3<p£1 . … . p2. «3» или «2» за определенный раздел курса.  задает р1. оценке «неудовлетворительно» (2) соответствует вероятность правильного ответа менее p 1. Абсолютное количество (или доля) правильных ответов. … . что вероятности р1. Оценке «отлично» (5) соответствует вероятность правильного ответа от p3 до 1. “3” — p1<p£ p2 . 23 . р1 должно быть заметно больше 1/m – вероятности выбора правильного ответа наугад.

… .V2. алгоритмы генетического поиска используют аналоги или близость имеющихся решений во многих областях знаний к поиску оптимального набора специфических законов. по мере изучения и усвоения материала отдельных разделов курса.3 Метод определения количества образовательной информации Теория образовательного тестирования должна формироваться на частных законах и закономерностях таких научных направлений как информациология. Vk. позволяющих осуществить направленный перебор частных законов и закономерностей по наиболее приемлемым направлениям для формирования отечественной теории образовательного тестирования. Тк определяется пропорционально их объемам. Получившаяся итоговая оценка О округляется до целых. что описанная выше методика позволяет давать студентам тест поэтапно. V1. основанные на реализации генетических алгоритмов. По ответам студента вычисляется оценка O i по каждой теме Ti (1 £ i £k ) как результат испытания статистических гипотез При вычислении итоговой отметки за тест (курс) O учитывается степень важности Si каждого раздела Ti. nj=n.V2.1. … . психология. … . Прямое применение теоретических разработок из указанных научных направлений не дает заметных практических результатов по оцениванию знаний по причине нематериальности знаний. Vk}. Задачу формирования теории образовательного тестирования можно сформулировать как задачу поиска оптимальной структуры специфических законов и закономерностей тестологии. как объекта исследований. обеспечивающих объективность. исследование операций. Для решения задач подобного класса наиболее успешно используются генетические методы.Минимальное количество вопросов n будет содержать тест по теме с минимальным значением Vj = min{V1. позволяющую оценить знания с заданной погрешностью. достоверность и точность оценивания 24 . статистический приемочный контроль. 2. квалиметрия. Минимальное количество вопросов по темам Т 1. и выводить итоговую оценку с учетом результатов промежуточного тестирования [10]. Т2. педагогика. теория принятия решений и др. Следует отметить. общая статистика. В отличие от традиционного случайного поиска приемлемых решений.

применяемыми в генетических алгоритмах и процедурах. единица допуска. Вся остальная информация является вторичной и третичной и не может претендовать на такую же роль как образовательная информация. информацион. учебная банк программа. воспроизведенных обучаемыми в процедурах тестирования. рассчитанным с использованием условной единицы образовательной информации. Мутация: условная единица образовательной информации конкретной дисциплины. статистическая совокупность. Следующий закон о сохранении образовательной информации определяет. процедур тестирования и уровня подготовки обучаемых знания по конкретной дисциплине оцениваются только по их соответствию «образу знаний». Такой направленный перебор частных законов является эволюционным и имеет очень много сходств с операторами. Исходные популяции: Государственный специфическая Репродукция: совокупность образовательный учебной образовательная стандарт. алгоритм Исходные направлен популяции: на единица поиск единицы статистической совокупности. единица допуска. образовательная совокупность. информацион. а I Q до их создания. и в том числе образовательная. поскольку независимо от образовательной услуги. для ее последующего применения в заданиях теста должна быть представлена определенным количеством. формы теста. Следующий образовательной генетический информации. совокупность. Любая информация. Такие вычисления невозможны без 25 .уровня знаний. Скрещивание: единица образовательной совокупности. Вычисление количества информации и количества энтропии производится по одной и той же формуле. При этом HQ вычисляют только после создания тестов. информации. Рассмотрим применение генетических алгоритмов для формирования специфического закона о количестве образовательной информации. что количество образовательной информации HQ и количество ее энтропии IQ величина всегда постоянная для всех процедур тестирования. Формирование специфического закона тестологии об образовательной информации: образовательная информация является первичной. тестовых Скрещивание: заданий. Репродукция: единица образовательной совокупности. что позволяет погрешности тестирования определить априорно. Мутация: образовательная совокупность информации. происходящих с живыми организмами в природе.

теория вероятностей. в технологии машиностроения это «операция». соответствующего выбранной погрешности оценивания уровня знаний по образовательным тестам [11]. поскольку обобщенного понятия пока получить не удается. теория нечетких множеств. количестве и энтропии образовательной информации. энтропии нормальной образовательной услуги. в выборке заданий теста и в выборке выполненных тестов и обеспечивать соблюдение минимально необходимого соотношения между объемом выборки и банком тестовых заданий. теория игр. «образе знаний». Эти популяции позволяют реализовать информационно-генетический алгоритм и получить новое поколение специфических законов теории тестирования о (об): первичности образовательной информации. формах существования функции оценивания знаний. условной единице образовательной информации. теория статистических решений. теория поиска. характеристиках доверия к результатам тестирования. воссозданном по первичной информации. не материальности знаний. соответствии формы теста и признака оценивания. единстве количества образовательной информации. правах тестируемых на получение объективной оценки уровня знаний. переходе количественных результатов тестирования в качество «уровня знаний». под которой понимается наиболее типичное и применяемое понятие в конкретной учебной дисциплине.условной единицы образовательной информации. педагогика и психодиагностика. логика. в материаловедении это «свойство материала». Например. защите прав тестируемых при воспроизведении ими знаний по образовательным тестам.4 Информационно-генетические алгоритмы Основные свойства образовательных тестов предлагается формировать на популяциях частных законов таких научных отраслей как: информациология. в одном задании теста. В последующем количество образовательной информации пересчитывается по аналогии. приемочный выборочный контроль.1. «образе уровня воспроизведенных знаний». Реализация указанных законов об образовательной информации позволяет с достаточной для практической цели точностью определять количество информации в банке тестовых заданий. минимально допустимом соотношении между количеством образовательной информации в «образе знаний» и в выборке заданий теста. как объекта исследований. 2. психология. 26 .

C1< 5. позволяющих предложить способы выделения «образов уровня знаний» при тестировании по двум независимым выборкам заданий теста закрытой формы. 27 . a — риск занижения оценки. а для нормального тестирования оставляем исходный план n2 =20. QL£10%. С1 – приемлемое число неправильных ответов. степень тестирования – абсолютный объем выборки. нормальный «белый шум». а тестируемые разделяются на две группы: y — недостаточная подготовка и Å — достаточная подготовка. из которых один правильный) вполне оправданно считать как редкие случайные события и функцию оценивания знаний сформировать по закону Пуассона. В таких условиях неправильные ответы на задания теста предпочтительного соотношения 5-1 (пять ответов. удовлетворительно (III) и неудовлетворительно (IV) [12]. и применению традиционных лингвистических оценок: отлично (I). хорошо (II). Для конкретного примера задаем N=250. степень II по ГОСТ Р50 779.72-99. применительно к задачам тестирования. AQL=10%. По первой выборке уровень тестирования принят нормальный (классификация). AQL(q0) – приемлемый процент неправильных ответов. a<b. RQL(q1) – неприемлемый процент неправильных ответов. QL – предельный процент неподготовленных обучаемых. уровень тестирования – соотношение между объемом выборки n и числом С в зависимости от предшествующих результатов ответа на задания теста. n – объем выборки заданий. b — риск завышения оценки.71-99 и ГОСТ Р50 779. C4=4. Для второй выборки применяем усиленное тестирование n1 =20.72-99 на статистический приемочный контроль. Для нормальной образовательной услуги характерен нормальный процесс восприятия и воспроизведения знаний обучаемыми. C2=6. Исходные данные для реализации «образа уровня знаний»: N – объем банка заданий (образ знаний). RQL=20%.В качестве примера рассмотрим применение информационно-генетических алгоритмов на трансформацию международных и отечественных стандартов ГОСТ Р50 779. По второй выборке (аттестация) для группы y тестирование производится по усиленному уровню (ужесточенному) и деление производится на два образа IV и III. которые могут получить завышенную оценку. C3< 3. C2=6. Объем первой выборки n1 =20 и критерии принятия решений C1<5.

Тестируемые делятся на два образа II и I. однако рамки статьи не позволяют привести такие примеры.16. но получивших положительные оценки QL=q0=10%.03. в результате качественные данные анализируются с помощью количественных методов. когда каждое выполненное задание имеет количественное значение в диапазоне [0. что реально защищает их права на объективность оценивания уровня знаний. которые проявляются в мутации специфического закона тестирования о переходе количества неправильных ответов в качество знаний. Это позволяет использовать широкий спектр статистических процедур. Далее имеем скрещивание частных законов.Для группы Å уровень остается нормальным. что по второй выборке тестируемые получают возможность на улучшение результата. Оценка трудности тестовых заданий не зависит от выборки испытуемых. проявляющихся в лингвистической форме. Таким образом. 28 . достоверности. но время на выполнение заданий сокращается. Пропуск данных для некоторых комбинаций (испытуемый — тестовое задание) не является критическим. Из схемы видно. Разработаны также методы выделения «образов уровня знаний» и для количественного признака. оценка уровня знаний испытуемых не зависит от используемого набора тестовых заданий. 1000].1. β=0. сделанные в дихотомических и порядковых шкалах в линейные измерения. Риски (ошибки) попадания в образы по второй выборке α=0. эффективности и социальной значимости [13]. использование информационно-генетических алгоритмов для выделения необходимых свойств образовательных тестов в форме законов тестирования и их реализация для выделения «образа уровня знаний» наглядно показывает необходимость дальнейших исследований по их применению для решения новых задач по оценке уровня знаний в предстоящих единых экзаменах с целью повышения их объективности. Модель Раша превращает измерения.5 Модель Раша Система тестирования на основе модели Раша обладает важными достоинствами. на которых была получена и. прежде всего. 2. Предельный процент тестируемых с низким уровнем знаний. среди которых. необходимо отметить следующие. аналогично.

Например. Аналогично. Наиболее убежденные сторонники модели Раша утверждают следующее: "Можно ли собрать или построить или сформулировать данные так. До сих пор существуют две крайние точки зрения на эту модель тестирования. независимо от того. чем на второе. "Остатки". до сих пор продолжаются дискуссии об истинной ценности и эффективности системы тестирования на основе модели Раша. при построении регрессии. которая подвержена ошибкам". чем менее подготовленный. медицине и психологии. Их наиболее последовательные оппоненты утверждают следующее: "Данные — это данные. можно получить любую зависимость. чем другое. — то такие данные бесполезны". Модель Раша опирается на четкие и конструктивные понятия "трудность задания" и "уровень знаний". Таким образом. для каждого испытуемого. но мы тем самым ограничиваем реальный мир данных. мы создаем искусственную переменную. более подготовленный студент имеет большую вероятность правильно ответить на все задания. 29 . выбрасывая те или иные данные. по сравнению с другими аналогичными системами она характеризуется наименьшим числом параметров — только один параметр уровня знаний для каждого испытуемого и только один параметр трудности для каждого задания. для каждого задания и для каждого конкретного ответа. одно задание считается более трудным. Так. Благодаря простой структуре модели существуют удобные вычислительные процедуры для многоаспектной проверки адекватности модели: для всего набора тестовых результатов. если вероятность правильного ответа на первое задание меньше. о которой мало что знаем. кто их выполняет. Однако. чтобы они соответствовали определению измерения (модели Раша)? Если нет. прежде всего в образовании. получаемые при аппроксимации результатов тестирования моделью можно использовать для выделения различных типов испытуемых.Сама система тестирования достаточно проста. а модель — это конструкция исследователя. несмотря на 40-летний опыт применения этой системы тестирования за рубежом во многих областях знания.

Но на практике ошибки всегда есть и поэтому важно знать. Чем больше точность.  степени соответствия диапазонов уровней знаний испытуемых и трудностей заданий.  числа заданий.  степени соответствия данных модели.Для практики одним из наиболее важных критериев является точность оценивания. не удалось найти работы. Для статистической обработки результатов моделирования используется многофакторный дисперсионный анализ [14]. в которых проведен всесторонний анализ точности модели Раша. В известных работах только даются те или иные общие рекомендации по использованию этих моделей. требуемых для вычисления этих оценок (методом наибольшего правдоподобия) в многофакторной ситуации в зависимости от:  диапазона уровней знаний испытуемых. 30 . На основе имитационного моделирования исследуются точность оценивания уровней знаний и трудностей заданий.  числа испытуемых. а также число итераций. Поэтому выбор темы в значительной степени обусловлен противоречивой информацией относительно точности системы тестирования на основе модели Раша. Кроме того.  доли пропущенных данных. тем лучше работает модель. насколько точные оценки позволяет получать та или иная модель.  диапазона трудностей заданий. В случае отсутствия ошибок измерения любая модель в смысле точности измерения работает идеально.

тестирование с использованием абсолютной шкалы оценки имеет ценность диагностическую даже более. Как видно. чем для итоговых экзаменов. к которому сходится итоговая оценка с увеличением времени тестирования (или количества 31 . полученная в результате обработки данных тестирования выпускников одной из школ г. Здесь цифры по окружности – номера тем по математике. Ниже показана «диаграмма знаний» по математике. Анализируется опыт использования данного подхода на вступительных экзаменах в Тверском государственном университете на протяжении 4-х лет. так считается в любой форме традиционного оценивания знаний — как на выпускных экзаменах в школах. за все время тестирования (40 минут) в первые 15 минут (первые 4 задания по математике) оценка менялась наиболее заметно. либо их нет. Формулируется принцип «трехуровнего абстрагирования» для диагностических тестирований. В данных исследованиях изучаются возможности так называемой «абсолютной временной шкалы оценивания знаний».Твери (75 учащихся).1. по радиусам отложена «успешность ответов» учащихся по той или иной теме. при использовании абсолютной шкалы данного подхода существует возможность ответить на вопросы: 1) существует ли предел. За последние же 10 минут итоговая оценка изменялась не более чем на 10 баллов — доля «случайного» в итоговой оценке.6 Абсолютная временная шкала измерения знаний Знания являются абсолютной субстанцией: они либо есть. Изучается диагностический потенциал данного подхода. Таким образом. На рисунках приведена зависимость (в данном подходе) итоговой оценки по математике от времени тестирования: Как видно. Формулируются ее принципы.2. так и на вступительных экзаменах в вузы. Поэтому интересно проанализировать возможности абсолютных шкал оценки и при переходе к измерению знаний на основе тестов. Формулируются этапы последовательного перехода от традиционной формы экзаменов к тестовой форме этого подхода. По крайней мере. Изучается уровень достоверности результатов компьютерного тестирования в данном подходе и соотношение «случайного» и «достоверного» в итоговой оценке. на их основе – требования к созданию тестовых материалов этого подхода.

во-первых. Еще одно очевидное преимущество абсолютной шкалы оценивания – итоговая оценка появляется на экране компьютера сразу же после выполнения теста испытуемым [15]. если менее 0. связанная с критерием «3 s». что если СОУ больше 0. а.76. Согласно этой методике. если какой либо процесс идет нормально. например через 40 минут. Этот критерий основан на статистике полученных учащимися оценок за выполнение отдельных заданий или контрольных работ. В качестве наиболее информативного критерия качества обучения следует использовать степень обученности учащихся — СОУ. Для того чтобы проанализировать учебный процесс нужно иметь. то обученность «хорошая».5.24. то обученность «удовлетворительная».7 Методика статистического анализа качества обучения Предлагаемая методика основывается на том. какие приняты для производственных процессов.5 до 0.76. то обученность «отличная». 2) какова погрешность «измерения знаний» если прервать тестирование в некоторый определенный момент. проследить его изменение во времени. особенно это касается содержательного анализа процесса. то «неудовлетворительная». то отдельные значения должны укладываться в интервал «3s» относительно среднего значения (s — стандартное 32 . если СОУ от 0. 2.24 до 0. Такое распределение обладает одним особым свойством: для этого распределения значения СОУ и качественной успеваемости совпадают и составляют 0. В качестве такого «типового» распределения используется стандартное распределение Гаусса с параметрами: среднее значение оценки — 4 и стандартное отклонение — 1. Расчеты для «типового» распределения показывают. Это свойство выделяет «типовое» распределение среди других распределений со средней оценкой 4. Для оценки изменения СОУ во времени используется известная в математической статистике методика. если СОУ от 0.1. что учебный процесс является частным случаем технологического процесса и ему должны быть свойственны такие же методы анализа. критерий качества обучения.39 /1/.64.заданий теста). Оценки входят в СОУ с «весом» равным интегралу вероятности получения данной оценки для некоторого «типового» распределения оценок. Однако слепо перенести подобные методики нельзя. во-вторых.

69 — «не отлаженным». Расчеты показывают.17 до 0. которые не укладываются в заданный интервал. «удовлетворительному» от 0. тем больше соответствие анализируемого распределения стандартному.84 до 0. Для общей оценки учебного процесса можно перемножить среднее значение СОУ по предмету за год на КОУП. В таблице представлены результаты для 8 Б класса.84 — «почти отлаженным». а в случае рассмотрения учебного процесса — коэффициентом отлаженности учебного процесса (КОУП). когда начинается систематическое изучение информационных технологий. который по уровню обученности оказался средним среди 3х классов в параллели [16]. В течение учебного года. если КОУП от 0.71. что учащиеся переходят от одного учителя к другому и уровень требовательности к ним существенно повышается. По программе это первый класс.17. Полученную величину можно трактовать как фактор качества учебного процесса (ФКУП). учащиеся должны выполнить 9 заданий на оценку. Что касается применения этой методики для технологических процессов.41 до 0. Описанная методика реализована в виде электронной таблицы. Если взять отношение числа значений попадающих в интервал «3 s» к общему количеству значений. которые выходят за нижнюю границу интервала. то процесс можно считать «отлично отлаженным».64. «очень хорошему» от 0.94.41 и «неудовлетворительному» менее 0. если менее 0. то ее надо скорректировать — следует учитывать только те значения.64 до 0. если КОУП от 0. 33 . Кроме того. Этот фактор имеет большее число градаций. а остальные 5 по работе с текстовым процессором Word. Для примера проанализируем учебный процесс по информатике и информационным технологиям в 8 классе. Те значения. при чем первые 4 задания по работе с операционной средой Windows. «Отличному» качеству соответствует ФКУП больше 0. Чем меньше таких отклонений. то такую величину можно назвать коэффициентом стандартности распределения.отклонение) с определенной точностью. «хорошему» от 0. что если значение КОУП больше 0.71.94 — «хорошо отлаженным».69 до 0. чем СОУ и КОУП. являются отклонениями от стандартного распределения. следует учитывать.

1. Если нет — то им будет сделана еще одна попытка решения задания той же сложности. Если при оценке градиента имеют место помехи. Поэтому для формализации этих понятий целесообразно использование аппарата нечетких множеств. «способность решения задач» и «сложности» носят нечеткий характер. Понятия «сложность» и «уровень знаний» — это некоторые нечеткие переменные (только переменные. если исключить этап обучения при решении задач. Аналогично происходит процесс повышения сложности заданий. а будет “блуждать” вокруг области экстремума. студент выберет для себя определенный уровень сложности. Реализация поискового алгоритма сводится к последовательному анализу локальной окрестности функционала Y. что если тестируемый решил задание. максимум которой необходимо найти. вокруг которого и будет размываться сложность заданий. то у него появляется желание решить более сложное задание. оценки градиента и выбора очередной области исследования. Проведем аналогию с поведением поискового алгоритма оптимизации для некоторой гипотетической функция Y. Предлагается использовать следующий подход. Кроме того. Аналогично можно поступить в случае тестового контроля. В обычном смысле он сходится вообще не будет. В задачах оценивания по тестированию — это максимум функции уровня знаний. что уровень подготовки студента выше сложности предъявленной задачи и он способен решать задачи заданной сложности. Таким образом.8 Модель адаптивного тестового контроля Процедура тестирования предполагает анализ ответов на последовательность тестовых заданий определенной сложности.2. хотя они и задаются функцией). Это подобно оценке градиента некоторой гипотетической функции регрессии. Если ответ правильный. Если сразу не решено менее сложное задание. в которой градиент сам является случайной величиной. В результате. в то время как 34 . Считаем. Если оно также не решено. то предъявляется задача пониженной сложности. функция «уровня знаний» является преобразованием функции «сложности» задачи через «способность решения задач» определенной «сложности». в противном случае — неспособен. то к решению предлагается задача меньшей сложности . В этом высказывании термины «уровень знаний». то предполагается. в указанной постановке заметна разница между «сложностью» и «способностью решения задач». то нельзя говорить о сходимости алгоритма.

когда оценки имеют постоянную дисперсию или постоянный коэффициент вариации. Увеличивая дискретизацию сложности. Показано. Предполагается. где состояниями цепи являются меры сложности заданий. так как число решенных из общего числа задач при заданной вероятности решения подчинено биномиальному распределению. При моделировании ответов в настоящее время наиболее развит анализ IRT теории. что анализ логистического рассматривая и логистическое распределение очень хорошо аппроксимируется нормальным. Постоянная дисперсия может использоваться. что «уровень знаний» является долей решенных задач. поскольку является преобразованием «уровня знаний». т. увеличивая количество состояний марковской цепи показана сходимость к непрерывному распределению. что для построенной цепи существует единственное. что сложность задания задана некоторым числовым значением. сравнительный Показано. в которой вероятности переходов по сложностям определяются на основании логистической кривой. Этот факт можно формально интерпретировать так. Постоянный коэффициент вариации объясняется увеличением неопределенности при возрастании «уровня знаний». и в результате выполнена формализация процесса тестирования в виде марковской цепи. Количество баллов также является переменной. Найдено аналитическое решение стационарных вероятностей.е. На практике наиболее естественны случаи. Экспоненциальная функция монотонная и большим значениям функции «уровень знаний» соответствуют большие значения плотности распределения «сложности» решаемой задачи. не зависящее от начального состояния. что преобразование носит экспоненциальный характер. что ответы на задания — независимые величины. Поэтому используется однородная марковская цепь.«способность решения задач» является нечетким отношением нечетких переменных «сложности» и «уровня знаний». В свою очередь нормальный закон является предельным случаем биномиального распределения. Соответственно максимум 35 . которая использует для моделирования вероятностей правильных ответов логистическую нормального кривую. Для постоянной дисперсии показано. Далее предполагается. когда изменение уровня знаний невелико. стационарное распределение. Найдено предельное распределение. Проведен распределений. однако эта переменная может не анализироваться. которое используется для визуализации преобразований «сложности» в «знание».

Ижевска разработана учебная программа по предмету “Основы информатики и 36 . то определена и мера «уровня знаний» и она совпадает с плотностью распределения адаптивного алгоритма тестирования. При формировании целей обучения в рамках учебного предмета основная задача учителя заключается в следующем: по каждому разделу и теме учебной программы он должен определить степень успешности освоения учеником требуемых знаний.9. 2. умений. конкретная формулировка являются важнейшим шагом в технологическом конструировании учебного процесса. Для постоянного коэффициента вариации (g) показано.плотности приходится на максимум целевой функции.9. если есть мера «сложности» задания.9 Концептуальная модель адаптивного тестового контроля знаний Была предложена концептуальная модель. что в поисковом алгоритме при оценки градиента по оценке значений функционала. Благодаря такому строению учебный процесс приобретает “модульный” характер. Цели образовательной системы в целом определяются законом об образовании. а при g=1 функция плотности вероятности с точностью до постоянного множителя на всей области определения совпадает со средним значением функционала. 2.1 Блок целей обучения Цели обучения определяют успешность процесса обучения.2 Блок содержания В соответствии с концепцией адаптивного тестового контроля было рассмотрено содержание непрерывного курса информатики с 1 по 11 кл. и навыков. Таким образом. то стационарные вероятности марковской цепи являются монотонным преобразованием Y. Обучающий цикл должен обеспечивать последовательную ориентацию обучения на намеченные цели. Такая замена основывается на том. Если предположить существование функционала «знаний» Y. стационарные вероятности полностью повторяют функционал [17].1. учесть проявляемое отношение к предмету и на основании этого определить комплекс учебных целей.1. Цели данного учебного заведения определяются Уставом этого учреждения. что преобразование описывается степенной функцией. Поэтому их содержание. В гуманитарно-естественном лицее N41 г. состоящая из следующих блоков.1. Однако Y неизвестен и этот функционал можно подменить стационарными вероятностями. 2. и структурировано на модули.

M. понимание. Формулирование целей обучения можно производить с помощью системы требований к качеству знаний. синтез. анализ. Для оценки изучаемого объема знаний предлагается составить тезаурус –толковый тематический словарь понятий. Были определены основные проблемы при конструировании и применении адаптированных тестовых измерителей: модульный принцип структурирования содержания курса информатики. которые сформулированы исключительно для решения задач педагогического измерения. 37 . создание плана и спецификации тестов с выделением структурных единиц в виде “учебных единиц”. предварительная диагностическая оценка уровня обученности и тестирование с применением адаптивных тестов для индивидуального точного определения уровня обученности. контрольные задания. оценка. B. Объективные и адекватные измерителя успешности обучения .9. упражнения.S.могут быть использованы на всех уровнях иерархии учебных целей. повышение содержательной валидности тестовых заданий. ступеней.тесты. К двум наиболее известным в мировой литературе классификациям знаний и способностей B. Выделяются шесть иерархических ступеней по B. надежности результатов тестирования учащихся. применение.Gagne. 2. контрольные работы. дифференциацию учебных классов и учащихся.Bloom: узнавание. которых достигает ученик по мере овладения знаниями. который позволяет в максимальной степени учесть быстро меняющееся содержание.Аванесов добавляет свой перечень видов знаний. задачи.1. построенная на модульном принципе. компьютерное моделирование .S. Один из подходов к описанию целей обучения состоит в указании уровней.C.3 Блок измерения 1) Таксономическая модель адаптивного контроля знаний определяет таксономию учебных целей в когнитивной области. Созданная модель содержания курса информатики и представленная в виде образовательных модулей позволяет разработать план теста и его спецификацию по каждому модулю курса с учетом требований образовательного стандарта по школьному курсу информатики.Bloom и R.вычислительной техники” (ОИВТ). Для контроля знаний учащихся методистами ИУУ и учителями информатики в роли экспертов проводился анализ и экспертиза качества созданных в лицее педагогических тестов по анкетной форме согласно разработанной инструкции.

Е. Другой подход к созданию педагогических тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений Item Response Theory (IRT). преобразованных в те или иные производные показатели.Зарецкого.80-е годы в ряде западных стран. В. предполагает наличие осознанных существенных связей. Полнота допускает изолированность знаний друг от друга. но не тождественные качества.Макаровой. Целям дифференциации обучаемых служит построение индивидуальных кривых испытуемых по двухпараметрической модели A.Михеева.Скаткина. Полнота и глубина знаний .Н.Перовского. И.Лебедевой и др.Н.связанные.Люсина.И.С.Родыгиной. В рамках классической теории тестов уровень знаний испытуемых оценивается с помощью их индивидуальных баллов. К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале.Н.О.Б. Т.П. М.Я.Огородникова.В. Е.У.совокупностью осознанных знаний об объекте. Руководством к выбору целей обучения является раскрытие содержания качеств знания. И. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня 38 . напротив. Д.Беспалько. М. К исследованиям последних лет в этом направлении В. Именно на этом свойстве оценок параметров испытуемых и заданий основана организация современного адаптивного контроля знаний.Черепанова.Т. 2) Математическая модель адаптивного контроля знаний определяет уровень обученности учащихся в зависимости от трудности заданий. А. получившей широкое развитие в 60-е . которыми должны обладать учащиеся в результате обучения. в разной степени опосредованных.Челышковой.C. глубина . Теоретической основой адаптивного контроля является теория IRT в сочетании с дидактическим принципом индивидуализации обучения. В.Самый распространенный способ описания целей обучения состоит в указании качеств знаний.Татура. что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Это позволяет определить относительное положение каждого испытуемого в нормативной выборке.И. Полнота знаний определяется количеством знаний об изучаемом объекте. B. Такой подход обоснован в трудах известных советских дидактов: М. относятся труды Б.Лерненра.В.Bimbaum.Родионова. Л. входящих в школьную программу. глубина же.И.Аванесова.

избирательность материала. Это одна из причин того.4 Блок адаптивного обучения 1) Модели обучения. Оперативная обратная связь которая пронизывает весь учебный процесс. как классно-урочная модель. 39 . 2) Педагогические технологии. учет индивидуальности. адаптивных тестов). Таким образом. умений и навыков до контроля их усвоения. постоянный контроль и самоконтроль усвояемости материала. что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью. отличительными особенностями технологического конструирования учебного процесса являются: • конкретизация целей обучения в когнитивной области. Конгресс Юнеско подтвердил это положение и предложил рассмотреть различные модели использования информационных технологий в компьютерных приложениях и способы организации работы учащихся такие. • создание системы проверочных работ (диагностических тестов. разработка учебных единиц как эталонов усвоения учебного материала всеми учениками в классе. Естественно. тренажеры). при этом обеспечиваются такие важнейшие характеристики обучения. содержащие необходимые теоретические сведения.1. 2. как качество. • подготовка специальных методов корректирующей методики (краткие конкретные тексты. Технологический подход к учебному процессу гарантирует достижение поставленных целей обучения. Информационные технологии оказывают решающее влияние на все этапы процесса обучения: от предоставления учащимся знаний.9. проектная и индивидуальная. 3) Автоматизированный контроль знаний с применением компьютера и обработка результатов тестирования на ЭВМ для определения параметров качества тестирования. является основой последовательной ориентации обучения на цели. высокий эффект использования ресурсов учителей. рассчитанные на измерение знаний испытуемых самого многочисленного.подготовки с помощью одного и того же теста. что в практике стремились обычно создавать тесты. • выбор быстрых способов проверки тестов (компьютерные программы). среднего уровня подготовленности.

и среднего логита обученности испытуемых Qcp. Контроль проводится учителем и не влияет на оценку. и Qcp. занятого активной творческой деятельностью[2]. предварительного тестирования оцененный групп учащихся экспертами. Именно во время индивидуального контакта учителя с учеником важно иметь инструмент для контрольного тестирования уровней обученности.] Групповая адаптивность Агр.Вер. далеко не равными единице. Переход к развивающему обучению без адаптации к индивидуальным особенностям учащихся практически невозможен. он позволяет увидеть состояние обученности каждого и внести соответствующие коррекции в учебный процесс. на соответствие среднего догита трудности заданий теста Вср. поэтому следующим шагом является изменение значения групповой адаптивности путем исключения из теста “неработающих” заданий в этой группе тестируемых с Bj“0 и определение уровня обученноети каждого испытуемого. имеющие разную длину и время выполнения для сильных. Таким образом. Исходный предназначен для тест по предложенному модулю. Остальной материал прорабатывается с ориентацией на непроизвольное запоминание. Результаты предварительного тестирования группы учащихся имеют значения Агр. Обработка результатов тестирования была проведена по IRT. появляется возможность для данного испытуемого выбирать соответствующий его уровню набор тестовых заданий и испытуемые могут быть протестированы тестами составленными индивидуально для них. . повторные тесты. слабых и средних учащихся данной группы. по выражению: Агр=1. В дальнейшем определяется истинный балл как сумма всех вероятностей ответов каждого испытуемого на каждое задание теста и оценивается уровень знаний. с целью приближенного определения уровня обученности группы по соответствующему модулю курса. Для группы тестируемых создаются адаптивные тесты.=1 при идеальном соответствии Вер. а также получения в этом случае индивидуальных характеристических кривых испытуемых.• дополнительные задания. Весь учебный процесс пронизан возможностями адаптации к индивидуальным особенностям обучающихся в условиях коллективного обучения. усвоил ли ученик базовый минимум. расширяющее возможности каждого ученика. определялась групповая адаптивность. Важно знать заучил.[Qcp. Такой процесс 40 .

на более высоком научном уровне. определение значений информационной функции и др. 4) в лицее. эта технология дает начало новой организации как тестового контроля знаний. адаптивной предлагаемым трудностям тестовых заданий. применяется адаптивное обучение.инструментальных средств. 2) применение адаптивных тестов для контроля знаний учащихся приводит к более точной оценки уровня знаний испытуемых с использованием меньшего количества тестовых заданий по сравнению с обычным тестированием за счет снижения погрешности измерения в выборке учащихся. так и учебного процесса в целом. Для обработки результатов тестирования исходного и адаптивного тестов создана программа. корреляция. позволяющая определить такие параметры как: надежность. можно привести следующие факты: 1) разработанный комплект тестовых заданий и рекомендованный кафедрой естественнонаучных дисциплин ИУУ УР для оценки усвоения знаний учащихся общеобразовательной школы по предмету “информатика”.требует компьютерной технологии создания. В классно-урочной форме обучения этот принцип не мог быть реализован в какихнибудь заметных масштабах из-за отсутствия требуемых для этого программно педагогических и программно . погрешность измерения. В качестве доказательств ценности полученных результатов исследования. внедряется адаптивный тестовый контроль знаний учащихся. состоящую в том. адаптивной предлагаемым трудностям тестовых заданий. хранения тестов. а позднее с 1998г. применялся для текущего и итогового контроля знаний учащихся общеобразовательных учреждений.. В условиях массового образования адаптивное обучение дает возможность эффективной практической реализации принципа индивидуализации обучения. подтверждающих выдвинутую гипотезу. полученные результаты 41 . что применение адаптированных тестовых измерителей позволит повысить объективность в оценке индивидуального уровня обученности учащихся за счет снижения погрешности измерения в выборке учащихся. проведения тестирования и обработки результатов тестирования. 3) эффективные тестовые измерители позволяют определить уровень обученности каждого испытуемого после изучения модуля курса и определить индивидуальную динамику развития учащегося по окончанию изучения всего курса. где с 1996 г. По сути.

Мониторинг .5 Блок системы мониторинга.обученности учащихся характеризуются такими уровнями в когнитивной области как анализ.1. позволяющие наблюдать (и корректировать по мере необходимости) продвижение ученика от незнания к знанию. Иначе говоря. что обеспечивает прекрасный потенциал для их дальнейшего успешного развития в творческой эвристической оценочной деятельности (участие в олимпиадах. 2. что обеспечивает учителя оперативной обратной связью об уровне усвоения учащимися обязательного учебного материала.это непрерывные контролирующие действия в системе “учитель-ученик”. научно-исследовательских конференциях и др. обусловленных целеполаганием процесса обучения и предусматривающих в динамике уровни усвоения учащимися материала и его корректировку. турнирах. учетом его индивидуальных достижений в учебном процессе [18]. Система мониторинга включает в себя создание непосредственно инструментов контроля ориентированную знаний и непосредственно умений на и личность корректирующую школьника с методику.1. В информационной системе мониторинга качества образования (ИСМО).). Мониторинг отличается от обычной оценки знаний тем. синтез.это регулярное отслеживание качества усвоения знаний и умений в учебном процессе. 2. Ежегодный аналитический доклад «Качество образования в выявим учебном заведении» предполагает получение данных по более чем десяти направлениям. разрабатывается 42 .10 Технология рейтинговых образования с применением нейронных сетей Основными компонентами процесса исследований оценки качества качества образования являются[ сбор исходных данных и получение результирующей информации о состоянии системы образования. Для выполнения аналитических отчетов и мер по повышению качества образования необходимо проведение результирующих «интеллектуальных» обработок исходных данных Задача определения качественного уровня вуза (его рейтинга) является одним из основных направлений таких обработок. создаваемой в Брянском государственном техническом университете. мониторинг . Под мониторингом в системе “учитель-ученик” мы понимаем совокупность контролирующих и диагностирующих мероприятий.9.

Программный комплекс нейрокомпьютерной обработки применяется в качестве одного из модулей финишной обработки информации. Многие параметры.). Исследования проводятся по следующим основным направлениям: классификация . такие. после чего определяется «рейтинг качества» данного вуза. и т. При этом возможны следующие варианты реализации первого этапа:  глобальная кластеризация — предполагает наличие в исходной выборке данных по отечественным и зарубежным вузам. педагогическим. д. Поэтому определение рейтинга качества образования в информационной системе будет выполняться ежеквартально.определение принадлежности каждого вуза к конкретной группе качества. На этапе классификации исходные данные но каждому вузу подаются на входы обученной нейронной сети.  федеральная кластеризация .  отраслевая кластеризация .выборка по вузам определенного региона. Ряд последовательных операций на каждом этапе определяет облик соответствующей информационной технологии. подвержены динамическим изменениям.вычисленные «рейтинги качества» для каждого вуза. На первом этапе выявляются основные тенденции в образовании.выборка состоит из данных по однотипным вузам (техническим. плотность распределения объектов мониторинга по группам качества.  региональная кластеризация .информационная технология рейтинговых исследований качества образования на основе применения нейронных сетей. Информационная технология этапа кластерных исследований определяется следующими операциями: 43 . Выходная информация работа! такого модуля .наличие в выборке данных по вузам из подчинения Министерства образования Российской Федерации. как уровень разрыва в качестве образования. медицинским. по которым происходит опенка качества образования. Для адекватности кластерных исследований периодичность их проведения должна быть достаточно большой.

на котором генерируются примеры для обучения нейронной сети. в которой на входы нейронной сети подаются параметры качества образования.  идентификация «групп качества образования».  присвоение «рейтингов качества» каждой «группе качества». но не меняет картину качества в целом. Этим определяется небольшой период проведения итоговых обработок по этому этапу.  подача на входы сети нового примера. например. на которые было разбито исходное множество учебных заведений.  проведение кластерных исследований посредством самоорганизующейся карты Кохонена. Функционирование информационной системы происходит в полуавтоматическом режиме. может основываться на методе экспертных оценок.  выполнение предыдущей процедуры для всех вузов. Текущая обработка по этапу классификации может изменять рейтинг качества конкретного вуза. включенных в систему мониторинга. соответствующего вузу. Выполнение первого этапа. рейтинг которого определяется. На персонал информационной системы возлагается обязанность пополнения базы данных параметров оценки качества образования. а на выходы-рейтинги качества. Итоговые 44 . Завершающая операция на данном этапе может дать заключение о глобальных тенденциях в качестве образования и являться основанием для проведения мероприятий организационно-управленческого плана. резкое увеличение количества объектов в группах с низким рейтингом качества В ИСМО в основу технологии классификации положено использование многослойной нейронной сети. Такой тенденцией может быть. обучаемой по методу обратного распространения ошибки. получение исходных данных для проведения исследований с сервера информационной системы (отдельно для каждого этапа реализация). В данном случае технологический облик этапа определяется особенностями процесса обучения нейронной сети и состоит из следующих операций:  формирование исходной выборки для обучения нейронной сети.

проводимые в рамках кластерных исследований.2. 2.2 Собственные разработки В результате трехлетней работы были разработаны некоторые методы автоматизированного контроля совместно с преподавателями кафедры «СУ и ВТ» Калининградского Технического Университета. создается по отдельной теме конкретной дисциплины. В этом случае коэффициент его важности. определяемому преподавателем. объединенных по семантическому признаку внутри выбранной темы тестирования. объединенные в цепочку. должен иметь небольшой объем. Вырожденным случаем цепочной структуры является наличие в цепочке всего лишь одного вопроса. 2.1 Тестирование по методу цепочек вопросов Автоматизированная система контроля знаний.2.обработки. о которых хотелось бы рассказать в этой работе. устанавливается равным единице. на которые были даны правильные ответы . Цепочка может содержать неограниченное число вопросов. очевидно. а каждому вопросу в цепочке присваивается некоторый коэффициент важности данного вопроса в данной цепочке. Этот коэффициент изменяется от 0 и сумма коэффициентов вопросов в цепочке принимается равной 1. способны изменить общую картину качества [25]. как правило. что тест. когда несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку. созданы реализации теоретических выкладок. Хочется отметить.2 Автоматизированный уточняющих вопросов контроль знаний по методике 45 . 2. что обуславливается неразделяемостью ресурсов персонального компьютера и необходимостью проводить тестирование большого количества обучаемых в течение ограниченного времени. Смысл коэффициента раскрывается при обработке результатов тестирования: оценка за ответы на вопросы. выставляется в зависимости от важности вопросов. созданная как результат выпускной квалификационной работы и дипломного проектирования в подсистеме «Создание теста» предлагает преподавателю использовать цепочную систему вопросов.

учитываемыми при подведении результатов тестирования. формулируемых для уточнения знаний экзаменуемого. В зависимости от стратегии тестирования.н. отвечая на все вопросы данной тематической последовательности. В ходе автоматизированного тестирования экзаменуемому предъявляется конечное множество т. В вырожденном случае цепочка состоит из единственного вопроса. по которой суммарный балл. Каждому j-му вопросу в i-й цепочке присваивается весовой коэффициент Кij. Очередной вопрос в цепочке задается только после получения ответа на предыдущий вопрос. выявленных в ходе тестирования. характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так. состоит из трех этапов. набранные за правильные ответы в рамках каждой отдельной тематической последовательности: 46 . набранный в ходе тестирования. коэффициент важности которого устанавливается равным 1. чтобы их сумма внутри каждой цепочки была равна 1. Процедура количественного оценивания знаний. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса. избираемой организатором контроля знаний. широко используемой в педагогической практике для выявления глубины знаний обучаемого. цепочек вопросов. переводится в итоговую оценку. отводимое экзаменуемому на демонстрацию своих знаний. На первом рассчитываются баллы.Концепция базируется на автоматизации методики уточняющих вопросов. В цепочку может объединяться неограниченное количество тематически близких вопросов. устанавливать объем теста N. Каждая цепочка представляет собой последовательность близких по тематике вопросов. либо экзаменуемому предоставляется возможность демонстрировать максимум знаний. и настраивать оценочную шкалу. очередной вопрос в цепочке может предъявляться до первой ошибки (“строгий” преподаватель). задавать время. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами.

На третьем этапе определяется итоговая оценка знаний экзаменуемого. где 0< I1< I2< I3< 1 – границы интервальных диапазонов оценок. Zij =1. I2. Для этого набранный им суммарный балл S проецируется на оценочную шкалу. 1] .балл. если на j-й вопрос в i-й цепочке получен правильный ответ и Zij=0 .весовой коэффициент j-го вопроса в i-й цепочке. Кij . I 2 ]  OT " удовлетворительно" S   ( I 2 .количество вопросов в i-й цепочке.1]  OT " отлично" После необходимой доработки и полного документирования демонстрационная версия программы и информация об условиях ее поставки будет опубликована на Вебсайте Калининградского государственного технического университета [26]. I1. i 1 где N –объем теста. 2. Кt – количество цепочек вопросов.2. I 3 ]  OT " хорошо" S   ( I 3 .е. при котором структура теста (т. I 1 ]  OT " неудовлетворительно" S   ( I 1 . набор и порядок предъявления тестовых заданий) не 47 . Итоговая оценка за тест ОT выводится по следующим правилам: S   [0. имеющую вид [0. j 1 где Si . выставляемый за ответы на i-ю тематическую последовательность.Li S i   K ij Z ij . на которые экзаменуемый успел ответить за отведенное время t. I3. задаваемые преподавателем при организации тестирования. На втором этапе рассчитывается суммарный балл S за ответы на все вопросы теста с учетом количества цепочек вопросов. на которые экзаменуемый успел ответить за отведенное время: N S   Si * Kt / N 2 .4 Алгоритмы прямого тестирования в интеллектуальной автоматизированной системе контроля знаний Прямым тестированием будем называть способ контроля знаний обучаемого.в противном случае. Li .

которые могут предъявляться обучаемому. значения которых влияют на организацию процесса контроля и оценивания знаний. если обучаемый демонстрирует знания. Практически все существующие в настоящее время АСКЗ функционируют в режиме прямого тестирования. выявление любых имеющихся знаний).а) обладает ли обучаемый равномерным уровнем знаний по всему материалу (проверка широты знаний) или б) обладает ли обучаемый систематическими знаниями по темам предъявляемых ему тестовых заданий (проверка глубины знаний). набранной обучаемым при выполнении теста. Изучение методик проведения зачетных и экзаменационных опросов показывает. Сложность теста характеризуется уровнем знаний. При экзаменационном тестировании по сумме баллов.зависит от фактических ответов обучаемого. Уровень контроля определяет степень строгости проверки глубины знаний. 48 . Вид тестирования имеет два значения . что можно говорить о четырех различных уровнях строгости оценивания ответов на тестовые задания (строгий контроль. В ходе зачетного тестирования оценка “зачет” выставляется в случае. что можно выделить по крайней мере пять параметров. Детальный анализ педагогических приемов и способов “живого” диалогового общения преподавателя и тестируемого показал. Исследования позволяют говорить о как минимум трех уровнях сложности тестов – стандартной. выявление наиболее важных знаний. для чего сумма баллов проецируется на применяемую оценочную шкалу. Она определяется степенью сложности тестовых заданий. повышенной и пониженной.зачетное или экзаменационное. превышающие некоторое априори заданное пороговое значение. Цель тестирования определяется основным вопросом. которые должен продемонстрировать обучаемый при его выполнении. ответ на который должен быть получен в результате тестирования . выявление простейших знаний. рассчитывается итоговая оценка знаний обучаемого (имеющая в общем случае более двух допустимых значений). Результаты зачетного тестирования представляются в двоичном формате: “зачет” или “незачет”. однако чаще всего они реализуют лишь простейшие и далеко не самые эффективные методики оценивания знаний.

4. экзаменационного оценивания глубины знаний с повышенной сложностью и строгим контролем.2.).Пониженная 4.Экзаменационное 3.Повышенная 3.2.3.1.Выявление наиболее важных знаний 4.1. 1 – Свойства алгоритмов прямого тестирования 2.5 Метод адаптивного автоматизированного тестирования знаний 49 .п. Сложность теста 1.1. Цель тестирования 2. Вид тестирования 3.Проверка широты знаний 2.Проверка глубины знаний 2. отслеживание условия раннего прекращения тестирования предполагает досрочное завершение теста в ситуации.2.3. Разнообразие возможных сочетаний значений пяти предложенных характеристик позволяет говорить о существовании весьма обширного семейства алгоритмов прямого тестирования знаний (например. Уровень контроля 4. Условие раннего прекращения Превышение предельной длительности теста Получение N неправильных ответов 4. Второе условие – прекращение тестирования и выставление неудовлетворительной оценки при получении априори заданного количества неправильных ответов. либо зачетного оценивания широты знаний со стандартной сложностью и контролем предельной длительности тестирования и т. либо который он считает наиболее адекватным собственному представлению об организации контроля знаний [27].И. который наилучшим образом соответствует требованиям действующих инструктивно-методических документов.Зачетное 3.2.Стандартная 1.1.Выявление имеющихся знаний Рис. Свойства алгоритмов прямого тестирования 1. что позволяет организатору тестирования выбирать в конкретной ситуации именно тот алгоритм. наконец.Выявление простейших знаний 5. когда продолжение тестирования становится нецелесообразным. по крайней мере. В качестве первого из этих условий рассматривается превышение предельной длительности тестирования. 24 алгоритма оценивания широты знаний и 78 алгоритмов оценивания глубины знаний. что в состав этого семейства входят.2.Строгий 4. Подсчет показывает.

накопленную обучаемым за ответы на 1. 1/On+1] где 0 < I1 < I2 < …< In < 1 – границы оценочных интервалов. При попадании суммы баллов в интервал Ii+ISN<Ii+1-I сумма баллов SNи. которые могут использоваться для формирования теста. Математическую основу такого учета составляет предложенная в [2] модель объединения тестовых заданий в тематические последовательности со взвешенным ранжированием как отдельных заданий. t-м шагах теста. но и его зонирование с учетом интервала неопределенности I. C практической точки зрения это означает. I1/O1. VT  V. ни при каких условиях не попадает в зоны неопределенности (IiI) и (Ii+1I). …. …. в котором с вероятностью Pt находится истинное значение Stи: Stи[St-I. 2. причем t  N. соответствующая истинной оценке знаний. что при проецировании значения St на шкалу ZI следует принимать во внимание не только сегмент этой шкалы (Ii. j  1 : N max . Пусть V = {vj}. В этой ситуации имеется достаточно оснований 50 . Oi. следовательно. причем N << Nmax. VT = {vi}. в который попадает значение St. при выведении итоговой оценки знаний по результатам t N шагов тестирования необходимо учитывать ненулевой интервал неопределенности I>0. когда накопленная им сумма баллов St попадает в интервал (Ii-1. при котором процедура выбора и предъявления ему очередного тестового задания на (t+1)-м шаге тестирования определяется ответами обучаемого на предыдущих t шагах теста. накапливаемой за выбранные обучаемым варианты ответов. отобранные для проверки знаний конкретного тестируемого. Обозначим St нормированную относительно количества заданных вопросов сумму баллов.множество тестовых заданий.Адаптивным тестированием знаний будем называть способ экзаменационного контроля уровня подготовки обучаемого. так и целых последовательностей и выведением итоговой оценки за тест с учетом нормированной суммы баллов. Поскольку N << Nmax. Шкалу итогового оценивания знаний ZI упрощенно представим в виде ZI = [0.тестовые задания. которой характеризуются знания тестируемого в случае. а 0  St 1. i  1: n 1 - оценка.Ii+1]. I2/O2.St+I]. i  1: N . то согласно теории вероятностей сумма баллов St может использоваться для оценивания знаний обучаемого с доверительной вероятностью Pt < 1 и. In/On.Ii].

51 .для выставления оценки Oi+1 сразу по завершении первого этапа тестирования. поэтому дальнейшее предъявление дополнительных или уточняющих вопросов нецелесообразно [28].

не отвечающих главным психолого-педагогическим принципам обучения. отсутствует система поощрения педагогов-новаторов. технические. поддержку соответствующей инфраструктуры. В данной работе частично были проанализированы существующие методы и модели. СУБД. можно и хочется изменить. объемов обрабатываемой и хранимой информации. при использовании даже хороших систем нивелируется роль учителя в учебновоспитательном процессе. осваивающих новые информационные технологии. создание которых могут себе позволить только крупные «софтверные» компании. как правило.п. оказываются непомерно большими затраты времени и сил на освоение компьютеров. процессы создания качественных программных продуктов общего применения.) дало в руки инженеров и системных аналитиков мощнейшие средства разработки и внедрения в жизнь самых фантастических проектов. исчезает творческий характер его труда. Эту ситуацию. позволяющие построить так называемую интеллектуальную автоматизированную систему контроля знаний. и т. творчески работающими. особенно высококвалифицированными. отсутствует методическое сопровождение. Отсутствие финансирования в области образования в нашей стране тормозит. современная вычислительная техника и системы телекоммуникаций достигли огромных результатов за последние несколько лет в плане быстродействия. Технический прогресс стремительно продвинулся вперед. неудачно реализующих основные этапы процесса усвоения знаний. как мне кажется. на мой взгляд. системы моделирования нейронных сетей. изучение программы. Среди многих известных причин этого (финансовые. а также использование тестирующих программ – дало более чем скромные результаты. организационные. смещая акцент в сторону коммерческих интеллектуальных мультимедийных курсов. методические трудности) отметим одну: психологическое неприятие учителями “компьютерных” методов обучения и контроля знаний. Практические реализации собственных 52 . Развитие систем проектирования программ (объектно-ориентированные системы визуального программирования. У них для этого есть основания: налицо большое количество плохих программ.Заключение Начавшееся в нашей стране с начала 80-х годов внедрение в учебных заведениях новых информационных технологий – обучение при помощи педагогических программных средств.

а является первым шагом к созданию системы.теоретических разработок в этой области уже есть: на сегодняшний день готова демонстрационная версия программы. объективно и эффективно. использование нечеткой логики и инженерии знаний позволит достичь больших результатов в этой области. проводящей тестирование по методу цепочек вопросов. позволяющей преподавателю проводить текущий и финальный контроль более быстро. Этот метод не является «интеллектуализацией» процесса контроля знаний. 53 . Реализация методов адаптивного тестирования.

2. «Универсальная автоматизированная обучающая система.ru/2001/ito/VI/VI-0-1.В.html. 3.Р. 54 . Пятирублевый Л.edu.ru/2001/ito/VI/VI-0-19. «Оценивание результатов тестирования на основе экспертно-аналитических методов».Г.03. с.Г.» // реферат. 8.» // дипломный проект. http://ito.html.html.И. МО РФ.. Кузнецов А. Иващенко А. 14.Луганск // материалы конференции ИТО-2001.. 4.2001. 13. Восточноукраинский г. «Автоматизированная система контроля знаний «Цепь знаний».edu.Р.ru/2001/ito/VI/VI-0-27.Список использованной литературы 1. Москва.html. http://ito. «Cоздание системы компьютерного контроля как результат новых информационных Национальный технологий Университет (ВНУ). 2001.html.. в обучении». Подсистема контроля знаний. Пятирублевый Л.edu. http://ito. 6. 22.. 7. http://ito. Украина. 5. Журнал «Открытое образование».ru/2001/ito/VI/VI-0-28. «Контроль знаний и умений учащихся по математике в школе» // дипломная работа.edu. В.ru/2001/ito/VI/VI-0-12.. Таранцева К. Моисеев В. Моисеев В. http://ito. Кибернетика. «Проблема искусственного интеллекта.32-36. 11.edu. Москва.Р. Усманов В. Бренич С. МЭСИ 9. Сетевая версия» // дипломный проект.Б.В. Касьянова Н. А.А. Моисеев В. «Технологии компьютерного тестирования» // реферат. «Информационный подход к выбору решений в системах адаптивного тестирования». 2001 10.Б. Пятирублевый Л.Б.Г. Материалы конференции «Анализ качества образования и тестирование». МЭСИ... Ваньков Е. Соловей Е. Таранцева К. №3. Сборник материалов Интернет-конференции «Проблемы перехода классических университетов в систему открытого образования». «Распознавание образа обучаемых по уровням их знаний в компьютерном тестировании».Г. 12. Таранцева К..

edu.Н. 2001 28. Кальней В. М. 20.А. Рудинский «Метод адаптивного автоматизированного контроля знаний». Попоков «Технология рейтинговых исследований качества образования с применением нейронных сетей» 26. Тесты школьных достижений: конструирование.ru/2001/ito/VI/VI-0-17.. 19.В. испр. 2001 27. Разработка педагогических тестов на основе современных математических моделей: Уч. Сборник материалов конференции. Соловей «реализация алгоритмов прямого тестирования в интеллектуальной автоматизированной системе контроля знаний». http://ito. Технология адаптивной валидности тестовых заданий: Учебное пособие. М.Ю. Рудинский.Д. 1999. Рудинский.Е. 1999.Д. Композиция тестовых заданий.Б. Мирошниченко А.edu. учителей школ.И.edu. В.. http://www. 2 изд. проведение.СПб. Глазов: ГГПИ.: Педагогическое общество России. Майоров А..ru/~gimn13/ped/doclad/shuhard.15. М.: Просвещение.В.C. Технология мониторинга качества обучения в системе “учитель-ученик”: Методическое пособие для учителя.: Образование и культура.Ю. 2001 55 . Казаринов А. Челышкова М. 23. П. Шалимов. И. И.html.вузов.пособие. Шишов С.. 18. 21. Учебная книга для преподавателей вузов. Култышева А. М. Издание второе . 16.html. 1997.ru/2001/ito/VI/VI-0-2.А. Е. 1995. И. Е. Сборник материалов конференции. Границкая А..: Исследовательский центр проблем качества подготовки специалистов. и доп.Д. http://ito.html. http://ito. 22. для учителя.С.html. Соловей «Автоматизированный контроль знаний по методике уточняющих вопросов».ru/2001/ito/VI/VI-0-32. Аванесов B. Научить думать и действовать: Адаптивная система обучения в школе: Кн. 24. аспирантов и студентов пед. 17. использование.С. 25.: Адепт. Сборник материалов конференции.tl.