Вопрос о качестве электронных учебных средств и в более широком смысле – об оценке качества обучения с их использованием является весьма актуальным. Уместно говорить о электронном средстве обучения как об учебно-методическом информационном комплексе, который содержит учебно-методического материал в виде учебного пособия, руководства по изучению дисциплины, тестов, практикумов и т.п.. Таким образом, учебно-методический информационный комплекс - как дидактический, программный и технический интерактивный комплекс для обучения в компьютерно - коммуникационной среде. С такого комплекса можно, в принципе, достаточно эффективно реализовать весь дидактический цикл по изучению дисциплины, включающий в себя виртуальные лекции, семинары, практические занятия, экзамены и т.д.

В связи с этим уместно говорить не только о качестве обучения с помощью учебно-методического информационного комплекса но и качестве электронных средств обучения. Процесс оценки качества распадается на априорную оценку, т.е. некоторую экспертизу качества "электронного" образования, и оценку апостериорную, которую можно получить, изучая педагогический эффект, получаемый после обучения.

Первую часть можно получить, оценив качество электронного средства обучения по различным группам показателей (критериев) с помощью, например, экспертов, и назвать качеством электронного средства обучения. Это нечто похожее на сертификацию.

Второй подход отражает качество образования, которое получил учащийся после обучения с использованием электронного средства обучения. Это качество можно проверить с помощью тестирования и других форм контроля. Естественно, можно и комбинировать, и это будет третий, комплексный вариант оценки. Другими словами, мы имеем три подхода: экспериментальная оценка качества; экспертная оценка; комплексная оценка.

Во всех способах важным моментом становится выбор критериев. Рассмотрим некоторые критерии оценки качества электронного средства обучения. Критерий – это средство для суждения, признак, на основании которого производится оценка, определение или классификация чего- либо, мерило оценки.

В педагогических экспериментах используют:

Количественные критерии:

         объем используемых знаний;

         коэффициент усвоения учебного материала, который равен отношению объема учебного материала, усвоенного учащимися в течение определенной единицы времени к материалу, сообщенному учащемуся за то же время;

         коэффициент прочности усвоения учебного материала, как отношение запомнившегося материала и материала сообщенного учащимся в процессе обучения за определенный период.

Качественные критерии отождествляются с уровнями знания:

         учебного материала;

         понимания учебного материала;

         овладения учебным материалом (умение фактически использовать усвоенное при решении практических задач);

         овладения интеллектуальными навыками (умение трансформировать усвоенный материал в новых условиях сознательно и оперативно).

 

Для оценки качества электронных учебных курсов европейским форумом "Образовательные технологии и общество" рекомендовано использовать также специальные критерии.

Критерии авторской разработки:

         ориентация на опыт аудитории,

         стили обучения; ориентация на потребности аудитории;

         глубина когнитивного анализа задач;

Критерии проектирования учебных материалов:

         наличие материалов для разных категорий учащихся;

         разнообразие возможных учебных траекторий;

         предварительно определенное число траекторий учащегося;

         соответствие поставленным целям обучения.

Критерии преподавания:

         линейное следование, одинаково для каждого;

         сценарное следование, зависит от преподавателя.

Критерии адекватности моделирования:

         элементы интерактивности и презентации;

         адекватность реалиям рабочих мест.

Критерии поставки учебных материалов:

         качество графического материала;

         качество звука;

         время ожидания для выгружаемых учебных материалов и для ответа системы.

 

Одним из вариантов оценки качества электронного курса являются опросные листы оценки качества. Опросный лист можно встроить в электронный сетевой курс. При этом невозможно закончить обучение, не ответив на все вопросы. Анкета составляется с учетом того, что статистическая обработка результатов опроса будет проводиться автоматически.  Опросные листы не всегда встраиваются в электронный курс. После изучения курса учащийся может вручную заполнить опросный лист.

Для оценки эффективности использования электронных средств обучения в учебном процессе можно предложить ответить на вопросы, позволяющие оценить:

 

         целесообразность изучения курса в электронном виде (возможность достижения целей курса);

         технологии поставки учебного материала;

         длительность загрузки электронного средства обучения;

         контентную сложность электронного средства обучения;

         разнообразие форм заданий;

         наличие иллюстративных материалов, в частности динамических;

         управление электронным средством обучения;

         возможность обновления и актуализации содержания;

         возможность выполнения групповых заданий;

         интерактивность курса (подтверждение правильности действий учащегося, задания для самооценки);

         обратную связь с преподавателем;

         уместность дополнительного материала (контентное соответствие, достаточность количества, удобство использования).

 

При проектировании электронного учебника в качестве необходимого элемента закладывается тестирование по окончании изучения курса. В процессе тестирования студенты должны ответить на вопросы, цель которых – оценка эффективности изучения данного электронного курса.

Приведем вопросы, ориентированные на оценку удовлетворенности обучаемых в зависимости от содержания электронного средства обучения и стиля обучения:

         цели были ясными с самого начала обучения;

         какие цели были наиболее и наименее достижимыми;

         какие вспомогательные материалы были наиболее и наименее полезными;

         что больше всего и меньше всего понравилось;

         проклассифицируйте методы обучения по тому, насколько они вам нравятся;

         задания помогли достичь целей обучения;

         преподаватель ясно объяснил критерии оценки;

         экзамены и тесты были соответствующего уровня трудности;

         поурочная деятельность была подчинена общим целям электронного средства обучения;

         изложение материала стимулировало активность;

         материал изъяснялся ясно;

         преподавание хорошо организовано;

         вспомогательные материалы, используемые в обучении, были хорошо продуманы;

         наиболее важными аспектами курса были...

         наименее важными аспектами курса были...

 

Статистическая обработка данных итогового анкетирования позволяет сделать научно-обоснованный вывод об эффективности использования в учебном процессе электронных средств обучения.

В результате исследования можно получить информацию о возможности получения практических навыков при изучении курса в электронном виде, окупаемости затрат на разработку данного курса.

В заключение необходимо подчеркнуть, что какой бы метод оценки качества электронного средства обучения не использовался, необходимо учитывать, что учебно-методический комплекс должен соответствовать общим дидактическим принципам обучения, и с этого надо начинать при оценке качества.

 

Что касается оценка программного продукта (электронного средства обучения), можно предложить следующую оценку по 5-ти бальной шкале по следующим характеристикам:

удовлетворяет требованиям в полной мере - 5;

удовлетворяет не в полной мере - 1 - 4;

не удовлетворяет - 0.

 

1.       Функциональность и защищенность разработки

2.       Удобство использования разработки

3.       Эффективность разработки

4.       Мобильность разработки

5.       Потребительские свойства разработки

 

Пояснения к критериям оценки разработки и программных продуктов

1.       Функциональность и защищенность разработки и программного продукта: совокупность их свойств, определяемая наличием и конкретными особенностями набора функций, способных удовлетворять заданные или подразумеваемые потребности, а также способность предотвращать несанкционированный доступ как случайный, так и умышленный к программам и данным

2.       Удобство использования разработки и программного продукта: совокупность их свойств, характеризующая усилия, необходимые для его использования и индивидуальную оценку результатов его использования заданным или подразумеваемым кругом пользователей

3.       Эффективность разработки и программного продукта: совокупность их свойств, характеризующая те аспекты его уровня пригодности, которые связаны с характером и временем использования ресурсов, необходимых при заданных условиях функционирования

4.       Мобильность разработки и программного продукта: совокупность их свойств, характеризующая приспособленность для переноса из одной среды в другие

5.       Потребительская ценность разработки и программного продукта: совокупность их свойств, удовлетворять потребности пользователя

 

Литература:

1.       Андреев А.А., Солдаткин В.И. Прикладная философия открытого образования: педагогический аспект. – М.: МГОУ, 2002. – 168 с.

2.       Введение в сетевое обучение. - М.: МЭСИ, 2001.

3.       Лобачев С.Л., Солдаткин В.И. Российский портал открытого образования OPENET.RU: проблемы и перспективы. – Российский государственный институт открытого образования. – М.: МГИУ, 2002. – 148 с

4.       Основы открытого образования. – Т. 1. /Отв. ред. В.И.Солдаткин. – Российский государственный институт открытого образования. – М.: НИИЦ РАО, 2002. – 676 с.

5.       Основы открытого образования. – Т. 2. /Отв. ред. В.И.Солдаткин. – Российский государственный институт открытого образования. – М.: НИИЦ РАО, 2002. – 680 с.

6.       Российский портал открытого образования: педагогические рекомендации и опыт сетевого обучения. Настольная книга /Отв. ред. В.И.Солдаткин. – М.: МГИУ, 2003. – 424 с.