Виктор Орт
На ЕГЭ, к роботу,
да с смартфоном в руках.
(прогнозный киберпанк)
Школьнику снится сон. Пришел сдавать «
ЕГЭ», а у него даже
смартфон не отобрали, а у других и учебники и ноуты на столах. А в них вопросы к экзаменам и ответы к ним. И все это «добро»
можно было скачать в Интернете с сайта Минобрнадзора, еще с января месяца. И
сдавать можно в любой день, когда сам пожелаешь, а не министерские «дяди». И
пересдавать предмет можно сколько угодно, хоть десять раз. Маниловщина!
Нет, уже
сегодня можно создать такую систему автоматизированного тестирования знаний, где будут разрешены «электронные помощники». Сдача и пересдача экзаменов, будет более простой и щадящей психику школьников. А справку, с результатом тестирования, можно будет получить через несколько минут, после окончания тестирования.
Просто надо в городах создавать тестовые центры оценки знаний, где
общегосударственная автоматизированная система тестирования (
АСТ) выдает вопросы, а ты отвечаешь на них. Но вопросов много и время ограничено. Зато разрешено заглядывать в конспекты, учебники, свой ноут или смартфон,
но без «помощи друга», т.е. связь заглушена. Потому - если
мало знаешь, потратишь много времени на поиски и получишь мало баллов. Тем более, что набор вопросов всегда разный, модифицируемый системой искусственного интеллекта и «соответствие N вопроса - N ответа», как во многих нынешних убогих тестовых системах, не может быть, категорически!
И если Автомат-робот оценил многие твои ответы, как неверные, насчитал низкие баллы -
обижаться на «железку не стоит». Учи и приходи вновь, но уже за повышенную плату. Пришла пора менять саму психо-философию понятия
«знания и умения человека» и расширять ее до - «
знания человека с компьютером», включая сетевые возможности. Значит, надо кардинально совершенствовать систему образования, жестко отделять само обучение от контроля реальных знаний учащегося. Постоянно корректируя систему вопросов и систему тестирований АСТ . Все более автоматизируя рутину контроля знаний, все более
доверяя этот контроль «непогрешимым и неэмоциональным» программным автоматам.
Механический перенос старых, до компьютерных, алгоритмов сдачи «бумажных» экзаменов, в сегодняшний
ЕГЭ (единый государственный экзамен за курс средней школы) оказался неудачен. И тому подтверждение - недовольство школьников, шумиха в СМИ и многочисленные прокурорские и судебные решения по результатам сдачи экзаменов. Еще раз подтвердился старый программистский принцип: - «
Бардак не автоматизируешь, не приведя саму технологию и нормативы в логическое цифровое совершенство».
В тожевремя надо отметить, что
впервые за человеческую историю молодое поколение (15-30-летние) значительно обошло, по части использования разнообразных мобильных гаджетов и сетевых ресурсов, более старшее поколение. Молодежь обошла родителей, чиновников Минобра и «теток» Рособрнадзора. Значит будущее
«Смарт-автоматизированное государство» в их цепких руках и их нетривиальных мозгах. И все это вселяет оптимизм в грядущий прогресс обществ.
Вот как может быть реализована
система «Авто-тестирование знаний - «АСТ».
Вы заходите на сайт АСТ, на страницу «
Тестирование» и заполняете стандартную форму. Заносите паспортные данные, где, что и когда закончили (курс средней школы). Указываете ФИО, школу, телефон, эл.ящик, СНИЛС, предмет сдачи, выбираете дату и оплачиваете услугу. С помощью мобильника, с кредитной карты или другим способом.
Оплата необходима, чтобы «шибко любопытные» не засоряли тестирование. Но стоимость должна быть небольшой: 100-300 рублей. Через несколько минут вам приходит разрешение на сдачу, с дублированием в виде
СМС на телефон и на электронный почтовый ящик. Но, если вы школьный курс не прошли и вас нет в
базе данных (
БД) ГОРОНО или Обрнадзора, то и допуск к тестированию вы не получите и ваши деньги пропали.
Начало тестирования.
Допустим, вам прислали разрешение, в назначенное время, вы приходите в городской тестовый центр (
ГорТЦ), администратор сверяет исходные данные, выдает карточку с вашим ФИО, идентификационным номерком, № стола, предметом сдачи и т.п.. А, тем временем, сервер ТЦ Обрнадзора, используя «программную рулетку», начинает формировать вам вопросы и отсылать их на сервер ГорТЦ, пока вы ждете появится эл-приглашение для вас. Садитесь за стол (где лишь монитор, клавиатура и мышка), подтверждаете готовность –
на экране появляются экзаменационные вопросы по предмету сдачи - и пошел отсчет времени. Началось Тестирования Ваших знаний по предмету!
Число вопросов зависит от предмета сдачи и за какой срок обучения/курс производится тест
. Обычно вопросов от 10 до 70, для 30-90 мин теста. С 3-5 ответами на каждый вопрос, где лишь один правильный. Из них: - сначала выдаются самые простые вопросы (поштучно на экран), с минимальными баллами. Потом средней сложности, а далее более сложные, с самыми высокими баллами. В пропорции – 60%-30%-10%.
Правильные ответы на все вопросы дают 100 баллов. По истечению времени, экран гаснет, ответы и вопросы отсылаются на сервер Обрнадзора, где происходит их контроль-сверка и отсылается результат вашего тестирования. Эту распечатку с баллами вы получаете от администратора ГорТЦ, плюс краткое смартфон-СМС послание и более подробное письмо на ваш почтовый эл-ящик, со всеми вопросами, вашими ответами, правильными ответами и баллами.
Создать систему АСТ, допускающую использование гаджетов, конспектов и учебников, технологически решаем в течении двух-трех лет. Хотя бы для крупных городов-миллионников, где несложно выделить помещения для городского тестового центра. Здесь
нужна политическая воля и несколько миллиардов рублей на разработку нацсофта, на закупку оборудования и эксплуатацию АСТ.
Хотя задача тестирования знаний человека нетривиальна и выливается в «соревнование систем» разработчиков и хакеров. Необходимо, чтобы системы искусственного интеллекта (
ИИ) Обрнадзора, разрабатывающие предметные вопросы-ответы, хотя бы на месяц
опережали разработки продавцов «Приложений-решалок», на которые сразу возникнет массовый спрос. Запустил «Решалку», сфотал вопрос, нажал «OCR» (фото в текст) и пошел непростой процесс решения ИИ Приложения и сравнения с ответами.
Конечно, есть множество фич, которые помогут свести на нет такое «
соревнование машин», начиная от обычных капчей, что машины пока не всегда различают и другие примочки, отличающие зрение человека от машинного. Плюс регламентация времени на ответ и т.п. По мере развития системы
АСТ, в нее, будут добавляться динамические мультимедийные средства выдачи вопросов и ответов, которые еще труднее поддаются OCR-расшифровкам. Так что
придется школьникам самим «соображать» и учиться правильно решать тестовые вопросы. Не прибегая к сырым, не всегда верным и не очень понятным, современным электронным шпаргалкам.
АСТ неплохо подойдет для тестирования знаний по математике, физике, химии и по многим другим техническим предметам. Однако в авто-тестировании «грамотности» (сочинение) – временные ограничения не помогут. Забить в современный ноутбук уже можно почти всю современную и прошлую литературу, настолько стала огромна память. И списывай с ноута, как с листа. Лишь поможет лишь тривиальный запрет на внос гаджетов. И здесь лучше перейти на «
диктанты через наушники», где можно сыграть на скорости диктовки.
Даже если ученик засунет микрофон в наушники, преобразование «голос в текст» требует время. И такое машинное преобразование не всегда верно, особенно если много «шипящих и свистящих звуков» или идет рваное музыкальное сопровождение. Плюс надо уметь быстро набирать текст слепым способом и без ошибок. Т.е. получится интегральная оценка не только вашей грамотности, но и умений быстрого набора текста на ПК. Что сегодня очень актуально для всех приложений жизни человека в нынешнем цифровом мире.
Поэтому,
вход на тестирование с гаджетами должен быть разрешен законодательно. Негоже сегодня обыскивать молодых людей и отбирать эти «
современные шпаргалки», которые стали неотъемлемыми
помощниками большой Системы информационного сопровождения жизни людей в цифровом мире (СИСЖЛ) . Лишь рюкзаки должны оставаться в камере хранения или в раздевалках. И пусть разработчики соревнуются в придумывание алгоритмов ИИ с хакерами и другими дискредитаторами
АСТ. Но всякие «творческие и художественные» предметы, которые трудно авто-тестировать, придется сдавать по-старому. И заглушка радиочастот связи
гаджетов в комнатах тестирования должна быть обязательна.
Тестируетесь вы, а не ваши друзья и помощники в Интернете.
Начинать
АСТ надо со школьной математики средней школы. Постепенно включая другие техно-математические предметы и годовые экзамены в более младших классах, с 10 по 8-й. Потом широко вовлекать взрослых людей сдавать -
ПДД, электро, пожаро, хим и прочую технику безопасности и другие специальные дисциплины. Ежегодная, или более редкая сдача таких тестов в
ГорТЦ, будет более простой и непредвзятой оценкой ваших знаний, чем ныне действующие системы контроля и допусков. А потому выгодной, как для тестируемых людей, так и для всего общества, в целом.
В ГорТЦ
лишь Ты, вопросы и «железка-сервер» за тридевять земель, потому «схимичить» невозможно, невзирая на должности, деньги, родственников и прочие «корруп-льготы».
В
ГорТЦ можно будет быстро, легко и просто тестировать людей на психологическую и наркологическую устойчивость, особенно после серьезных аварий или при получении ежегодных допусков на оружие. Да и при приеме на работу с людьми, а тем более с детьми, желательно постоянно тестировать таких специалистов. Т.е., если подойти с умом, работы у
ГорТЦ и у разработчиков АСТ будет очень много. Значит такая система будет развиваться и приносить постоянную прибыль городу и стране!
Вопросы (задачи) для тестирования.
Составление вопросов и ответов к ним, есть самый сложный момент в работе
АСТ. Для начала, за основу можно взять вопросы обычного ЕГЭ по предмету, дополнив их в режиме вики-краудсейла от учителей школ, ВУЗов и студентов. Затем, в Обрнадзоре, отобрать лучшие и сформировать несколько сотен
исходных (канонических) вопросов (математика) и правильные ответы к ним, разложив все по группам сложности. И
выложить их в открытый доступ, на сайты Минобра и Обрнадзора, в начале января текущего года. Причем, в течении года эти многочисленные
канонические вопросы по группам сложности (баллам) не должны изменяться. И пусть старшеклассники многие месяцы, на них оттачивают свое мастерство и знания. А почувствовав уверенность, посылают электронную заявку и идут в
ГорТЦ сдавать тестирование по предмету или платят и пересдают его, для получения более высоких баллов.
Значительно сложнее сделать
автоматизированное преобразование этих канонических вопросов в реальные тестовые. Чтобы на экран тестируемого в ГорТЦ, каждый раз выдавались
несколько модернизированные вопросы. Иначе
будет простое списывание, по выборке - «вопрос – ответ» с использованием компов и смартфонов. Что и наблюдается сейчас во многих, тупо сделанных системах тестирований.
Самое простое – посадить несколько «преподов» на модернизацию этих канонических вопросов и пусть они выдают по тысяче новых вопросов в неделю-месяц. Тогда ни один «хакер/помощник/решала» не угонится, даже если эти вопросы и украдут с сервера. И база (БД) таких реальных вопросов к концу года будет огромной, за десятки тысяч по каждому из предметов. Тогда «
серверной рулетке» будет из чего выбирать и у соседей в ГорТЦ вопросы практически никогда не совпадут. И подсказок от соседних столов не будет, из-за ограничений по времени на тестирование. Но обязательно появится «дорогой запрос» на увод этих вопросов с сервера Обрнадзора, с последующей продажей их. Что может сильно дискредитировать
АСТ. Живем-то в реальном мире страстей и коррупции, не стоит наивничать.
Потому, самое слабое звено –
человек-модификатор, приемлем лишь на первые год-два создания
АСТ. Далее
модернизацию канонических вопросов в тестовые вопросы надо производить в реальном времени. Т.е. для каждого тестируемого подготавливать свои тестовые вопросы, как только он пришел в ГорТЦ (лимит =10-30 минут) и пересылать шифрованный тестовый набор из центра в локальный ТЦ. И здесь без привлечения систем искусственного интеллекта (ИИ) и быстро обучаемых нейросетей трудно обойтись.
На первых этапах,
можно совместить «человека и машину», на самых простых вопросах. Пусть эти низкобальные вопросы, которых много и ответы к ним легки, готовит «софтовый робот», а модификацию сложных, высокобальных вопросов пока оставить за человеком, в виде отдельной базы данных (БД), созданной людьми.
Для простых вопросов (допустим, по математики), можно составить БД основных терминов и логических связей между ними. Плюс все это связать с БД формул и набором алгоритмов.
Тогда такая «нейро-софтина» при каждом запуске будет формулировать из канонического вопроса новый тестовый вопрос, формировать алгоритм решения и вычислять правильный и выдавать набор неверных ответов.
В вопросах по математике, где, обычно, используют жесткую логику и четкие формулировки, возможно применение и
простых авто-семантических преобразований. Например, возьмем канонический тип вопроса: «Определить площадь круга радиусом 1 м»? Вот как может выглядеть преобразованный вопрос: «На клумбе диаметром 10 м., цветы. Каждый занимает 0,3 кв.м. Сколько целых цветков на клумбе?» И соответствующий набор ответов. А в следующем запуске этот канонический вопрос может преобразоваться в такой: «Круглую медаль площадью 25 кв. см поместили в квадратную рамку. Чему равна сторона минимальной рамки?» И свой набор ответов.
Алгоритмы можно совместить и на каждый канонический вопрос программный автомат будет выдавать один, из нескольких десятков уже преобразованных вопросов, из текущей недели. В вопросах может фигурировать то прямая задача, то обратная. То про квадраты, то про прямоугольники или круглые предметы и т.п. Причем такое семантическое преобразование можно применить к очень многим вопросам и не только по курсу математики.
Главное, чтобы
тексты реальных вопросов (задач), по любому предмету тестирования, должны явно отличаться от канонических и постоянно изменяться.
Вот, как это может выглядеть на детском простом примере.
Канонический текст вопроса и ответов:
«А и Б сидели на трубе, А упало, Б пропало, кто остался на трубе?»
Ответы: А, б, в,г,д,и,к,л,м,н, никто. Правильный ответ «и».
А реально, на экране,
появится семантически преобразованный вопрос, но
логически тождественный каноническому.
Допустим такой: «Ё и Е лежали на скамье, Ё скатилось, Е разбилось, что мы видим на скамье?» И ответы: Ё, е, и, п, р, с, т, ничего. Вот и ломай голову, как найти подсказку, хотя канонический набор вопросов и ответов открыт у тебя в компе. А при
другом запуске теста этот преобразованный вопрос, может выглядеть так: «В траве лежали V и Q. V смылась, всем сказав «ку-ку», а Q слова не разобрав, вскочила много выше трав. Что завалялось в траве? И соответствующий набор ответов, на этот почти автоматический «реп».
Возможны и другие алгоритмические решения модификации вопросов из канонических в тестовые.
Посадить «10-20 гребцов на галеру», сегодня «не катит». Лучше поставить мотор и
переделать «галеру» в катер, с толковым капитаном. В нашем случае, это создать программный автомат ежедневного или, хотя бы, еженедельного преобразования всех вопросов. И эти новые вопросы должны подвергаться контролю и редакции группы из «людей-экспертов». Мало ли что программа придумает -
ИИ надо держать под контролем. Через месяц-другой появятся тысячи таких «секретных» преобразованных вопросов по каждому из предметов сдачи.
Но их держать надо «на очень закрытом сервере», выдавая лишь поштучно, по шифрованному запросу от «открытого» сервера ГорТЦ.
Алгоритмы полных семантических преобразований каноники к тексту реального вопроса, логически тождественному исходному смыслу, достаточно сложны, но
возможны. Здесь
основной критерий – минимальное повторение слов канонического текста вопроса в преобразованном вопросе и максимальное повторение одинаковых слов во всем массиве канонических вопросов. И разработка базы слов по главным смысловым словам канонических вопросов. Так, в канонических вопросах по курсу математике, из множества слов, допустим таких, как:
найти, определить, вычислить, узнать т.п., надо определить одно слово и только его использовать в текстах с каноническими вопросами. Зато в преобразованных вопросах его не использовать, а использовать лишь тождественные.
Программный алгоритм будет заменять это слово синонимами или большим набором других слов, с сохранением смысла. Также необходимо
создать алгоритмы расчета ответов для каждого реального вопроса, с определение одного правильного. Можно идти и от обратного и строить вопрос от правильного ответа. Задача непростая, но и она алгоритмически решаемая. Все эти решения и будут одним из «
ноу-хау» новой системы тестирования. Толковым программистам, математикам-алгоритмистам, мат-лингвистам и другим специалистам здесь есть над чем интересно и долговременно поработать. Статичные системы просты, но легко дискредитируемы, значит сегодня необходимы более надежные быстрые динамические системы создания тестовых вопросов. Одолели же «видеофиксацию в потоке».
Конечно, на первых порах можно оставить и «человеческие» экзамены, по старинке. Чтобы
у людей был выбор - сдавать человеку или «машине». Со временем, постоянное тестирование всего и вся, станет обыденностью.
Школьники не будут испытывать стресс, которым сейчас подвергаются при сдачи ЕГЭ. Не будут получать нервные потрясения и падать в обмороки на экзаменах. В
ГорТЦ сдаешь, когда захочешь и когда наиболее подготовлен по предмету, с января до середины августа. А получил мало баллов, что на машину грешить, сам «дурак». Да и всегда можно пересдать, через неделю - включай волю и усердие. Но прием документов в ВУЗы, обычно заканчивается в августе и если сдавать
АСТ в сентябре – декабре, то лишь для поступления в следующем году.
Результат (балл) должен засчитывается по последнему тестированию, со сроком годности не менее трех лет.
Получив с детства навыки постоянного тестирования, люди и во взрослой жизни будут более оперативно выбирать необходимую информацию, быстро логически осмысливая ее. Приучатся постоянно использовать всю мощь компов, мобильников и ресурсов Интернета, при решении множества задач в новой цифровой жизни.
В тоже время, надо разделять опасение многих работников образования, что
«Авто-ЕГЭ» не стимулирует школьников качественно изучать «не ЕГЭ» предметы. И школьные оценки по поведению-дисциплине надо бы учитывать при поступлении в ВУЗ. Жизнь в обществе - это большая многосвязная система, с тысячами прямых и обратных связей регуляции, не ограниченная баллами по профильным предметам обучения. Лишь тогда идет качественное развитие социума и сама жизнь будет колебательно-стабильной. Наверное, целесообразно, оценив этот «
Тест-ЕГЭ» в 100 баллов (когда на все вопросы тестирования даны правильные ответы),
остальные предметы (не ЕГЭ) оценить в 20 баллов и дисциплину на уроках в 10 баллов, начиная с 8-го класса Т.е. общий максимальный балл, который будет фигурировать
в конкурсе при поступлении в ВУЗ будет рассчитывается из 130 баллов.
Сразу улучшится поведение на уроках и изучение дисциплин «не ЕГЭ». И к учителям этих предметов будет более уважительное отношение. А значит,
повысится общий уровень обучения знаниям, навыкам и нравственности выпускников средней школы. Это главное, ради чего стоит вкладывать средства в модернизацию и автоматизацию школьного образования.
Имея
АСТ, легко можно
ввести поощрение учителей по лучшим результатам тестирования за год. Сделать выборку, по школам, ученики которых набрали более высокие средние баллы, не проблема. Полная единая база по
АСТ и соответствующая программа анализа позволит выполнить эту процедуру за несколько часов. И к Дню Учителя,
щедро поощрить работников образования, материально из заначек Минобра и Минфина. Отобрали 100 лучших школ страны и
перевели денежные средства на кредитные карты руководителей этих школ и лучших учителей-предметников. С красочным поздравлением на сайте города и школы. И никто не посмеет даже пикнуть, что поощрили не тех. Считает компьютер, а цифры упрямая вещь, с ними спорить не стоит. Да и деньги не разворуют по пути к адресатам, когда все открыто для всех в Интернете.
Соревнование между тестовой системой и школьниками, желающими найти ответы на вопросы, с помощью современных «шпор» - электронных технических средств,
напоминает борьбу антивирусных средств защиты с разработчиками вирусов. Действительно, система будет «генерить» все новые и новые реальные вопросы, а школьники и их продвинутые друзья «хакеры» должны успевать создавать новые, более
актуализированные «Приложения-шпоры». Но эти новые вопросы надо еще суметь украсть, правильно решить, а потом выложить в сеть, для продажи. Далее школьникам придется самим разбираться в них, где фейк, а где «шпоры» дают правильные решения, На все это потребуется «голова, время и труд». Потому,
АСТ будет всегда опережать «хитрых школьников», пришедших на тестирование с лучшими гаджетами и новейшими Приложениями - «
Как обмануть АСТ».
Это «опережение» и дает системе автоматизированного тестирования знаний - АСТ хороший шанс на успех! Да и школьники со смартфонами и «ноутами» на тестах почувствуют себя более свободными и ответственными людьми. Перестанут быть - «тварью дрожащей» на экзаменах!
А чтобы сделать
автоматизированную систему зачисления абитуриентов по результатам ЕГЭ в ВУЗы страны (АСЗАВ), не нужно привлекать технологии искусственного интеллекта (ИИ) и нейросети.
Достаточно «указание сверху» и немного денег на создание такой системы. Здесь алгоритмы просты – перебирай матрицу (БД) предпочтений абитуриентов и матрицу (реестр), выделенных мест по ВУЗам страны. Захудалый сервер «перелопатит» этот полумиллион записей за несколько часов, переместив «высокобальников» на первые места, по самым предпочтительным бюджетным специальностям и ВУЗам. И автоматом разошлет всем СМСки.
Но об этом и о многих других преимуществах функционирования смарт-автоматизированных государств в цифровом 21-м веке, в следующий раз.
2018 г.
Оглавление
Виктор Орт
На ЕГЭ, к роботу,
да с смартфоном в руках.
(прогнозный киберпанк)
