На часі вдосконалення стандартів ЗНО

На часі вдосконалення стандартів ЗНО

‹ Євген НІКОЛАЄВ ›

Впровадження зовнішнього незалежного оцінювання знань випускників середніх шкіл слушно вважається однією із успішних реформ у сфері української освіти. Ставши стандартною вимогою для вступу до ВНЗ, ЗНО забезпечує радикальне зменшення корупційної складової вступної кампанії і дає можливість вступити на бюджетні місця університетів абітурієнтам з вищим об’єктивним рівнем підготовки. Поруч із сильними сторонами, зовнішнє незалежне оцінювання має й деякі концептуальні та організаційні суперечливі елементи, про які хотілося б поміркувати.

Як виставляються бали?

Перше у цьому році гостре обговорення теми ЗНО було пов’язане із законопроектом № 2335, яким пропонувалось дозволити особам, які мають сертифікати ЗНО за попередні роки, вступати до ВНЗ одночасно з абітурієнтами, які складають ЗНО у поточному році. Головний (але не єдиний) аргумент проти такого рішення полягає в тому, що бали, одержані за ЗНО-тестами з одного і того самого предмета, але в різні роки, неможливо прямо порівняти між собою. Ця проблема змушує уважніше подивитись на методику укладання шкали, за якою абітурієнти одержують бали за складеними тестами.

Логіка загалом така. Тест має деяку кількість питань, за правильні відповіді на які можна одержати певну максимальну кількість тестових балів, яка є різною для кожного предмета і у кожному році проведення тесту. Після того, як  всі абітурієнти виконують тест, здійснюється комп’ютерний статистичний аналіз їх відповідей, на підставі якого експертна комісія складає таблицю переведення тестових балів (себто кількості правильних відповідей) у рейтингову шкалу від 100 до 200 рейтингових (стандартизованих) балів, із якими зрештою абітурієнт йде у приймальну комісію університету [4]. Ця таблиця, знову, є відмінною для різних предметів і в різні роки [5].

В результаті абітурієнт, який виконав тест краще, матиме вищий рейтинговий бал, ніж абітурієнт, який виконав цей же тест гірше. З іншого боку, характерними рисами цієї схеми є:

  • незрозумілість, без звернення до спеціальних таблиць, відповідності між кількістю одержаних рейтингових балів та кількістю й відсотком правильних відповідей, які дала особа, що складала тест;
  • як вище зазначено, неможливість прямо зіставити між собою результати різних тестів.

Перш ніж проілюструвати це на прикладах, нагадаю, що багато країн застосовують концептуально іншу модель. Наприклад, мені свого часу довелося складати декілька шкільних тестів за схемою, прийнятою в Англії, де застосовується наступна шкала.

Шкала оцінки шкільних тестів в Англії
  • менше ніж 60% правильних відповідей — “незадовільно”, оцінка F;
  • від 60% строго до 70% правильних відповідей — “задовільно”, оцінки D та E;
  • від 70% строго до 80% правильних відповідей — “добре”, оцінки B та C;
  • 80–100% правильних відповідей — “відмінно”, оцінка A.

При цьому часто прагнуть до того, щоб загальна кількість балів за тест дорівнювала 100, аби переведення у відсотки було максимально автоматичним. Вказані порогові відсотки можуть дещо відрізнятися, мінімальний поріг “трійки” інколи знижують до 55%, але загальна схема є легко зрозумілою. Вона використовується як в Європі, так і в українських університетах. Серед її переваг — зіставність різних тестів, зрозуміла відповідність “кількісної” оцінки в балах “якісній” оцінці в літерах.

Що маємо в Україні?

Якщо розглядати дані за тестами ЗНО 2014 року і прийняти вищевказану шкалу відповідності між кількістю правильних відповідей і “якісною” оцінкою, то, до прикладу, одержані 175 рейтингових балів означають, що особа:

  • з фізики дала 48% правильних відповідей, виконала тест на “незадовільно”;
  • з математики або з історії дала 57% правильних відповідей, вона теж виконала тест на “незадовільно”, але дещо краще, ніж тест із фізики;
  • з біології дала 65% правильних відповідей, виконала тест на “задовільно”;
  • з хімії або з української мови та літератури дала 78% правильних відповідей, виконала тест на “добре”;
  • з англійської мови дала 82% правильних відповідей і виконала тест на “відмінно” (за даними: [6]).

Отже, ранжуючи абітурієнтів за рівнем підготовки в межах певного предмета, існуюча схема виставлення балів за ЗНО не дає змоги одразу оцінити “якість” підготовки кожного окремого випускника середньої школи, що є її вагомою вадою.

Бал ЗНО як перепустка до одержання вищої освіти

До 2014 року включно абітурієнт мав набрати за ЗНО-тестом мінімум 124 бали, аби його сертифікат враховувався при вступі до університету (поточного року змінено схему, але не логіку; з огляду на відсутність підсумкових даних, далі розглядаємо приклад минулого року). Декларується, що цей поріг впроваджено “з метою відсіювання абітурієнтів, рівень знань і умінь яких є фрагментарним і занизьким для продовження навчання у ВНЗ” [1].

Проте практика суперечить цій декларації. 124 бали відповідають не прийнятому в Європі порогу “двійки” у 60% правильних відповідей, а тій кількості відповідей, яку, знову ж таки, визначають експерти. Ці експерти встановлюють необхідну для одержання 124 балів кількість правильних відповідей статистичним методом — так, аби 124 бали і вище одержали 89-93% тестованих (див. останню колонку табл. 1).

Таблиця 1

Відсоток правильних відповідей за тестами ЗНО з різних предметів, необхідних для одержання права вступу до ВНЗ, за даними ЗНО 2014 року

Предмет Максимальна кількість тестових балів у тесті з предмета Кількість тестових балів, необхідних для одержання 124 рейтингових балів Відсоток тестових балів, необхідних для одержання 124 рейтингових балів Частка осіб, що взяли участь у тесті та набрали менше 124 рейтингових балів, %
Математика 56 5 9 7,11
Фізика 56 7 13 6,34
Іспанська мова 56 9 16 8,98
Англійська мова 56 10 18 9,17
Німецька мова 56 10 18 8,15
Французька мова 56 10 18 6,32
Хімія 94 18 20 9,46
Історія України 90 22 25 3,52
Українська мова та література, І сесія 107 27 26 9,08
Українська мова та література, ІІ сесія 107 28 27 9,04
Світова література 88 23 27 8,26
Всесвітня історія 90 26 29 8,89
Біологія 84 25 30 9,37
Географія 92 28 31 10,25
Російська мова 88 28 32 9,97

Укладено за даними: [6].

Тому таблиці переведення тестових балів складають так, що “прохідні” 124 бали дістають абітурієнти, які демонструють знання в обсязі 9-32% (залежно від предмета) програми, що виноситься на ЗНО (див. передостанню колонку табл. 1). Себто, за європейською шкалою, ті, що вивчили шкільний предмет на “двійку”. Очевидно, що встановлений статистичним шляхом поріг у 124 бали “не має предметного наповнення” [1] і не відсікає абітурієнтів, які не мають необхідної для одержання вищої освіти підготовки. Університетам дозволили встановлювати трохи вищий мінімальний бал (який направду відповідає “двійці з маленьким плюсом”) для профільного предмета, але минулого року вони практично не користувались цим правом, побоюючись втрати абітурієнтів.

Ця ситуація породжує питання. Чому особа, яка склала тест на “двійку”, може вступати до університету, а та, що склала на “двійку з мінусом” — не може? Чому для вступу недостатньо знати математику на рівні “двійка з двома мінусами”, але достатньо на рівні “двійка з лише одним мінусом”? Врешті, чому може стати студентом людина, яка склала цьогорічний тест ЗНО на “двійку”, а людина, яка склала тест минулого року на “відмінно”, — не може? В рамках існуючих правил організації ЗНО та вступу до ВНЗ відповідей на ці питання, схоже, немає.

Складнощі, варті уваги

Цьогорічний тест ЗНО з української мови та літератури дає багато підстав для гострої і критичної дискусії. На мою особисту думку, цей тест повністю провалено його укладачами, причому провалено у двох аспектах. Один аспект — незадовільна, “на 124 бали” якість самого тестового завдання (див., наприклад, аналіз завдань тесту, виконаний філологом Богданом Тихолозом [7]). Так, окремі питання, очевидно, містять помилки (одне із тестових питань не має жодної правильної, а інше — дві, коли можна обрати лише одну) або не відповідають програмі підготовки школярів (питання про пряму мову в реченні).

Використання у тесті фрагменту твору пані Галини Пагутяк “Маленький шлях — не для людей” без її відома і дозволу, скоріш за все, не порушує законодавства про авторське право (стаття 21 закону “Про авторське право і суміжні права” дозволяє використання без згоди автора фрагмента його твору в навчальних цілях), але є негативним прикладом з точки зору академічної етики та норм людського спілкування. Питання до цього фрагмента тексту складено так, що на них не змогли дати “правильні” (у розумінні авторів тесту) відповіді ані авторка уривку, ані деякі викладачі української мови, про що зараз активно пишуть. Тест включав питання за навчальним матеріалом, який, за чинною програмою, випускники мають проходити у травні, після складання тесту. Виконання тесту не розраховане по тривалості, воно потребує значно більше часу, ніж той, що передбачений порядком його проведення.

Другий аспект — небажання осіб, відповідальних за укладання тесту, власне, взяти на себе відповідальність за свою роботу. Зокрема, у першому офіційному коментарі УЦОЯО щодо тесту [3] обґрунтовано правильність (чи “правильність”?) затверджених Центром відповідей на питання, що стосуються тексту пані Пагутяк, але нічого не сказано щодо інших питань і відповідей, які викликали критику. УЦОЯО пояснює факт наявності цих спірних питань необхідністю перевірити “сформованість у випускника стійких навичок роботи з текстовим матеріалом і твердих умінь проводити різні види аналізу тексту … кожне завдання – це завдання, яке передбачає здатність учасника тестування працювати з текстом, уважно й скрупульозно аналізувати його зміст, звертаючи увагу на співвідношення частин, контекстуальні значення слів, емоційну забарвленість синтаксичних конструкцій тощо”. Принципова хиба тут (безвідносно до конкретних питань–відповідей) в тому, що “закриті” тестові завдання із вибором однієї відповіді з кількох запропонованих не призначені для перевірки складних аналітичних навичок; останні перевіряються за допомоги відкритих питань, на які тестований має написати власну відповідь.

Фахова предметна комісія УЦОЯО з української мови, розглядаючи це питання, з одного боку, визначила, що три з п’яти спірних питань тесту мають незадовільні психометричні характеристики і, фактично, вилучила їх з підрахунку результатів тесту, а з іншого, заявила, що досі вважає правильними ті відповіді на ці питання, які вона раніше визначила як правильні. Тобто абітурієнти через ці питання у підсумку не постраждали (що правильно), але комісія не погодилася із негативною оцінкою тестових питань (як продукту своєї роботи), яку публічно надавали філологи і вчителі (що природно, але неправильно). Крім того, не була оприлюднена позиція цієї комісії щодо інших спірних питань тесту, зокрема тих, які, на думку філологів, серед запропонованих варіантів відповіді не містять жодного правильного.

Читайте також:

Ситуація “ЗНО з укрмови-2015” стала негативною сторінкою в історії зовнішнього оцінювання знань випускників українських шкіл. Хочу сподіватись, що цей урок стане поштовхом до глибшої дискусії стосовно до змісту тестів ЗНО, процедури їх укладання і перевірки, процедур урахування і виправлення помилок, ролі ЗНО в системі освіти. Хочу звернути увагу на кілька таких питань.

Так, вагомим здобутком системи проведення ЗНО в Україні є її незалежність, підтверджена практикою. За 10 років проведення ЗНО не було зафіксовано системних проблем в його організаційному аспекті, витоків завдань тестів до моменту їх проведення, випадків масштабної корупції, що в українських умовах є майже дивом. Проте цього року ми зустрілись зі зворотнім боком незалежності УЦОЯО як установи, відповідальної за проведення ЗНО. А саме, з відсутністю інстутиційних можливостей надати (чи одержати) офіційну експертну оцінку якості складання тесту ЗНО з української мови та літератури з боку незалежного від УЦОЯО органа влади, наприклад, з боку МОН, до сфери управління якого належить УЦОЯО. Адже негативна оцінка результатів роботи експертів УЦОЯО, що її міг би надати орган державної влади, може розглядатися як порушення незалежності цього центру.

В ширшому сенсі, необхідно приділити більшу увагу оприлюдненню процедур роботи УЦОЯО. Наприклад, на сторінках “Освітньої політики” з’явилась інформація, що цього року вперше “творчу роботу перевірятиме лише один експерт (другий контролюватиме перевірку лише вибірково)”, тоді як загальноприйнятою в світі є перевірка однієї творчої роботи трьома експертами [2]. Я не зміг знайти на сайті УЦОЯО офіційного документа, який би підтвердив або спростував цей факт. Крім того, не оприлюднюється склад предметних фахових, регламентних, експертних комісій Центру, що, з одного боку, запобігає спробам корупції, але з іншого, знижує рівень відповідальності членів цих комісій за свою роботу.

Іншою проблемою є невідповідність між:

  • 1) обсягом матеріалу, що виноситься на тести ЗНО;
  • 2) обсягом матеріалу, що включений до навчальної програми з тієї чи іншої дисципліни;
  • 3) обсягом матеріалу, який учень реалістично може опанувати у відведений для вивчення предмета навчальний час.

ЗНО перевищує за складністю й охопленням той обсяг матеріалу, який вчитель може надати своїм учням (і сильнішим, і слабшим) протягом відведеної на уроки з предмета кількості годин. Крім того, тести ЗНО з одного предмета різних років суттєво відрізняються за складністю, що, по-перше, свідчить про відсутність розроблених політик щодо складності тестів і їх відповідності за цим критерієм навчальним програмам і, по-друге, додатково ускладнює порівняння між собою результатів ЗНО за різні роки.

Тому успішна підготовка до тесту передбачає неофіційний перерозподіл навчального часу на предмети, з яких учень складатиме ЗНО, за рахунок інших предметів, проведення додаткових уроків тощо. На думку багатьох учнів та батьків, підготовка до цього тесту потребує роботи з репетиторами. Мої студенти-першокурсники кажуть, що гарно підготуватись до тестів шляхом повторення пройденого (у добрих школах!) навчального матеріалу — не можна. Кращий шлях підготовки — або за допомоги репетиторів, або шляхом опрацювання тестів ЗНО з певного предмета за всі попередні роки. У свою чергу, якщо ситуація саме така, тоді логічним є питання щодо того, що саме оцінює ЗНО: результати навчання учня у школі, його наполегливість і напругу нервової системи, ступінь перевантаження навчанням упродовж випускного класу, рівень опрацювання тестів ЗНО попередніх років чи роботу репетиторів?..

Пропозиції до вдосконалення зовнішнього незалежного оцінювання

ЗНО сьогодні доволі непогано і чесно виконує основну функцію доступу випускників шкіл до одержання вищої освіти залежно від їх рівня знань і підготовки. Ця система тестування існує у реальних українських умовах, які необхідно враховувати при вдосконаленні тестів та обґрунтуванні їх ролі в навчальному процесі:

  • батьки і діти зацікавлені в одержанні не об’єктивних, а завищених оцінок знань;
  • існує стійкий попит (тобто, готовність платити) як за якісну середню і вищу освіту, так і за неякісну освіту і просто за одержання дипломів;
  • переважна більшість випускників шкіл (близько 85–90%) щороку стають студентами вищих навчальних закладів, отже, йдеться про масовість вищої освіти в Україні;
  • як наслідок, до університетів вступають як ті, хто має необхідний рівень шкільної підготовки, так і ті, хто в силу різних причин і обставин такої підготовки не має;
  • ЗНО є фільтром, що запобігає вступу до університетів найменш підготовлених абітурієнтів (оскільки існує прохідний бал), але цей фільтр є неякісним, адже він відсікає від доступу в університети лише незначну частину з тих абітурієнтів, які не мають необхідної для одержання вищої освіти підготовки (за світовими нормами, як вказувалось вище, це ті, хто дає менше 60% правильних відповідей на тестах). Не дозволяючи вступати “двієчникам з мінусом”, цей тест дискримінує їх проти просто “двієчників”;
  • навіть ті студенти, які мають недостатню шкільну підготовку, навчаються в університеті слабенько і лише заради диплому, насправді набувають в університеті важливих знань і досвіду: таки засвоюють деякий матеріал за професією, знаходять друзів, набувають досвіду самостійного життя і відповідальності, а в окремих випадках — знаходять мотивацію гарно вчитися вже у стінах університету;
  • зниження числа абітурієнтів, що вже відбувається з демографічних причин, створює ризики для існування та нормальної діяльності багатьох університетів, у тому числі тих, що посідають важливе місце у культурній інфраструктурі окремих обласних центрів України;
  • держава має обмежені можливості далі фінансувати сферу вищої освіти на сьогоднішньому рівні.

Виходячи з цього, варто подумати над такими напрямами вдосконалення зовнішнього незалежного оцінювання знань випускників шкіл в Україні:

  • необхідно розробити стандарти складності, яким має відповідати кожен тест ЗНО. Варто скоротити обсяг навчального матеріалу, який охоплюється тестами з деяких предметів, але зберегти та посилити перевірку глибини знань з них. Тест повинен бути орієнтований на оцінку вмінь працювати з інформацією, аналізувати й коментувати її, а не бути фіналом виснажливого для дитини марафону із “зубріння” нескінченних фактів;
  • потребують більшої прозорості і стандартизації процедури укладання і перевірки ЗНО. Зокрема, відповіді на “відкриті” питання мають перевіряти три різні експерти, що має бути відображено у стандартах проведення тесту. Функції укладання і проведення тесту, з одного боку, та загальної оцінки якості виконання цієї роботи, з іншого, мають бути покладені на різні організації. Має виконуватись розрахунок часу, що необхідний для спокійного виконання кожного тесту випускником;
  • шкала балів за виконання тестів має бути змінена на прямо пропорційну відсоткову 100-бальну, коли, наприклад, 76 одержаних балів означають, що особа дала правильні відповіді на 76% від загальної кількості завдань у тесті;
  • це дасть змогу як зробити тестові оцінки більш зрозумілими, так і розвести вимоги до балів, необхідних для вступу до університету залежно від джерел фінансування.

Доступ до навчання за кошти державного бюджету мають одержати ті абітурієнти, які демонструють задовільний за сучасними стандартами рівень шкільної підготовки — а саме, одержали від 60% балів і вище за кожним тестом, що необхідний для вступу.

Якщо ж особа воліє самостійно оплачувати своє навчання, то їй варто надати таку можливість в порядку конкурсу, але без встановлення жодного мінімального бала державою (такий бал може встановити університет). Іншими словами, вищу освіту варто розглядати як життєву можливість, доступ до якої за власний кошт мають одержати всі охочі — і ті, хто не набрав на ЗНО 124 бали, і ті, хто складав ЗНО позаминулого року, і ті, хто не складав цього тесту взагалі, а має лише шкільний атестат. Інша річ — впровадження корегуючих занять для таких вступників, але це питання не стосується проведення ЗНО.

Зовнішнє незалежне оцінювання знань випускників шкіл і абітурієнтів упродовж 10 років засвідчило свою доцільність і ефективність щодо виконання покладеного на нього завдання. Цього року спільнота батьків, вчителів і фахівців побачила деякі суттєві проблеми, які існують в організації цього тестування. Отже, час вносити у проведення цього тесту коригування і вдосконалення.

 

Література

  1. Бойко В. Визначення результатів зовнішнього незалежного оцінювання: старі проблеми та нові перспективи. — http://education-ua.org/ua/articles/316-viznachennya-rezultativ-zovnishnogo-nezalezhnogo-otsinyuvannya-stari-problemi-ta-novi-perspektivi.
  2. Горіздра Л., Ткачук Т. ЗНО-2015 з української мови та літератури: погляд з позиції вчителя. — http://education-ua.org/ua/articles/426-zno-2015-z-ukrajinskoji-movi-ta-literaturi-poglyad-z-pozitsiji-vchitelya.
  3. До питання про зміст деяких завдань тесту з української мови і літератури, що використовувався під час зовнішнього незалежного оцінювання у 2015 році. — http://education-ua.org/ua/articles/415-do-pitannya-pro-zmist-deyakikh-zavdan-testu-z-ukrajinskoji-movi-i-literaturi-shcho-vikoristovuvavsya-pid-chas-zovnishnogo-nezalezhnogo-otsinyuvannya-u-2015-rotsi.
  4. Переведення тестових балів ЗНО у рейтингову шкалу від 100 до 200 балів. — http://osvita.ua/test/ball/18987/.
  5. Про тестові та рейтингові бали ЗНО. — http://zno.osvita.ua/dovidka/7/.
  6. Результати ЗНО 2014 року. — http://osvita.ua/test/rez_zno/.
  7. Тихолоз Б. ЗНО-2015 з української мови шокує. — http://osvita.ua/test/46843/.

 

Євген НІКОЛАЄВ
кандидат економічних наук,
доцент кафедри політичної економії
ДВНЗ “Київський національний економічний університет імені Вадима Гетьмана”

 

Share