Як відомо, існує безліч каналів, за допомогою яких людина спілкується із зовнішнім світом. Перш за все, це так звані сенсорні системи (зорова, слухова, дотикальна, нюхова, смакова), які постачають людині інформацію про зовнішній світ. По-друге, це різні моторні реакції, за допомогою яких вона реагує на ці дії або реалізує власні прагнення. Травми спинного і головного мозку, церебральний параліч, м'язова дистрофія, розсіяний склероз, захворювання органів зору та слуху, численні інші захворювання можуть створювати серйозні труднощі і навіть практичну неможливість реалізації такої взаємодії. За підрахунками американських фахівців, тільки в США з такими проблемами щорічно стикаються близько 2 мільйонів чоловік (Ficke, 1991; NABMRR, 1992; Murray, Lopez, 1996; Carter, 1997), а в світі в цілому – кілька десятків, а, можливо, сотень мільйонів. В цілому ряді випадків такі хворі не тільки повністю втрачають довільний м'язовий контроль рухової сфери, але навіть можуть бути повністю паралізовані. Їх життєво важливі функції підтримуються апаратними засобами, однак вони можуть мати збережений інтелект, здатні зберегти інтерес до життя, продовжують бути коханими рідними і просто оточуючими їх людьми. Сучасні технології здатні забезпечити підтримку їх життя протягом досить тривалого часу, проте при цьому виникає безліч психологічних, соціальних, економічних та інших проблем, пов'язаних з неможливістю комунікації із зовнішнім світом.

Ідея полягає в тому, щоб надати мозку хворого з моторними ушкодженнями новий, не м'язовий канал комунікації і контролю. Саме цей напрям, відомий сьогодні як Brain-computer interface (BCI) або інтерфейс мозок-комп'ютер (ІМК), пов'язаний з практичною реалізацією ідеї прямого управління безпосередньо активністю мозку тими чи іншими технічними пристроями, зі створенням каналу, здатного передавати повідомлення і команди безпосередньо від мозку до зовнішнього світу.

Нейро-комп’ютерний інтерфейс: принцип роботи

Нейро-комп'ютерний інтерфейс (НКІ, або прямий нейронний інтерфейс, або мозковий інтерфейс, в англомовній літературі brain-computer interface, BCI) – фізичний інтерфейс прийому або передачі сигналів між живими нейронами біологічного організму (наприклад, мозком тварини) з одного боку, і електронним пристроєм (наприклад, комп'ютером) з іншого боку. У односпрямованих інтерфейсів пристрої можуть або приймати сигнали від мозку, або посилати йому сигнали (наприклад, імітуючи сітківку ока при відновленні зору електронним імплантантом). Двонаправлені інтерфейси дозволяють мозку і зовнішнім пристроям обмінюватися інформацією в обох напрямках. Всі існуючі технології НКІ можна розбити на два напрямки – безпосередню взаємодію з нейронами з імплантацією в тіло спеціальних пристроїв і зняття зовнішніх сигналів (в основному, імпульсів мозкової активності) за допомогою зовнішніх датчиків.

Нейро-комп’ютерні інтерфейси, що реєструють активність нейронів за допомогою системи мікроелектродів та імплантуються безпосередньо в тканину головного мозку, мають назву інвазивні. Неінвазивні НКІ засновані на методі вловлювання електричних сигналів мозку з поверхні шкіри голови, інакше кажучи, ті, що використовують електроенцефалограму.

Один з принципів роботи неінвазивних НКІ заснований на аналізі потенціалів мозку, пов’язаних з подіями. Якщо людині представити набір елементів та через 300-400 мс показати необхідний йому елемент, то виникає позитивне значення потенціала, яке зветься компонентом Р300. Інший принцип роботи заснований на виявленні патернів. Людині пропонують, наприклад, уявляти рух різних частин тіла, усно рахувати. Кожному виду когнітивних процесів відповідає певна амплітуда ритмів електроенцефалограми. Ці процеси розпізнаються, і кожному з них присвоюється дія. НКІ, заснований на вияві патернів, можна використовувати для керування різноманітними рухомими механізмами. При цьому існує алгоритм, що дозволяє у результаті тривалого навчання підсвідомо сформувати та позначити патерни, пов’язані з уявленнями про рух цього механізму, що робить керування зручним.

Нейро-комп’ютерний інтерфейс: структура

Як і будь-яка система комунікації чи управління, НКІ має вхід, на який подається, наприклад, електрична активність мозку, контролюючий модуль, компоненти якого перетворюють вхід у вихідні дані, та протокол, який визначає вибір часу, початок та кінець роботи системи.

Враховуючи, що обробка сигналів в НКІ здійснюється, як правило, в цифровому форматі, обов’язковим елементом входу є аналогово-цифровий перетворювач, якщо тільки останній не є елементом другої її частини – підсилювача, на вхід якого поступають сигнали від електродів.

Переведені в цифрову форму сигнали піддаються різноманітним процедурам обробки (таким як просторова фільтрація, вимірювання амплітуди, спектральний аналіз, виділення єдиних нейронів тощо). Їх призначення – вилучити особливості сигналу, які можуть надійно кодувати повідомлення або команди користувача.

Одним з ключових компонентів систем НКІ є нейро-технічний інтерфейс, що складається з електродів та технічних пристроїв (підсилювачів), призначених для реєстрації електричної активності нейронів, їх груп, фокальних потенціалів або сумарної електричної активності мозку.

Відкриття, що передували винайденню НКІ

XVIII століття. На балконі італійського вченого Луїджі Гальвані рядами висять лапи жаб. Під час грози невідома причина змушує їх тремтіти в конвульсіях. Гальвані назвав це явище «тваринною електрикою» і увійшов в історію як перший електрофізіолог.

У середині XIX століття Еміль Дюбуа-Реймон (Emil Du Bois-Reymond) довів взаємозв'язок між електричним струмом і нервовим імпульсом. У контексті опису історії розвитку електро-енцефалограм (ЕЕГ) Еміль Генріх Дюбуа-Реймон більш цікавий тим, що саме він в 1849 році показав, що мозок так само володіє електрогенними властивостями. Тобто володіє електогенезом – здатністю породжувати слабкі струми.

1875 року Річарду Кетону (Richard Katon) вдалося зареєструвати електричну активність мозку піддослідних тварин за допомогою гальванометра, забезпеченого дзеркалом. Значущою персоною в історії появи сучасних ЕЕГ технологій безперечно є український вчений – київський професор Володимир Володимирович Правдич-Немінський.

Саме він 1912 року, працюючи на кафедрі фізіології Київського Університету, отримав першу в світі електроенцефалограму мозку живої істоти.

У своїх експериментах він використовував мозок собаки. Вкрай важливим є те, що ЕЕГ мозку собаки була отримана без будь-яких пошкоджень скальпа тварини, тобто без використання інвазивних технологій, розкриття черепа, тощо, а саме зовні черепної коробки. ЕЕГ була отримана за допомогою струнного гальванометра. Також професор Правдич-Немінський ввів термін «електроцереброграмма» – запис електричної активності мозку; запропонував першу класифікацію частот електроенцефалограм, яка є основою сучасних класифікацій; виявив ритмічність в діяльності головного мозку. Саме він зафіксував Альфа і Бета ритми у тварин.

Навчання на медичному факультету Київського університету, зміна політичних режимів (Російська імперія – Українська народна республіка – СРСР) не дали В.В. Правдич-Немінському випередити Ганса Бергера, який 1924 року зняв першу ЕЕГ у людини і підтвердив тим самим існування помічених українцем альфа- і бета-ритмів. Тому у науковій історіографії «батьком» електроенцефалографії людського мозку прийнято вважати німецького фізіолога і психіатра Ганса Бергера.

Ганс Бергер (Hans Berger) 1924 року почав записувати перші електроенцефалограми людини, а до 1929 року відноситься перша присвячена цьому публікація. Г. Бергер записав сімдесят три електроенцефалограми свого сина, для чого змушував останнього стригтися настільки коротко, наскільки тільки можливо; не відмовлявся він і від допомоги добровольців, віддаючи перевагу зовсім лисим. Учений не міг спостерігати запис електроенцефалограм в реальному часі, так як друкував їх на фотопапері, який потім розгортав і виявляв. Однак уже 1932 року німецький інженер Jan Friedrich Toennies сконструював перший апарат для запису ЕЕГ, що друкує чорнилом на звичайному папері.

Електроенцефалограма (ЕЕГ) (від грец. Ἥλεκτρον – бурштин, ἐγκέφαλος – головний мозок і γραμμα – запис) – графічне зображення складного коливального електричного процесу, який реєструється за допомогою електроенцефалографії при розміщенні його електродів на мозку або поверхні скальпа, результат електричної сумації і фільтрації елементарних процесів в нейронах. Метод електроенцефалограми використовувався для дослідження сприйняття, пам'яті, адаптації; допомагав діагностувати епілепсію (а також прогнозувати, коли можна очікувати наступний напад), розлади сну та інші хвороби.

1967 року психіатр Едмонд Деван (Edmond M. Dewan) опублікував в журналі Nature статтю про експеримент, учасників якого просили зосередитися на тих чи інших символах абетки Морзе. Поки вони це робили, електричну активність їхнього мозку реєструвала електроенцефалограма. У моменти концентрації на символах, електроенцефалограма змінювалася. Після невеликого тренування випробовувані змогли за допомогою азбуки Морзе передавати апаратурі цілі слова. Було незрозуміло, які саме нейрони і хвилі мозку були задіяні в ході експерименту, але це працювало – людина вперше мала змогу послати свою думку машині і бути нею сприйнятою. Немає нічого дивного в умінні людини повідомляти свої наміри зовнішнім пристроям, їм самим же і створеними. Е. Деван продемонстрував, що для контролю над технікою можливо обійтися без тіла – досить думки.

Результати експерименту Е. Девана зацікавили військових, які хотіли використати новий спосіб спілкування з технікою для полегшення роботи пілотів і лікарів, адже відкриття означало, що повністю паралізовані і пацієнти, що втратили здатність говорити, отримають можливість повідомляти свої наміри оточуючим.

У ті ж роки по іншу сторону Атлантики іспанський нейрофізіолог Хосе Дельгадо (Jose Delgado) винайшов «стімосівери» (stimoceiver – від словосполучення stimulation receiver, тобто «приймач стимулів») – радіокеровані електродні матриці, що імплантуються в мозок і взаємодіють з ним.

1964 року Х. Дельгадо, будучи переконаним, що вчений повинен нести відповідальність за свої винаходи і випробовувати їх на собі, провів видовищну демонстрацію можливостей стімосівера, місцем для якої стала корида. Досвідчені тореадори як слід розлютили 250-кілограмового бика Лучера і залишили його на рингу один на один з Х. Дельгадо. Лучер наближався до вченого з досить недобрими намірами, але Х. Дельгадо встиг натиснути на кнопку і послати сигнал в стімосівер, імплантований бику – тварина миттєво «забула» про агресію і мирно побігла геть. Наступного дня іспанські газети висловили занепокоєння, що стімосівери покладуть край кориді.

Кілька років по тому Х. Дельгадо заявив, що регулярно отримує листи від людей, занепокоєних, що він контролює їх думки. Він відповідав, що сам по собі контроль над думками не добрий і не поганий – все залежить від того, чиї думки контролювати і з якою метою – і наводив як приклад епілептиків, початок нападу у яких може бути зафіксованим і попередженим комп'ютером. У своїй книзі «Матеріальне управління свідомістю: у напрямку до психоцівілізованного суспільства» (Physical Control of the Mind: Toward a Psychocivilized Society) Х. Дельгадо заявляв: «Під час розвитку цивілізації значення наших м'язів, відчуттів і навичок було неймовірно переоцінено. Сьогодні ми можемо додати до спектру своїх здібностей новий вимір: прямий інтерфейс між мозком і машиною… Ми стрімко просуваємося у вивченні взаємозв'язків електричних імпульсів і відповідної їм поведінки, а також в розробці методології двосторонньої комунікації мозку і комп'ютера».

Дослідницькі групи, очолювані Шмідтом, Фетзом і Бейкером в 1970-х встановили, що мавпи можуть швидко навчатися вибірково контролювати швидкість реакції окремих нейронів в первинній руховій корі головного мозку, використовуючи замкнутий позиціонування операцій, навчальний метод покарання і нагород.

У 1980-х Апостолос Георгопоулос з Університету Хопкінса виявив математичну залежність між електричними відповідями окремих нейронів кори головного мозку у макак і напрямком, в якому макаки рухали свої кінцівки (на основі функції косинуса).

Він також виявив, що різні групи нейронів в різних областях головного мозку спільно контролювали рухові команди, але були здатні реєструвати електричні сигнали від збуджених нейронів тільки в одній області одночасно через технічні обмеження, що накладаються його обладнанням.

З середини 1990-х років почався швидкий розвиток нейрокомп’ютерних інтерфейсів. Декільком групам вчених вдалося зафіксувати сигнали рухового центру мозку, використовуючи записи сигналів від груп нейронів, а також використовувати ці сигнали для управління зовнішніми пристроями. Серед них можна назвати групи, очолювані Річардом Андерсеном, Джоном Донахью, Філіпом Кеннеді, Мігелем Ніколеліс, Ендрю Шварцом.

Цій же тематиці були присвячені дослідження Мігеля Ніколеліса (Miguel Nicolelis).

У лабораторії вченого був організований експеримент з мишею, яка бігає та хоче пити. Вона привчена натискати на кнопку, яка активізує руку робота, що приносить воду. Але несподівано правила змінилися – кнопка зникла. Однак варто миші подумати про натискання, як цей намір зчитується за допомогою електродів, імплантованих в її мозок, і передається руці робота, що приносить довгоочікувану воду. Ніколеліс і його колегам вдалося розшифрувати, які саме нейрони проекційної зони кори головного мозку миші відповідають за натискання на кнопку і запрограмувати руку робота реагувати на них. Дослідники були вражені, як швидко миша навчилася настільки нетривіальної дії. Удача експерименту була обумовлена дивним відкриттям: виявилося, що при здійсненні дії і при думці про неї активізуються одні і ті ж нейрони головного мозку.

«Це разюче відрізняється від традиційного погляду на роботу мозку, згідно з яким він запрограмований раннім досвідом і після досягнення певного віку майже не змінюється, – стверджував Мігель Ніколеліс. – Наш мозок виробляє якусь модель і постійно перевіряє, чи можна проігнорувати сигнали із зовнішнього світу, або ж потрібно прийняти їх для корекції існуючої моделі, тому що вони несуть в собі важливу нову інформацію. Новий погляд на мозок полягає в тому, що цей динамічний пристрій ніколи не припиняє вбирати інформацію для оновлення свого вмісту».

1968 року вперше було імплантовано електроди в кору потиличної долі мозку у сліпого пацієнта. Приймаюча частина пристрою мала радіоантену, що приймала сигнали певної частоти. У відповідь на стимуляцію пацієнт мав змогу бачити одиничні спалахи світла – «фосфени». Як зазначили автори винаходу, подальший розвиток прототипу міг призвести до створення системи штучного зору. Подібні результати щодо стимулювання кори потиличної долі головного мозку у нейрохірургічних пацієнтів були отримані В. Добелем та співавторами, причому один з пацієнтів зміг навіть розрізняти окремі літери. Технологічні складнощі, пов’язані з початковим етапом розвитку мікроелектроніки, неможливість декодування та обробки великих обсягів інформації в реальному часі, стали причиною того, що перший реально функціонуючий пристрій був імплантований пацієнту лише 2000 року.

Найпершими пристроями, що в деякому сенсі реалізовували поняття інтерфейсу мозок-комп’ютер, стали кохлеарні імплантати. Кохлеарний імплантант – електронний пристрій, що дозволяє людини, що втратила слух, почути навколишній світ.

Розробці штучної сітківки присвячені піонерські роботи М. Махоулд, яка на початку 90-х років вперше запропонувала ідею створення «кремнієвої сітківки». Кремній має властивість з'єднувати неживу матерію з живими нейронами, а оточені нейронами транзистори отримують сигнали від нервових клітин. Кожен транзистор на чіпі вловлює найменшу, ледь помітну зміну електричного заряду, яка відбувається при «пострілі» нейрона в процесі передачі іонів натрію. В наступних роботах інших авторів була доведена можливість створення гібридного біоелектронного сенсора на основі бактеріального родопсіна, який має змогу сприймати чорно-білі зображення, що рухаються, та передавати отримані дані про геометричну форму предметів.

У 1998 р. була проведена перша операція з відновлення рухомої функції повністю паралізованому хворому, у результаті якої він навчився керувати курсором на комп’ютері.

Декілька десятирічь дослідження у цій області майже не рухалася з місця: обчислювальні пристрої були повільними, точність електроенцефалограм залишала бажати кращого. І лише з бурхливим розвитком комп'ютерних технологій настала ера розквіту і нейро-комп'ютерних інтерфейсів.

Розвиток нейро-комп’ютерних інтерфейсів на сучасному етапі

Справжній прорив в інтерфейсах мозок-комп’ютер стався 2012 року, коли Джон Донахью опублікував статтю, де описувався випадок повністю паралізованої пацієнтки, якій було вживлено 96 електродів на «чіпі» 4х4 мм.

За допомогою цих електродів жінка спромоглася натренувати протез так, щоб роботизована рука брала ємність з водою та підносила її до рота оператора.  

Мабуть, саме з цього розпочався бум подібних розробок. Звісно, на них чекають люди, що втратили здатність рухатися, та ті, хто бажає керувати будь-чим без допомоги рук (потрібно зазначити, що на чемпіонаті професій World Skills нейропілотування – керування транспортним засобом за допомогою інтерфейсу мозок-комп’ютер – уже ввійшло до програми змагання).

Кожного року з цього часу з’являється багато розробок, які дійсно можна охарактеризувати як проривні, що виводять НКІ на новий рівень.

Швейцарські вчені з Вищої політехнічної школи в Лозанні створили біонічний протез пальця, що передає назад у мозок інформацію про текстуру поверхні. Штучний палець складається з силіконового протезу, датчика, мікросхеми, яка перетворює сигнали датчиків в імпульси, зрозумілі нервам.

Вченими з Університету Джона Хопкінса в журналі Journal of Neural Engineering був опублікований звіт про створення принципово нового протезу руки, якою керує НКІ, при цьому пацієнт вже має можливість ворушити окремими пальцями.

Команда дослідників, очолювана Anna R. C. Donati рік працювала над тренуваннями пацієнтів, що отримали травму спинного мозку, яка призвела до паралічу ніг. Першу частину тренування вчилися ходити у віртуальній дійсності за допомогою інтерфейсу мозок-комп’ютер. 11 датчиків ЕЕГ вловлювали нервові імпульси та інтерпретували їх, дозволяючи аватару у віртуальній дійсності ходити. Після цього до тренувань додалася ходьба в екзоскелетах, що також керувалася мозком та допомагала зменшити навантаження. Внаслідок таких тренувань у всіх пацієнтів з’явилося відчуття ніг, а в деяких навіть з’явилися невеликі м’язові скорочення. Віртуальна дійсність в цьому проекті дозволила зекономити час роботи на дорогому обладнанні з екзоскелетами, дозволила навчитися керуванню через нейро-інтерфейс спочатку віртуальними ногами, а потім перенести цей досвід на ноги механічні.

Безперечно, існує ще безліч розробок, проте на сучасному етапі інтерфейс мозок-комп’ютер лише починає свій тріумфальний хід на п’єдестал унікальних та безперечно важливих технологічних досягнень.

І підсумовуючи вище сказане, хотілось би навести дані останньої доповіді компанії Transparency Market Research, що представляє аналіз ринку НКІ, який заснований на сегментах ринку, географічних регіонах та на поточних трендах ринку.

Дані доповіді свідчать про збільшення інтересу до даної технології в таких галузях: нейропротезування, нейрогеймінг, нейроаналітика та оборонна промисловість. Особливо це стосується військово-аерокосмічних досліджень. Системи НКІ найбільш затребувані в лікарнях та реабілітаційних центрах, лабораторіях судової експертизи, центрах психологічних досліджень, а також серед зацікавлених нейрогейміногом.

Унікальний світ Стівена Хокінга

Стівен Хокінг – найвідоміший з інвалідів планети. Більшу частину свого життя С. Хокінг страждає від бокового аміотрофічного склерозу – невиліковної хвороби, що залишила вченого майже повністю паралізованим. Рухливість зберігається тільки в мімічному м'язі щоки, за допомогою якого С. Хокінг управляє кріслом. Астрофізик, який ввів поняття «чорні діри» до масової культури, і автор «Короткої історії часу», розпроданої мільйонними тиражами, продовжує читати лекції і писати книги. Цим він завдячує своєму інвалідному візку, куди американська компанія Words Plus 1985 року вбудувала революційну систему зв'язку із зовнішнім світом.

На портретах астрофізика можна розгледіти сріблястий апарат розміром з скріпку, прикріплений до оправи окулярів. Це інфрачервоний датчик руху на зразок тих, які використовуються у фотоапаратах, крокомірах і ігрових приставках. Але тільки цей датчик з'єднаний з незрівнянно більш складною комп'ютерною системою. За поведінкою мімічних м'язів – єдиних, що не зруйнувала хвороба – вона визначає, куди саме спрямований погляд.

Якщо мета – певна область на екрані комп'ютера, Хокінг може «клікнути» по ній зусиллям волі. Таким чином він набирає статті, пише листи і навіть говорить вголос, посилаючи текст по букві в синтезатор мови. Своїм «розумним будинком» С. Хокінг теж керує за допомогою мімічних сигналів, які датчик зчитує з його обличчя і надсилає далі різноманітним приладам за допомогою бездротового зв'язку.

11 вересня 2014 року Стівен Хокінг взяв участь у презентації створеного спеціального для нього «розумного» інвалідного візка компанією Intel. Датчики в кріслі зчитують інформацію про частоту пульсу, температури тіла і артеріального тиску і виводять її на монітор з тач-скрін. Датчики також відстежують стан самого крісла, повідомляючи про необхідність ремонту та виниклі неполадки. Крім того, комп'ютер в кріслі може прокладати оптимальний маршрут, а також оперативно повідомляти власнику про те, чи пристосоване місце, куди він збирається піти, для людей з обмеженими можливостями.

За словами самого Стівена Хокінга, ця розробка є ідеальним прикладом того, як роботи над технологіями для людей з обмеженими фізичними можливостями стають полігоном для технологій майбутнього.

Вперше Стівен Хокінг зустрівся з Гордоном Муром (з тим самим, який є автором закону Мура), одним із засновників Intel, на конференції 1997 року. Г. Мур помітив, що комп'ютер, який Хокінг використовував для спілкування, був з процесором AMD, і запитав, чи не потрібен йому натомість «справжній комп'ютер» з мікропроцесором Intel. З того часу Intel надає С. Хокінгу персональний комп'ютер і технічну підтримку, замінюючи його комп'ютер кожні два роки.

Хокінг втратив здатність говорити 1985 року, коли підхопив запалення легень під час поїздки в ЦЕРН в Женеві. Деякий час С. Хокінг спілкувався з використанням орфографічних карт, терпляче вказуючи на букви і утворюючи слова, піднімаючи брови. Мартін Кінг, фізик, який працював з С. Хокінгом над новою системою зв'язку, зв'язався з каліфорнійською компанією Words Plus, яка розробляла програму Equalizer, що дозволяла користувачам вибирати слова і команди на комп'ютері, використовуючи ручний клікер. М. Кінг звернувся до генерального директора Words Plus Вальтера Волтоша і запитав, яке програмне забезпечення може допомогти професору фізики в Англії з бічним аміотрофічним склерозом. В. Волтош створив ранню версію Equalizer, щоб допомогти своїй хрещеній матері, яка також страждала від цієї хвороби і втратила здатність писати і говорити.

Перший Equalizer працював на комп'ютері Apple II, що був пов'язаний з синтезатором мови, створеним компанією Speech Plus. Потім цю систему адаптував Девід Мейсон, інженер і чоловік однієї з медсестер С. Хокінга, перетворивши її в портативну систему, яка може бути встановлена на одному з плечей інвалідного візка. За допомогою цієї нової системи С. Хокінг зміг спілкуватися зі швидкістю близько 15 слів за хвилину.

Проте нерв, який дозволяв йому рухати пальцями, продовжував деградувати. До 2008 року рука С. Хокінга стала занадто слабкою, щоб використовувати клікер. Його асистент тоді ж розробив пристрій, яким можна було управляти щокою. Приєднаний до окулярів інфрачервоний датчик міг фіксувати рухи м'яза щоки С. Хокінга. З тих пір С. Хокінг пристосувався відповідати на листи, серфити Інтернет, писати книги і спілкуватися, використовуючи всього один м’яз. Однак і цьому вмінню спілкуватися приходить кінець. До 2011 року він міг видати тільки одне-два слова за хвилину, тому відправив такий лист Г. Муру: «Мій пристрій мовного введення дуже і дуже повільний зараз. Чи може Intel якось допомогти?».

Г. Мур доручив Джастіну Раттнеру, на той час технічному директору Intel, розібратися з проблемою. Д. Раттнер зібрав команду експертів із взаємодії людини з комп'ютером в Intel Labs і привіз її 8 січня 2012 року до Кембриджа на конференцію, присвячену 70-річчю С. Хокінга. С. Хокінг був занадто хворий, щоб бути присутнім на власному дні народженні, тому зустрівся з експертами Intel тільки кілька тижнів по тому, в своєму офісі, в відділі прикладної математики і теоретичної фізики в Кембриджському університеті. До команди в числі інших увійшли Хорст Хауссекер, директор Experience Technology Lab, Лама Нахман, директор Anticipatory Computing Lab і керівник проекту, і Піт Денман, інтерактивний дизайнер.

«Стівен завжди надихав мене, – каже П. Денман, він теж використовує інвалідне крісло. – Після того як я зламав шию і виявився паралізованим, моя мати дала мені копію «Короткої історії часу», яка тоді тільки вийшла. Вона сказала мені, що люди в інвалідному візку все ще можуть робити неймовірні речі. Озираючись назад, я розумію, наскільки пророчими були ці слова».

Після того як команда Intel представилася, Х. Хауссекер взяв на себе ініціативу, пояснивши, чому вони були там і які були їхні плани. Х. Хауссекер говорив хвилин двадцять, поки С. Хокінг раптово не заговорив.

«Він привітав нас і сказав, що дуже щасливий бачити нас усіх, – каже П. Денман. – Нам було невтямки, що весь цей час він друкував. Йому треба було двадцять хвилин, щоб написати привітання в 30 слів. Ми просто остовпіли. Момент був дуже гострим. Ми усвідомили, що проблема була набагато серйознішою, ніж ми думали».

У той час С. Хокінг користувався комп'ютерним інтерфейсом у вигляді програми EZ Keys, оновленою версією попередніх програм, також розробленою Words Plus. Вона надавала йому клавіатуру на екрані і базовий алгоритм прогнозування слів. Курсор автоматично сканував клавіатуру по рядах або стовпцях, а С. Хокінг міг вибрати потрібний символ рухом щоки, що зупиняє курсор. EZ Keys також дозволяла С. Хокингу керувати мишею в Windows і працювати з іншими додатками на його комп'ютері. Він міг серфити Інтернет з Firefox і писати лекції з Notepad. У нього також була веб-камера, яку він використовував зі Skype.

Команда Intel вирішила оновити архаїчну систему С. Хокінга, що вимагало б створення нового апаратного забезпечення. «Джастін думав, що ми можемо використовувати технології типу розпізнавання особи, жестів, погляду і нейро-комп'ютерних інтерфейсів, – каже Л. Нахман. – Спочатку ми згодували йому безліч цих диких ідей і перепробували масу рідкісних технологій».

Найчастіше ці спроби були невдалими. Відстеження погляду не працювало з поглядом С. Хокінга через його опущені повіки. Ще до проекту Intel С. Хокінг експериментував з ЕЕГ-датчиками, які могли б зчитувати його мозкові хвилі і потенційно відправляти команди на комп'ютер. Незбагненним чином досить сильного мозкового сигналу так і не вдалося виявити.

«Ми запалювали літери на екрані і намагалися визначити обрану букву по відгуку мозку, – згадує Вуд. – Зі мною це працювало добре, але коли Стівен спробував, все було марно. Він не зміг відтворити досить сильний сигнал, відмітний від шуму».

Повернувшись до лабораторії Intel через місяці досліджень, П. Денман підготував 10-хвилинне відео для С. Хокінга, в якому демонструвалися нові нейро-комп'ютерні прототипи, які команда хотіла спробувати з С. Хокінгом, і попросив його відповісти.

«Ми прийшли до висновків, що зміни, які ми хочемо внести, не особливо змінять взаємодію С. Хокінга з його системою, але все ж змінять», – каже П. Денман. Зміни включали доповнення типу кнопки повернення, яку С. Хокінг міг використовувати не тільки для видалення символів, але і для зворотної навігації в інтерфейсі; предикативний алгоритм введення слів; навігація наступного слова, яка дозволяла йому ефективно вибирати слово за словом, замість того щоб вводити їх.

Основна зміна, на думку П. Денман, полягала в самому прототипі. С. Хокінг часто промахувався по клавішах, натискаючи букву поряд з тією, яку насправді хотів натиснути. Він міг промазати по букві, видалити її, знову промазати, знову видалити. Це жахливо пригнічувало і уповільнювало процес введення. Також ця проблема ускладнювалася перфекціонізмом С. Хокінга. Для нього було вкрай важливо висловлювати свої думки коректно, тому навіть пунктуація повинна була бути правильною. Він навчився бути досить терплячим, щоб залишатися перфекціоністом. Він не з тих, хто просто хотів відправляти повідомлення. Він хотів робити це досконало.

Щоб вирішити проблему пропущених букв, команда Intel додала прототип, який інтерпретував би наміри С. Хокінга, використовуючи алгоритм, аналогічний тому, що використовується в обробці текстів і мобільних телефонах. Коли iPhone вперше вийшов на ринок, люди почали скаржитися на предикативний текст, але недовіра швидко переросла в радість. Проблема в тому, що потрібно занадто багато часу, щоб звикнути до цього, і потрібно довірити системі робити свою роботу. Однак додавання цієї функції може поліпшити вашу швидкість і дозволити вам зосередитися на утриманні.

Інженери встановили новий інтерфейс на комп'ютер С. Хокінга. П. Денман думав, що вони на вірному шляху. До вересня з'явився перший зворотний зв'язок: С. Хокінг не адаптувався до нової системи. Вона була занадто складною. Кнопка повернення і та, яка відповідала за промахи по буквах, не завжди працювали коректно, і їх потрібно було змінити.

Минуло ще багато місяців, перш ніж команда Intel придумала версію, яка сподобалася С. Хокінгу. Наприклад, тепер С. Хокінг використовує адаптивний провісник слів лондонського стартапа SwiftKey, який дозволяє йому вибирати слово після друку літери, тоді як попередня система вимагала від С. Хокінга рухатися в самий низ інтерфейсу, щоб вибрати слово зі списку. Його система передбачення слів була дуже старою. Нова система виявилася швидкою і ефективною, але ще залишалося навчити С. Хокінга користуватися нею. Спочатку він скаржився, і тільки багато пізніше інженери зрозуміли, чому: він вже знав, які слова передбачала його стара система. Він звик користуватися прогнозами старої предикативної системи.

Intel працювала зі SwiftKey і включила багато документів С. Хокінга в систему, тому в деяких випадках йому навіть не потрібно було вводити символ, перш ніж система напише такі слова з контексту. Наприклад, фраза «the black hole» не вимагала ніякого друку. Після «the» автоматично з'являється «black». При виборі «black», автоматично з'являється «hole».

Нова версія інтерфейсу С. Хокінга (тепер відома як ACAT – від Assistive Contextually Aware Toolkit) включає контекстні меню, які забезпечують С. Хокінга різними ярликами, щоб поговорити, знайти щось або написати лист; і новим менеджером лекцій, який дає йому управління таймінгом під час бесід. Також є кнопка «mute», яка дозволяє С. Хокингу відключити його синтезатор.

Надзвичайно цікава історія «голосу» Стівена Хокінга, що зберігається у маленькій сірій коробочці – єдиний екземпляр синтезатора мови Хокінга. Це CallText 5010, модель, яку дали Хокингу в 1988 році, коли він відвідав компанію, що виробляла їх, Speech Plus. Карта всередині синтезатора містить процесор, який перетворює текст в мову; цей пристрій також використовувався для автоматизованих систем відповіді на телефонні дзвінки в 1980-х.

«Я намагаюся зробити програмну версію голосу Стівена, щоб ми більше не покладалися на ці старі апаратні карти», – говорить Вуд. Щоб зробити це, йому довелося простежити шлях команди Speech Plus. 1990 року Speech Plus продали Centigram Communications. Centigram придбала Lernout and Hauspie Speech Products, яку, в свою чергу, в 2001 році придбала Scan Soft. Scan  Soft придбала Nuance Communications, багатонаціональна компанія з 35 офісами і 1200 співробітниками. Вуд зв'язався з нею. «У них було програмне забезпечення з голосом Стівена з 1986 року. Схоже, ми знайшли його на резервній касеті Nuance».

Хокінг дуже прив'язаний до свого голосу. 1988 року, коли Speech Plus дала йому новий синтезатор, голос був настільки іншим, що він попросив замінити його оригінальним. Його голос був створений на початку 80-х років інженером Массачусетського технологічного інституту Деннісом Клатте, піонером алгоритмів, що перетворюють текст в мову. Він винайшов DECtalk, один з перших пристроїв для цих завдань. Спочатку було записано три голоси: Клатте, його дружини і його доньки. Жіночий голос називався «Прекрасна Бетті» (Beautiful Betty), дитячий «Крихітка Кіт» (Kit the Kid), а чоловічий «Досконалий Пол» (Perfect Paul). Саме цим голосом говорить Стівен Хокінг.

Саме таким чином Стівен Хокінг – геніальний астрофізик, популяризатор науки – читає лекції, пише книги і навіть … знімається у рекламі. І все це він робить, будучи замкненим в повністю нерухомому тілі. На прикладі його життя можна осягнути велич наукових досягнень в галузі комп’ютерних технологій, адже саме вони дали змогу світу почути геній цієї героїчної людини.

Замість висновків

Цілеспрямовані зусилля всіх зацікавлених сторін та вирішення актуальних завдань нейро-комп’ютерних інтелектуальних систем зможуть забезпечити принципово нову комунікацію людини зі світом не тільки для людей з порушеннями, які послаблюють або унеможливлюють нормальну комунікацію і контроль, але також для практично здорових людей, і стати новим каналом зв’язку з цим світом, можливості якого сьогодні складно передбачити.

Просування в цьому напрямку буде залежати від цілого ряду чинників:

• розуміння того, що НКІ та його розвиток – міждисциплінарна проблема, що вимагає інтеграції зусиль нейробіологів, психологів, інженерів, математиків, інформатиків та медиків;
• вдалого пошуку способів ідентифікації сигналів (викликаних потенціалів, спонтанних ритмів, нейронної активації), які найбільш інформативні для управління і якими користувач керує найефективніше;
• розвитку навчальних методів для того, щоб допомогти користувачам поліпшити і підтримувати цей контроль;
• розробки ефективних алгоритмів для перекладу цих сигналів в команди пристрою;
• розробки точних процедур, що дозволяють оцінити ефективність застосування НКІ;
• визначення областей застосування нейро-комп’ютерних інтелектуальних систем.

Серед зазначених проблем, мабуть немає практично нерозв’язних навіть на сучасному технологічному рівні, що дозволяє сподіватися на появу пристроїв, що випускаються серійно та призначених для широкого кола користувачів, вже в найближчі роки.

Використана література

1. Кирой В.Н.Интерфейс мозг компьютер (история, современное состояние, перспективы). – Ростов-на-Дону. Издательство Южного федерального университета, 2011. – 240с.
2. http://2045.ru/articles/28802.html
3. http://neuromatix.pro/2015/04/30/potreb-neuro/
4. https://ru.wikipedia.org/wiki
5. http://www.nkj.ru/archive/articles/20496/
6. http://www.wikiwand.com/ru
7. http://apteka.ru/info/articles/avtorskie-kolonki/neyrokompyuternyy-interfeys/
8. http://neuromatix.ru/news-ru/dostupen-prognoz-segmenta-rynka-bci-brain-computer-interface-interfeys-mozg-kompyuter-do-2022-goda..html
9. http://ve-group.ru/interfeys-mozg-kompyuter-pomog-patsientam-s-paralichom-konechnostey/
10. http://www.geo.ru/nauka/predmet/kreslo-stivena-khokinga
11. http://www.lookatme.ru/mag/live/experience-news/207377-hawking-intel
12. http://hi-news.ru/science/istoriya-legendy-golos-xokinga.html

Статтю підготувала магістрантка спеціальності Математика денної форми навчання Наталя Бардиш у межах звіту про вивчення курсу «Історія інформаційних технологій» (викладач – професор Р.Я. Ріжняк).