[Про автора: Василь Милько, R&D директор SoftServe, створює нові технології для розумніших програм і машин. Працює з AR, VR, AI, NL, IoT, wearable biometry, security. За 15+ років в SoftServe створив Design Office, Технологічний Консалтинг та Консалтинг з Безпеки Інформації. Вплинув на дизайн одного з найпопулярніших у світі смартфонів, ко-дизайнив Embedded Java і .NET WPF]
Сьогодні ми працюємо над застосуванням нейронних мереж для вирішення багатьох не розв’язаних раніше задач. Розпізнавання зображення та голосу — вже звичні для нас речі. Машини можуть розпізнавати зображення, мову чи текст швидше та краще за людей. Ми спостерігаємо значний прорив у технології комп’ютерного зору в реальному часі, яка здатна ідентифікувати об’єкти, а також їхні частини. Ці технології дають поштовх розвитку самокерованих авто та багатьох інших рішень, які не вимагатимуть додаткової інфраструктури. Машини бачать більше, ніж люди, оскільки охоплюють одразу 360 градусів. І на відміну від людей, вони бачать більше деталей одночасно, в той час як людина не помічає більшості з них.
Ми створили новий тип інтелекту, подібний і водночас значно відмінний від людського. Назвемо цей штучний інтелект Іншим. Інший інтелект здатен розпізнати та ідентифікувати більше мільярда людських облич. Це щось, чого людина точно не може. Скільки облич людський мозок може розпізнати та запам’ятати? Кілька тисяч? Менше ніж десять тисяч точно (такі собі розміри невеличкого містечка). Тож 1 000 000 000 супроти 10 000 — це не просто вражаюче. Це Інший тип інтелекту.
Глибокі нейронні мережі (DNN) можуть застосовуватись практично до будь-якої, навіть раніше вирішеної в інший спосіб проблеми. У багатьох випадках DNN перевершують усі попередні інструменти. Глибокі нейронні мережі перетворились на молоток, проблеми стали цвяхами. На мій погляд, ми стаємо надто впевнені у новому інструменті, що сповільнює нас на шляху відтворення штучного інтелекту, свідомості...
Чоловік без мозку
Глибокі нейронні мережі виникли під впливом нейробіології, і ми були переконані, що завдяки цифровим технологіям лише відтворюємо мозок, про який нам вже багато відомо. Але ось вам приклад протилежного — чоловік з дуже маленьким мозком — удесятеро меншим за норму, який вів повністю нормальне життя. Родичі та друзі не помічали нічого дивного. Проблему виявили випадково, і вона шокувала лікарів та дослідників у сфері медицини. Ці гіпотезипояснюють те, чого ми не розуміємо.
Деякі інші спостереження також ставлять під сумнів сучасну теорію розуміння мозку. Птахи, принаймні деякі, досить розумні. Папуги з їхнім малесеньким мозком можуть кинути виклик дельфінам, у яких мозок за розмірами такий самий, як і у людини, а також деяким шимпанзе. У птахів мозок побудований інакше, ніж у ссавців. В той же час, мозок слонів — величезний і має втричі більше нейронів за людський. Однак більшість з них відносяться не до тих відділів, що у людей. То хіба розмір має значення? Структура мозку важливіша за його розмір.
Тож чи правильну структуру мозку ми моделюємо з допомогою глибоких нейронних мереж?
Структура і функція
Numentaпрацює над репродукцією нової кори головного мозку (неокортексу) вже протягом десятиліття. Їхня технологія штучного інтелекту побудована на власній комп’ютеризованій теорії неокортексу, пов’язаній з ієрархічною тимчасовою пам’яттю, розрідженою розподіленою пам’яттю (SDM), розрідженими розподіленими представленням інформації (SDR), самоорганізаційною картою (SOM). Топологія комп’ютерних мереж відрізняється від основних глибинних перцептронів.
Свіжа інформація з наукової праці, опублікованої у журналі Frontiers, пояснює зв’язок між структурою і функцією: "...Надзвичайно заплутана і раніше не виявлена топологія синаптичного зв’язку. Синаптична мережа містить велику кількість скупчень (cliques) та порожнин (cavities) нейронів, зв’язаних між собою у групи, які відповідають за кореляційну активність. Реагуючи на стимули, ці скупчення та порожнини нейронів розвивають структуру дуже високої складності. У деяких випадках кількість напрямлених комбінацій окремих скупчень нейронів вимірюється сотнями і відповідає за різні функції організму. На думку дослідників, мозок обробляє сигнали, формуючи нові зв’язки зі зростаючою складністю функціональних скупчень та порожнин нейронів.
Блискавичне навчання
Зазвичай людині достатньо один раз побачити символ незнайомого алфавіту, щоб надалі впізнавати його. Навіть коли він змішаний з іншими відомими і невідомими знаками. Якщо людина один раз побачить такі нові предмети, як сеґвей чи говерборд, вона впізнаватиме їх завжди. Це називається блискавичним навчанням (One-Shot Learning). Ви один раз стикаєтеся з чимось, розумієте, що це нове для вас, запам’ятовуєте і в майбутньому завжди розпізнаєте. Достатньо один раз побачити, щоб запам’ятати. Лише один раз.
Пропоную ознайомитися з науковою працею про концептуальне навчаннячерез сеґвей чи будь-який невідомий символ з Omniglot. Нейронним мережам потрібні мільйони спроб, в той час як навчитися можна вже після першої. То ми моделюємо наш мозок по-іншому? Чи створюємо Інший інтелект на шляху створення штучного мозку?
Бог не будує прямими лініями
Наводимо приклади двох моделей одного карту для перегонів, створених по-різному. Зліва зображено варіант, розроблений людиною, справа — змодельований комп’ютером на основі заданих параметрів (отриманих після вимірювання справжнього карту). Це зміщення парадигми від розробки до вирощування. Багато речей у природі ростуть і мають життєвий цикл. Це працює також і для штучно створених елементів. Вирощені моделі бувають більш ефективними (легшими, міцнішими, навіть більш елегантними на вигляд), ніж сконструйовані.
Подивіться на ці глибокі нейронні мережі GoogLeNetі MS ResNet. Зліва — моделі, створені [сконструйовані] людиною. Уявіть, як би вони виглядали, якби їх розробив [виростив] комп’ютер ...
Як це зробити? Можемо застосувати еволюційне програмування з відомими примітивними клітинами і шарами. Створивши уявну істоту, яка рухається вперед, назад і в боки, можна отримати асиметричні блоки, що відхиляються вліво чи вправо. Навіть упродовж тривалого еволюційного процесу складно досягти бажаної симетрії, яка збереглася б у реальності і сприймалася б нормально. Наприклад, істота має дуже схожі або однакові вуха, руки, ступні. Що робити, аби скорегувати еволюційний процес? Додати доменну експертизу. Якщо ми знаємо, що ліва і права сторони повинні бути симетричними, це можна налаштувати упродовж еволюції.
Висновок з цього розділу — ми вже використовуємо одночасно три підходи до програмування штучного інтелекту: доменні правила, еволюцію та глибинне навчання. Всі разом. Однак жоден з них не може забезпечити досягнення якнайкращого кінцевого результату. Насправді ми навіть не знаємо, який найкращий результат можливий. Ми лише створюємо технологію для вирішення конкретних задач.
Верховний алгоритм
Розглянутий вище підхід, що полягає у поєднанні доменних правил, еволюції і глибинного вивчення через метод зворотнього поширення помилки, може бути не в змозі вирішити проблему блискавичного навчання. То як її вирішити? Можливо, застосувавши навчання за баєсівським підходом. Ось ще одна наукова праця про підходи Баєса, що дозволяє навчатися чомусь новому за кілька спроб. Разом з Баєсом ми вже розглянули чотири підходи до штучного інтелекту. Але існує ще й п’ятий. Усі вони з описом їхнього походження та основними алгоритмами — нижче.
Суть верховного алгоритму полягає у формуванні навику вчитися. Без виведення штучного інтелекту на той рівень, де він може вміти вчитися, ми розробляємо одноразові рішення, до яких можна віднести програмування на Perl та таблички в Excel. Так, ми моделюємо і випробовуємо мережі, але потім просто викидаємо їх. Вони не надаються до подальшого використання, навіть якщо потенційно придатні для цього (як заміна фінального шару для спеціальної класифікації). Подивіться, що робить людина — вона перебуває у процесі безперервного навчання з моменту свого народження. Люди можуть використовуватись повторно, їхні рішення (програми, нейросітки і т. д.) — ні.
Верховний алгоритм призначений для розробників штучного інтелекту, які не бояться вийти на новий рівень абстракції. Потрібно застосовувати різні парадигми штучного інтелекту у різних комбінаціях. Це розробка процесу розробки — ви розробляєте процес, яким будете будувати штучний інтелект. Найімовірніше якісний штучний інтелект має бути створений з використанням комбінацій різних підходів та інструментів. Скоріше за все штучний інтелект має почати розуміти мову, навчитись читати, а потім — читати, щоб навчитись. Послухайте розповідь Педро Домінгоса. Зрозумійте квінтесенцію штучного інтелекту.
До речі, темі штучного інтелекту буде присвячена частина виступів конференції IT Weekend Ukraine 2017, яка відбудеться наступного місяця в Києві.