Співробітники Google Brain і дослідницької компанії OpenAI створили метод обману розпізнають зображення нейромереж, який працює навіть в офлайні – одержувані їм зображення обманюють комп’ютер не тільки коли їх безпосередньо «згодовують» нейромережі, а й тоді, коли їх роздруковують, фотографують і тільки потім намагаються розпізнати. Опис нового методу і дослідження його застосовності опубліковано в архіві препринтів arXive.org
Йдеться про зображеннях-обманках (adversarial examples), які можна зробити на основі будь-якої вихідної картинки. Для людини такі зображення майже не відрізняються від оригіналу, однак у них внесені деякі зміни, які суттєво ускладнюють їх розпізнавання нейромережею. Потенційно, такі зображення можна використовувати для обходу автоматичних фільтрів спаму, систем розпізнавання осіб або для підробки біометрії.
Методи створення обманок для нейромереж різного типу (розпізнають не тільки зображення, а й, наприклад, звуки) досліджуються як мінімум з 2004 року. Традиційно для цього використовуються конкуруючі нейромережі, одна з яких стеми створити обманку, а інша – правильно її ідентифікувати (звідси термінологія adversarial examples, т. Е. Змагаються прикладів). Однак важливі практичні результати в цій області отримані тільки в останні кілька років. Наприклад, в одному з досліджень вченим вдалося модифікувати музичні аудізапісей таким чином, що нейросеть смартфона могла їх ідентифікувати і виконувати голосові команди, в той час як людина взагалі не помічав стороннього втручання в музику.
В області розпізнавання зображень подібні експерименти також вже проводилися, проте до цих пір вони переважно залишалися in silico, тобто зображення-обманки безпосередньо передавали нейромережі для розпізнавання. Однак технологія створення обманок на увазі введення дуже тонких, непомітних змін, які можуть губитися при масштабуванні, затенении, знебарвленні і інших викривлення, які неминуче з’являються при фотографуванні через камеру. Тому невідомо, наскільки створення обманок може бути небезпечно для нейромереж в реальному житті. У новій роботі вчені досліджували устойчивоть існуючих методів створення обманок до подібних спотворень і розробили новий алгоритм, який робить обманки набагато ефективніше відомих аналогів.
За основу в роботі були взяті зображення зі стандартної бази ImageNet, які вчені модифікували одним з трьох алгоритмів і потім віддавали на розпізнавання неросеті Google’s Inception v3. Частина зображень нейросеть отримувала безпосередньо, частина автори статті розпечатували на папері і фотографували на камеру сучасного смартфона. У роботі вчені перевіряли, як впливає на рівень помилок нейромережі не тільки тип алгоритму, але і ступінь контрастності, яскравості і «замиленості» знімків.
Що стосується ефективності різних методів створення обманок, то вона виявилася вельми неоднаковою для простих-і-швидких і складних-і-повільних алгоритмів. Найбільш ефективні обманки виробляв метод, який не просто збільшував ентропію знімка, але шляхом внесення дрібних змін направляв нейросеть на найбільш далекий від оригіналу предмет. «Традиційні методи [створення обманок] дають нецікаві помилки на кшталт визначення їздових способах однієї породи як їздових собак іншої породи. [Наш новий метод найменш схожого класу] дає набагато цікавіші помилки на кшталт розпізнавання собаки як аероплана »- пишуть автори в статті.