Алгоритм глибинного навчання зміг із точністю у понад 90 відсотків розпізнати надрукований текст за звуками натискання клавіатури. При цьому він впорався зі звуками, записаними як на мікрофон звичайного телефона, так і через платформи для відеоконференцій. Поки алгоритм випробовували лише з однією клавіатурою, але розробники вважають, що зможуть натренувати його і для інших моделей техніки. Про розробку розповідає видання New Scientist, а присвячена їй стаття доступна на arXiv.
GIPHY
Як алгоритм розпізнав текст?
Британські розробники з Даремського університету спільно з колегами перевірили, чи можливо розпізнати текст, який людина набирає на клавіатурі, використовуючи алгоритми глибинного навчання. Вони записали натискання всіх клавіш ноутбука, у тому числі з різним тиском пальця, за допомогою смартфона, що був на відстані 17 сантиметрів від клавіатури, а також через платформу для відеозв'язку Zoom.
Отримані звуки науковці перетворили на мел-спектрограми та обробили за допомогою згорткової нейромережі для розпізнавання зображень CoAtNet. Після навчання з'ясувалося, що алгоритм може розпізнати за звуком клавіатури набраний текст із точністю у 95 відсотків, якщо звук записали на мікрофон телефона, та з точністю у 93 відсотки за записом через Zoom. Нижча ефективність розпізнавання через відеозв'язок, вважають розробники, пов'язана з тим, що платформа використовує шумозаглушення, а тому запис друку був менш чітким. Показавши, як легко можна отримати конфіденційну інформацію, не вимагаючи при цьому доступу до особистих речей, вчені сподіваються, що їхнє дослідження підвищить обізнаність про можливі ризики та посприяє створенню інструментів захисту від них.
Аудіозапис друкування на клавіатурі ноутбука, записаний на телефон і через Zoom, а також, нижче, отримані мел-спектрограми, необхідні для розпізнавання нейромережею. Joshua Harrison et al. / arXiv, 2023
- Раніше ми розповідали, як фізикам вдалося підслухати розмову з відстані у понад кілометр за допомогою оптоволокна. Розібрати слова допоміг лазерний інтерферометр та звичайна програма розпізнавання мови.
👋 Підпишіться на наш телеграм-канал чи інстаграм та не пропускайте найцікавіше зі світу науки!