Microsoft випускає мобільний додаток Seeing AI для допомоги людям із слабким зором, презентувавши його під час заходу Ability Summit, присвяченого цифровим рішенням для людей з інвалідністю. Цей інноваційний додаток використовує технології Azure AI, щоб допомогти людям із слабким зором легше орієнтуватися в житті.
Технології штучного інтелекту часто потребують потужних комп’ютерів для аналізу та реагування на запити користувачів, проте лише деякі мобільні пристрої можуть похизуватися надсучасними високопродуктивними AI-чіпами, такими як Snapdragon 8 Gen 3. Тому більшість запитів передаються до онлайн-сервісів, як-от OpenAI (ChatGPT) або Microsoft (Azure AI, CoPilot), де обробку запитів користувачів беруть на себе потужніші хмарні комп’ютери.
Microsoft Seeing AI використовує Azure GPT-4 Turbo з Vision AI для забезпечення швидких та точних відповідей на будь-якому смартфоні з такими функціями:
- Переведення тексту в мову – додаток зачитує текст, який бачить. Короткий текст можна прочитати в режимі реального часу через камеру, а довгий текст потрібно сфотографувати, перетворити на текст і, нарешті, озвучити.
- Зчитувач штрих-кодів – додаток знаходить інформацію про продукти на основі UPC-коду.
- Сцена – додаток описує сцену, яку бачить, зосереджуючись на найближчому об’єкті.
- Людина – додаток описує людину, яку бачить, визначаючи вираз обличчя.
- Валюта – додаток визначає банкноти 17 країн, які потрапляють в поле зору.
- Колір – додаток визначає колір у центрі зображення, знятого в режимі реального часу.
- Рукописний текст – додаток перетворює рукописні нотатки в друкований текст.
- Яскравість – додаток відтворює звуковий сигнал, висота якого змінюється залежно від яскравості.
Результати роботи додатка, як правило, точні, але жоден штучний інтелект не може зрівнятися з людиною в ідентифікації та описі того, що бачить. Наприклад, Seeing AI правильно ідентифікує безпечну бритву в коробці, але не може ідентифікувати сортувальник монет, незважаючи на позначення центів на корпусі. Те саме стосується тексту – додаток зазвичай точно перетворює текст на чеках та упаковках, але помиляється з математичними та хімічними текстами.
Сьогодні додаток Microsoft Seeing AI можна завантажити з магазинів додатків Android та Apple. Користувачам, які мають проблеми з тим, щоб побачити дрібні предмети, можливо, варто спробувати лупу з підсвічуванням.
