Умные линзы: Как работают первые в мире «умные» контактные линзы Mojo Vision
Как работают первые в мире «умные» контактные линзы Mojo Vision
«Тестовый стенд» для погружения в дополненную реальность с помощью линзы Mojo Vision (Фото: Adam Savage’s Tested)
Калифорнийская компания Mojo Vision успешно провела первое испытание контактных линз с функцией дополненной реальности
Ваш браузер не поддерживает аудиоплеер.
Этот материал ребята из команды Трендов обсудили в выпуске подкаста «Летучка». Послушать можно на любой удобной платформе: в плеере выше, в Apple Podcasts, CastBox, «Яндекс.Музыке», Google Podcasts и везде, где есть подкасты.
Что такое «умные» линзы
Генеральный директор компании Mojo Vision Дрю Перкинс стал первым, кто испробовал инновационную разработку на себе и поделился опытом в своем блоге. «Всего несколько месяцев назад мы сообщали, что Mojo Vision работает над умными контактными линзами, способными проецировать изображения.
Устройство линзы Mojo (Фото: Mojo Vision)
В дополнение к дисплею в линзу встроены гироскоп, акселерометр, а также магнитометр, которые обеспечивают неподвижность изображений в дополненной реальности, несмотря на микродвижения глаз. В то же время эта особенность человеческого зрения помогает обеспечить незаметный для других доступ к информации и взаимодействие с пользовательским интерфейсом. В миниатюрной конструкции нашлось место и для аккумулятора, который поддерживают работу устройства в течение дня и заряжается без проводов.
Эволюция прототипов Mojo Lens (Фото: Adam Savage’s Tested)
Как это работает
Компания Mojo Vision была основана в 2015 году с целью создать «умную» контактную линзу.
За это время стартап собрал восемь раундов инвестиций на сумму $204 млн, а инженеры компании решили массу проблем, связанных с производством устройства, которого раньше в принципе не существовало. Им пришлось изобретать многие необходимые компоненты и системы с нуля.
- Дисплей MicroLED с разрешением 14 000 пикселей на квадратный дюйм. При площади менее 0,5 мм² и шаге пикселя в 0,0018 мм — это самый маленький и плотный дисплей для вывода динамического контента в мире.
- Микросхему, которая включает в себя радиопередатчик, работающий на частоте 5 ГГц, и процессор ARM Core M0. Они передают и обрабатывают информацию с датчиков и транслируют AR-контент на LED-дисплей.
- Запатентованную систему питания, которая включает в себя микробатареи медицинского назначения и чип управления.
- Управление с помощью понятного интерфейса, основанного на отслеживании взгляда, который позволяет пользователю получать доступ к необходимой информации и выбирать элементы без управления руками.
Пример использования линзы Mojo Lens с выведением информации с навигатора (Фото: Mojo Vision)
Все вместе это работает так: контактная линза по беспроводному протоколу соединяется с внешним блоком, который можно носить, как ожерелье — в нем и происходят все «тяжелые» вычисления. Bluetooth-соединение было бы слишком медленным для этих целей, поэтому используется радиоканал 5 ГГц и передатчик собственной разработки. На основе данных со встроенных датчиков на картинку из реального мира могут накладываться изображения дополненной реальности: указатели навигации, данные о собеседниках, подсказки для выступления на сцене и т. д.
В дальнейшем разработчикам предстоит дополнить линзу фотосенсором (по сути камерой) для более тесного и корректного взаимодействия AR с реальным миром. В планах Mojo Vision доработать ПО и создавать объемную картинку на основе изображений с двух контактных линз.
Дрю Перкинс:
«После завершения доклинических испытаний и снижения потенциальных рисков безопасности, я надел Mojo и обнаружил, что могу легко ориентироваться в устройстве, просматривать изображения и использовать экранный телесуфлер. Я воочию увидел будущее незаметных вычислений».
Перспективы проекта
Mojo Lens еще предстоит пройти несколько клинических исследований для проверки их возможностей и сборе отзывов о программном обеспечении и приложениях. Компания надеется, что линза Mojo изменит жизнь не только обычных пользователей, но и людей с нарушениями зрения, улучшив их способность выполнять повседневные задачи.
Умные контактные линзы Mojo Lens позволят управлять приложениями с помощью взгляда
Будущее с меньшим количеством экранов
Mojo Vision, основателями которой являются бывшие сотрудники таких компаний, как Apple, Google, Amazon и Microsoft, хочет уменьшить нашу зависимость от экранов.
Например, она планирует предложить клиентам не доставать телефон, чтобы узнать причину его вибрации, а заглянуть в угол глаза и получить эту информацию за считанные секунды.
«Мы хотим создать технологию, которая позволит вам быть самими собой, позволит выглядеть как обычно, не изменит внешность и не заставит странно вести себя на улице. Она очень ненавязчива и, по правде говоря, большую часть времени будет бездействовать», — рассказал Майк Вимер, сооснователь и CTO Mojo Vision.
Однако создание умных контактных линз — непростая задача. Даже Verily, дочерней компании Alphabet, пришлось переориентировать свою программу Smart Lens после нескольких ошибок. Здесь нужны подходящие по размеру датчики для контроля за движениями глаз и стабилизации изображения, дисплей и удобный источник питания.
В Mojo Vision показали прототипы контактных линз со встроенным дисплеем — по размеру он не больше точки, поставленной чернильной ручкой.
По словам инженеров, это «самый маленький и плотный дисплей из когда-либо созданных», но у них еще нет версии со всеми необходимыми датчиками. Я посмотрел сквозь прототип и, как и ожидалось, увидел текст, парящий над реальным миром. Это не отличалось от моего опыта использования очков дополненной реальности наподобие Google Glass или Focals, а также умных очков от North. Но в отличие от Focals, которые выглядят как обычные очки и проецируют интерфейс на стекла, линзы от Mojo Vision обладают встроенным дисплеем.
Фото: Джулиан Чоккату
Приложения для контактных линз
Тем не менее, потенциальные возможности Mojo Lens впечатляют. Чтобы получить представление о том, каково будет их носить, я надел гарнитуру виртуальной реальности HTC Vive Pro, в которую встроено отслеживание движений глаз.
Если смотреть прямо перед собой, то вы не увидите ничего странного. Но попробуйте заглянуть в любой угол, и вы заметите всплывающие значки: календарь, погода, уведомления, воспроизведение музыки и многое другое. Посмотрите на стрелку рядом с одним из значков, чтобы развернуть его и увидеть более подробную информацию — например, трехдневный прогноз погоды или все события в календаре на день. У меня ушло около минуты на то, чтобы понять, как ориентироваться в интерфейсе.
Одним из моих любимых демо-приложений стало Speech. Используя только движения глаз, я открыл заранее написанную речь, пролистал ее и прочитал вслух. Это приложение само по себе открывает множество возможностей. Представьте себе, что вы сидите на интервью и хотите освежить в памяти свой следующий вопрос: для этого не понадобится опускать взгляд в блокнот, достаточно будет посмотреть в угол глаза и открыть заметки. Или, если вы снимаете видео, то вам могут не понадобиться несколько дублей, потому что сценарий будет находиться прямо у вас перед глазами.
Разумеется, окружающие могут понять, что вы используете умные контактные линзы и заглядываете в угол глаза, чтобы получить какую-то информацию. Но все же это гораздо незаметнее, чем вынимание телефона или проверка часов.
Умная линза расположится прямо на роговице, и Эшли Туан, вице-президент по медицинским устройствам в Mojo Vision, говорит, что этот опыт будет похож на ношение обычных контактных линз. По словам Туан, Mojo Lens соответствуют всем стандартам безопасности.
«Это новый форм-фактор, но вы как владелец продукта просто видите контент точно так же, как видели бы его, если бы взяли в руки мобильный телефон или надели очки, которые заставили бы этот контент появиться. Это просто свет на вашей сетчатке, который и так всегда на нее попадает. Разумеется, мы уделили много внимания безопасности продукта, и он не несет в себе никаких рисков», — заверил Вимер.
Mojo Lens также улучшают зрение
Mojo Vision позиционирует свои умные линзы как продукт для всех потребителей и предприятий, но прежде всего они ориентированы на людей со слабым зрением или его нарушениями.
Чтобы показать, как Mojo Vision может помочь слабовидящим людям, разработчики отправили меня в темный гостиничный номер, заполненный знаками «Стоп» и разными другими предметами. Мне вручили прототип Mojo Lens, который нужно было держать у глаз. Несмотря на то, что я стоял в кромешной темноте, я мог разглядеть людей в комнате и даже мог легко прочитать знак «Стоп». Это было похоже на использование ночного видения. Датчик изображения показал мне объекты реального мира, а линзы усилили контраст, выделили границы предметов, увеличили их и выполнили несколько других действий, которые помогли мне видеть в темноте.
Mojo Vision сотрудничает с Центром Vista для слепых и слабовидящих в Пало-Альто, штат Калифорния. Центр помогает компании устанавливать связь с некоммерческими клиентами и получать информацию для разработки. Mojo Vision также будет работать с экспертами FDA для соблюдения правил безопасности.
Источник.
Фото на обложке: Mojo Vision
Умные контактные линзы Mojo Vision продвинулись дальше, чем вы думаете
До недавнего времени у меня не было возможности лично увидеть новейшие умные контактные линзы Mojo Vision, и, признаюсь, я ожидал, что компании еще далеко до того, как у компании появятся работающие контактные линзы с чем-то большим, чем просто индикатором уведомлений или несколькими статические пиксели. Изучив последний прототип компании, я был впечатлен, увидев гораздо более функциональный прототип, чем я ожидал.
Когда в прошлом месяце я вошел в демонстрационный комплекс Mojo Vision на AWE 2022, мне вручили жесткую контактную линзу, которая, как я полагал, была макетом технологии, которую компания надеялась в конечном итоге уменьшить и поместить в линзу. Но нет… компания заявила, что это функциональный прототип, а все внутри объектива настоящее, работающее оборудование.
Изображение любезно предоставлено Mojo VisionКомпания сообщила мне, что этот последний прототип включает в себя «самый маленький в мире» дисплей MicroLED (минимальные 0,48 мм, с расстоянием между пикселями всего 1,8 микрона), процессор ARM, радио 5 ГГц, IMU (с акселерометром, гироскопом и магнитометр), «микробатареи медицинского назначения» и схему управления питанием с компонентами беспроводной подзарядки.
И хотя умная контактная линза Mojo Vision по-прежнему намного толще обычной контактной линзы, на прошлой неделе компания продемонстрировала, что этот прототип может работать в реальном человеческом глазу, используя генерального директора Mojo Vision Дрю Перкинса в качестве подопытного кролика.
И хотя это выглядит, ну… довольно жутковато, когда на самом деле носится в глаза, компания говорит мне, что, помимо того, что они сделают его тоньше, они покроют электронику косметическими радужками, чтобы он выглядел более естественным. в будущем.
В AWE я не смог вставить контактную линзу в собственный глаз (будь проклят Ковид). Вместо этого компания прикрепила линзу к привязанной палке, которую я поднес к глазу, чтобы посмотреть сквозь нее.
Photo by Road to VRКогда я это сделал, я был удивлен, увидев больше, чем просто горстку пикселей, но полноценный графический пользовательский интерфейс с читаемым текстом и элементами интерфейса. На данный момент все монохромно-зеленое (используя способность человеческого глаза видеть зеленый лучше, чем любой другой цвет), но демонстрация ясно показывает, что амбиции Mojo Vision — это больше, чем просто несбыточная мечта.
Несмотря на то, что физический дисплей в самой линзе непрозрачен и находится прямо в центре вашего глаза, на самом деле вы не можете его увидеть, потому что он слишком мал и расположен слишком близко.
Но вы можете видеть изображение, которое он проецирует.
По сравнению с любым HMD, существующим сегодня, умная контактная линза Mojo Vision особенно интересна, потому что она перемещается вместе с вашим глазом . Это означает, что сам дисплей, несмотря на очень маленькое поле зрения (15°), движется вместе с вашим зрением, когда вы смотрите вокруг. И он всегда резкий, куда бы вы ни посмотрели, потому что он всегда находится над вашей центральной ямкой (центральная часть сетчатки, которая видит больше всего деталей). По сути, это похоже на «встроенный» фовеальный рендеринг. Ограниченное поле зрения остается узким местом во многих случаях использования, но фактическое перемещение дисплея вместе с вашим глазом хотя бы частично смягчает ограничение.
А что насчет ввода? Mojo Vision также постоянно работает над выяснением того, как пользователи будут взаимодействовать с устройством. Поскольку я не мог вставить линзу в свой глаз, компания вместо этого надела мне гарнитуру виртуальной реальности с отслеживанием взгляда, чтобы имитировать то, каково было бы использовать саму умную контактную линзу.
Внутри гарнитуры я увидел примерно тот же интерфейс, что и через демо-контактную линзу, но теперь я мог взаимодействовать с устройством глазами.
Текущая реализация не ограничивает весь интерфейс небольшим полем зрения. Вместо этого ваш взгляд действует как своего рода «прожектор», который показывает более крупный интерфейс, когда вы двигаете глазами. Вы можете взаимодействовать с частями интерфейса, наводя взгляд на кнопку, чтобы делать такие вещи, как отображение текущей погоды или последних текстовых сообщений.
Это интересный подход к интерфейсу HMD без помощи рук, хотя по моему опыту глаза сами по себе не являются хорошим сознательным устройством ввода, поскольку большинство движений наших глаз контролируются подсознательно. При достаточной практике возможно, что ручное управление взглядом для ввода станет таким же простым и плавным, как использование пальца для управления сенсорным экраном; в конечном счете, другая форма ввода может быть лучше, но это еще предстоит выяснить.
Этот интерфейс и подход к вводу, конечно, полностью зависят от высокого качества отслеживания взгляда. Поскольку мне не удалось надеть линзу для себя, у меня нет никаких указаний на то, что система отслеживания взгляда Mojo Vision справляется со своей задачей, но компания утверждает, что ее система отслеживания взгляда «на порядок точнее, чем сегодняшние ведущие [ XR] оптические системы слежения за глазами».
Теоретически это должно работать так, как они заявляют — в конце концов, что может быть лучше для измерения движения ваших глаз, чем то, что к ним физически прикреплено? На практике IMU устройства, по-видимому, так же подвержен дрейфу, как и любой другой, что может быть проблематично. Существует также вопрос экстраполяции и отделения движения головы пользователя от данных датчика, поступающих с устройства, закрепленного на глазу.
Изображение предоставлено Mojo Vision.0019 точно ), как они утверждают, это будет крупная победа, потому что это позволит устройству функционировать как настоящая контактная линза AR , способная создавать иммерсивные впечатления, а не просто контактная линза smart для основного информационного дисплея.
Mojo Vision утверждает, что ожидает, что их контактные линзы в конечном итоге смогут выполнять иммерсивную дополненную реальность, включая стереоскопический рендеринг с одним контактом в каждом глазу. В любом случае, AR не будет должным образом работать на устройстве, пока не будет достигнуто большее поле зрения, но это захватывающая возможность.Итак, каков план вывода этой штуки на рынок? Mojo Vision заявляет, что полностью ожидает одобрения FDA, прежде чем они смогут продавать его кому-либо, а это означает, что даже после того, как все будет работать с технической и функциональной точки зрения, им необходимо будет провести клинические испытания. Что касается того, когда все это может быть завершено, компания сказала мне «не через год, но определенно [раньше, чем] через пять лет».
Другая компания прекратила работу над умными контактными линзами
Перейти к основному содержанию
The VergeЛоготип Verge.Домашняя страница The Verge
The VergeЛоготип Verge.
- Носимая/
- Технологическая/
- Трудовая
/
Mojo Vision заявляет, что отказывается от научно-фантастических технологий и делает дисплеи MicroLED.
Митчелл Кларк
|
Поделиться этой историей
Если вы покупаете что-то по ссылке Verge, Vox Media может получить комиссию. См. наше заявление об этике.
Компания продемонстрировала свои технологии на выставке CES 2020. Изображение: The Verge
Одна из компаний, работающих над смарт-контактными линзами, прекращает проект. В пятницу Mojo Vision объявила, что собирается «повернуть свой бизнес и сосредоточить свои ресурсы» на технологии отображения MicroLED, которую она создала во время работы над объективом Mojo (через Axios ). К сожалению, согласно сообщению генерального директора компании Дрю Перкинса, часть поворота включает в себя увольнение около 75 процентов работников по мере реструктуризации.
По данным PitchBook и LinkedIn, в компании работало около 150 сотрудников.
В сообщении говорится, что причина изменения заключается в том, что Mojo не может продолжать собирать деньги для работы над своей умной контактной линзой. «Спад в мировой экономике, чрезвычайно тесные рынки капитала и еще не доказанный рыночный потенциал для передовых продуктов AR — все это способствовало ситуации, когда Mojo Vision не смогла найти дополнительное частное финансирование», — написал Перкинс.
Когда компания продемонстрировала объектив Mojo на выставке CES 2020, было ясно, что он еще далек от выхода на рынок. Экран с разрешением 14 000 пикселей на дюйм в демонстрационном устройстве, казалось, делал свою работу, но его нужно было подключать к внешней батарее и процессору — не совсем идеально, если вы действительно хотели носить его на глазах. В июне 2022 года Mojo опубликовала видео, на котором Перкинс носит «полнофункциональный прототип» с бортовым питанием и связью. В мартовском сообщении в блоге компания заявила, что следующим шагом будет «обширное пользовательское тестирование и анализ, создание прототипов программных приложений и общая оптимизация системы и продукта», подразумевая, что пройдет еще немало времени, прежде чем потребители смогут купить ее объективы.
Даже если бы Mojo смогла начать продавать свои смарт-контакты, это не было бы гарантированным успехом. Хотя возможность видеть информационные наложения, направления и даже увеличивать объекты кажется научно-фантастическим будущим, неясно, пришла ли широкая публика к идее компьютеров с лицевым креплением, поскольку она в значительной степени отвергла Google Glass. Даже если сейчас с этим у нас все в порядке, Mojo, возможно, столкнулся с жесткой конкуренцией. Meta вкладывает миллиарды долларов в AR и приобретает компании, работающие в области умных очков. В то время как очки не обязательно ощущаются и футуристичнее, чем смарт-контакты, теоретически они могут обеспечивать аналогичную функциональность в немного другом форм-факторе.
Mojo не будет одинока в стремлении выйти на рынок дисплеев MicroLED. Такие компании, как LG и Samsung, уже анонсировали телевизоры, использующие эту технологию, хотя в настоящее время они намного больше, чем дисплеи, показанные Mojo.
