Очки дополненной реальности hololens. "Умные" очки Microsoft: чем HoloLens лучше Google Glass и Oculus Rift. VR или голограммы

В январе 2015 года, на волне популярности технологий виртуальной и дополненной реальности, корпорация Microsoft решила не оставаться в стороне от этой технологической гонки и анонсировала свои инновационные очки дополненной реальности MicrosoftHololens. Причём, по заверениям Microsoft, их очки дополненной реальности принципиально отличаются от всего того, что было создано ранее. Сотрудникам нашей компании посчастливилось протестировать их и сегодня мы подробно расскажем, что же такое инновационное изобрели в Microsoft.

Microsoft Hololens - принцип работы

Основным технологическим отличием чудо-очков Microsoft является использование голограмм. Как всё это выглядит? Когда Вы одеваете microsoft hololens , на дисплеи очков выводится картинка, которая проецируется в окружающее человека пространство, дополняя его. То есть вы будете видеть и само окружающее пространство, и некоторые новые объекты, которые не доступны взгляду остальных людей. Что именно будет выводиться в очках дополненной реальности, зависит от вашего же желания и возможностей самой системы. А система позволяет выполнять самые разные задачи: работать с Windows, смотреть фильмы, листать разные сайты, например, Youtube, vk, Facebook, использовать средства коммуникации такие, как Skype, играть в игры и различные приложения и т.д. В общем, есть куда развернуться и чем порадовать себя.

При этом все голограммы могут располагаться в разных частях пространства. Например, в один угол комнаты вы можете поместить видеоплеер и смотреть через него фильмы. В другом углу календарь с погодой и курсом валют. На пол спроецировать милую зверушку, которая будет бегать вокруг вас и выполнять все ваши команды и т.д. Многозадачность в Hololens работает отлично, что производит потрясающее впечатление. Звучит классно, не так ли? Но тут есть нюанс. И во многом обусловлено это техническими характеристиками системы, которые вносят некоторые технологические ограничения.

Главные технические особенности Microsoft Hololens

Инновационные очки Microsoft являются автономным устройством, одеваемым на голову, и позволяют активно работать без подзарядки примерно 2.5 часа, а в обычном режиме около 5.5 часов, что немного, если сравнивать с современными беспроводными гаджетами. При этом Hololens поддерживает как проводную, так и модную сейчас беспроводную зарядку. Внутри самих очков скрыт процессор Intel Atom X5-Z8100, 2Гб оперативной памяти, жёсткий диск на 64 Гб (10 из которых занимает Windows 10 и сопутствующие приложения), видеопроцессор с 1024 Мб видеопамяти и ранее не анонсированный голографический процессор (HPU), который и отвечает за воспроизведение голограмм в пространстве. Данный графический процессор является уникальной разработкой, которая пока что не применяется больше нигде. Этим в Microsoft гордятся особенно сильно. В передней части очков над линзами расположены четыре камеры, которые помогают видеть картинку дополненной реальности. На каждый глаз приходится по две камеры: одна из них инфракрасная, а другая – обычная, которые мы привыкли видеть в реальной жизни почти каждый день.

Конечно, не обошлось и без большого количества различных датчиков, которые находятся внутри устройства. Помимо уже стандартных для виртуальной и дополненной реальности гироскопа и акселерометра, тут имеется датчик магнитных полей, отвечающий за корректное поведение и расположение голограмм. Рядом с ушами смонтированы динамики, которые позволяют слышать реалистичный звук и, например, взаимодействовать с голосовым помощником Cortana. И даже горячий воздух от работы системы выводится не а бы как, а через дужки очков, что не вызывает никакого дискомфорта у владельца. В общем, в Microsoft постарались сделать устройство максимально удобным и комфортным для пользователя.

Microsoft Hololens – вид спереди

В комплект поставки Microsoft Hololens входит:

• очки дополненной реальности Microsoft Hololens,
• специальный пульт для управления голограммами (при желании голограммами можно управлять не руками, а с помощью пульта),
• зарядное устройство для очков Hololens,
• тряпочка для протирки стёкол очков,
• стильный кейс для переноски очков дополненной реальности Microsoft Hololens,
• инструкция по использованию.

Microsoft Hololens - внешний вид и комплект поставки

Ощущения от работы в Microsoft Hololens

А теперь о самом главном – тест-драйв очков и ощущения от него. Впервые одевая очки Microsoft Hololens, начинаешь понимать, что будущее уже действительно рядом. Сами очки одеваются очень удобно, без каких-либо сложностей. Видно, что дизайнеры постарались на славу. Нажимаем на кнопку запуска на одной из душек и … вуаля: Hololens начинает работать. В первую очередь нас приветствует голосовой помощник Cortana – по сути, аналог известнейшей Siri у Apple. Всё это настраивает на очень позитивный лад.

Одновременно с этим перед вами появляется окно, которое висит недалеко впереди вас. Это и есть та самая голограмма. В этот момент на лице появляется нескрываемая улыбка, так как ранее что-то подобное доводилось видеть только в кино. После несложной настройки очков вы уже можете использовать все функции устройства по-максимуму. Тут вам и Youtube, и Skype, и новый браузер Microsoft Edge, благодаря которому действительно удобно пребывать в интернете. Прямо с рабочего стола, который будет перед вами, теперь вы можете запускать и игровые приложения, и даже смотреть фильмы. Причём всё это можно делать и стоя, и сидя, и лёжа, и перемещаясь в пространстве. Теперь вы видите не только окружающее пространство, но и дополнительные объекты, которые сами и настраиваете. И, кстати говоря, за время работы в Hololensнами не было обнаружено ни одного глюка, зависания или притормаживания. Оптимизация явно на высочайшем уровне. Казалось бы, чудеса. И всё бы замечательно, но размер самого окна просмотра совсем не велик. Картинка в очках воспринимается примерно как 15 дюймовый экран с расстояния в 2 метра. Из-за этого поначалу приходится привыкать к такому размеру картинки, что немного мешает ощущению наступившего будущего. Для того чтобы видеть все открытые окна, расположенные в разных углах комнаты, вам нужно наводить на них взгляд. Только тогда они будут появляться в поле вашего зрения. Как заявляют в самой Microsoft, на данный момент увеличение угла обзора является очень не простой и дорогостоящей задачей, что существенно увеличило бы и без того не маленькую стоимость устройства. Вполне возможно, что через несколько лет этот вопрос будет решён.

И такая ситуация вполне понятна. Хоть устройство от Microsoft и производит фантастическое впечатление, но на сегодняшний день Hololens является в первую очередь отличным гаджетом для предпринимателей, профессионалов различных индустрий, разработчиков приложений, энтузиастов и фанатов высоких технологий. Вот им действительно есть куда развернуться с этими инновационными очками дополненной реальности. Но в недалеком будущем наверняка каждый человек сможет прикоснуться к этому чуду техники у себя дома

Microsoft Hololens - вид сбоку

Подводя итоги

Если говорить об итогах, то Hololens – это великолепное устройство, которое наверняка найдёт активное применение в мире. Действительно, благодаря этим инновационным очкам дополненной реальности появляется прекрасная возможность прикоснуться к будущему и начать творить в нём уже сейчас. Сегодня Hololensприменяют в рекламе, бизнесе, строительстве, медицине, маркетинге, образовании и других сферах. И сейчас очевидно, что Microsoft будет и дальше продвигать данную технологию. Ну а пока можно приглядеться и к другим современным инновационным устройствам таким, как

Андрей Ивашенцев подготовил для рубрики «Рынок игр» описание функций шлема Microsoft HoloLens, рассказал об опыте его использования и разнице между виртуальной и смешанной реальностью.

Microsoft HoloLens - первый шлем смешанной реальности (Mixed Reality) и первый продукт Microsoft, работающий в операционной системе Windows 10 и подсистеме Windows Holographic.

Сейчас устройство доступно по цене в $3000 за Development Edition исключительно для разработчиков в США и Канаде в рамках программы предзаказов, отгрузка по которым началась только в апреле и которые уже распроданы на полгода-год вперед. Нам в Game Insight удалось достать устройство и даже привезти его в Россию одними из первых. Ну а так как HoloLens - самый что ни на есть инновационный продукт, разбираться с ним выпало мне.

Разработка HoloLens предположительно была начата в Microsoft Research и потом была продолжена в ANALOG - команде, изначально сформированной внутри группы Xbox и состоящей преимущественно из инженеров, работавших над Kinect. Разработка ведется уже более семи лет, и ее удалось сохранить в секрете до момента релиза, что в современном мире большая редкость.

В отличие от большинства девайсов на рынке, это автономное устройство на Windows, которое работает от батареи около пяти часов (в зависимости от нагрузки). HoloLens не требует подключения к компьютеру через кабель, а все вычисления производятся на самом устройстве с помощью CPU и GPU.

Работа со всеми сенсорами осуществляется при помощи встроенного чипа HPU (Holographic Processing Unit), который был разработан специально для HoloLens и служит для обработки информации на аппаратном уровне. Это уникальный в своем роде чип, позволяющий обрабатывать гигабайты пространственных данных, по сути, на мобильном устройстве.

К примеру, Kinect 2.0 с помощью двух своих камер и сенсора создает такое количество RAW-данных, что шина USB 3.0 с трудом успевает передавать их на ПК в реальном времени, а их потом еще нужно обработать. А теперь представьте, что HoloLens содержит в три раза больше сенсоров, часть из которых отвечает за позиционирование в пространстве, часть - за контроль положения головы, а часть - за позиционирование голограмм.

Смешанная реальность и голограммы в концепции Microsoft позволяют дополнить пространство вокруг нас трехмерными объектами, которые могут не просто «болтаться в воздухе», как в обычном варианте дополненной реальности, а органично вписываться в интерьер и взаимодействовать с ним. HoloLens имеет очень высокую точность позиционирования и учитывает особенности человеческого восприятия комбинации из реальных объектов и изображения на дисплеях. Именно благодаря этому голограммы выглядят такими стабильными.

Проще говоря, когда перед вами голограмма земного шара, она не просто висит в воздухе, а привязана к какой-либо поверхности, и вы можете спокойно обойти ее, рассмотреть со всех сторон, а также повертеть в разных плоскостях - на то она и голограмма.

Две ключевые технологии, которые позволяют обеспечить максимальную реалистичность взаимодействия с голограммами, - Spatial Audio и Spatial Mapping.

Spatial Audio - интеллектуальное позиционирование источников звука в пространстве для создания эффекта присутствия. Если в одном углу вашей комнаты находится виртуальная собака, то ее лай будет доноситься именно из этого угла, а не просто звучать вокруг пользователя. Открытый формат реализации динамиков позволяет создать этот эффект без ущерба для окружающей реальности: помимо собаки вы спокойно будете слышать человека, который говорит вам что-то из другого угла той же комнаты.

Spatial Mapping - технология пространственного сканирования, аналогичная Surface reconstruction. HoloLens сканирует окружение и преобразует реальные поверхности вокруг себя в совокупность треугольников (мэши), обеспечивая возможность виртуальным объектам взаимодействовать с ними. Происходит своеобразное 3D-сканирование пространства, а виртуальная модель помещения сохраняется в памяти устройства и впоследствии используется в логике работы приложений.

Анпакинг

Комплект доставляется в большой коробке, в которую упакованы две коробки поменьше: в одной находится HoloLens в футляре, а в другой - кликер. В переносном защитном футляре, повторяющем форму девайса, находится зарядное устройство, салфетка для протирки стекол, а также несколько сменных элементов.

Само устройство состоит из двух основных деталей - рамки и визора. Рамка имеет механизм регулировки и настраивается под каждого пользователя с помощью специального колесика. У визора есть запас хода относительно рамки, он настраивается на уровне глаз человека.

На боковых частях визора размещены стереодинамики, передающие звук в режиме 3D, обеспечивая достоверную передачу звуков от голограмм, находящихся в пространстве вокруг пользователя. Это называется Spatial Sound, и об этом я рассказал раньше.

В передней части визора находятся оптические и инфракрасные камеры, различные оптические сенсоры и датчики освещенности.

В задней части - кнопка питания и индикатор заряда батареи, порт для подключения зарядного устройства (microUSB), а также разъем для наушников.

Проекционные экраны визора выполнены на базе технологии волноводной оптики - она считается одним из самых современных способов визуализации изображения с сохранением прозрачности поверхности.

Использование

Для начала работы с устройством его нужно правильно закрепить на голове, а потом включить кнопкой на торце визора. При первом включении необходимо авторизоваться с помощью Microsoft Account и провести калибровку визора в соответствии с персональными характеристиками.

В течение всего процесса настройки вам помогает виртуальный помощник Cortana, который учит пользоваться жестами и рассказывает о возможностях устройства. Стандартных жеста два: это Air Tap - виртуальное касание пальцем, имитирующее клик, и Bloom - раскрытие ладони, вызывающее Start-меню.

После инициализации перед нами появляется стандартное Start-меню с тайлами, почти такое же, как в обычной Windows. Из меню можно запускать приложения, управлять настройками и выполнять все стандартные базовые действия.

Приложения для устройства скачиваются и ставятся из Microsoft Store, специально адаптированного под HoloLens. Пока приложений под Holo не очень много, большинство из них разработано в Microsoft Studios для демонстрации возможностей устройства.

Несмотря на ограниченный набор нативных приложений, большинство универсальных (UWP) приложений и игр от Windows 10 тоже спокойно запускаются и работает в оконном режиме. Для удобной работы, разумеется, потребуются мышка и клавиатура (или геймпад), но это совершенно не влияет на опыт использования.

На сегодняшний день HoloLens позиционируется в основном как устройство для корпоративной разработки с участием глобальных партнеров типа NASA, Volvo, Disney и Universal. Соответственно, корпоративные клиенты - первая целевая аудитория HoloLens, за которой потенциально последует запуск устройства в розничные каналы.

Из заметных ограничений - достаточно скромный угол обзора: порядка 30−37 градусов. Об этом пункте уже много написано, и он обсуждается как ключевой в списке необходимых доработок HoloLens. Но если провести в шлеме некоторое время, угол обзора перестает создавать дискомфорт: это сравнимо с адаптацией к горнолыжной маске или плавательным очкам.

Во многом это зависит не только от технологических ограничений волноводной оптики, но и от особенностей человеческого глаза, его фокусировки, периферийного зрения и того, как наш мозг воспринимает визуальную информацию. К счастью, прогресс не стоит на месте, поэтому хочется верить, что в следующих версиях устройства угол обзора станет больше.

Влияние на игровую и смежные с ней индустрии

Многим в игровой индустрии интересно, что же случится с рынком, когда на нем появится HoloLens. Запуск устройства на массовый сегмент рынка запланирован только через несколько лет, поэтому делать прогнозы с текущей динамикой - дело неблагодарное.

Если посмотреть на рынок сегодня, то мы увидим, как VR шагает по планете и как многомиллионные бюджеты тратятся на битву за умы игроков (как на ПК, так и на мобильных платформах). Мы в Game Insight постоянно изучаем новые технологии, пробуем разные девайсы и стараемся оценить перспективность тех или иных подходов.

Мобильная VR старается приблизиться по возможностям и производительности к стационарной VR, что видно, к примеру, из анонса платформы Google DayDream. Стационарная VR, наоборот, пытается добавить себе мобильности и уместить полноценный мощный игровой ПК в форм-фактор рюкзака.

При работе с голограммами, в отличие от работы с VR, требуется держать в голове тот факт, что игрок должен взаимодействовать с окружающим миром и динамически подстраивать игру под среду. Немного легче будет тем, у кого есть опыт процедурной генерации ландшафтов и игровых сценариев. Все это существенно сложнее, чем просто нарисовать сцену в Unity, повесить туда VR-камеру и начать играть.

Несмотря на эти сложности, платформа дает безграничные возможности для полета фантазии. Можно строить огромные миры прямо на своем журнальном столике, прорубать окна в новые неизведанные миры прямо в собственной гостиной, объединять несколько устройств по сети и играть в голографические игры в режиме мультиплеера, да и мало ли что еще.

VR или голограммы

В поисках ответа на этот вопрос стоит обозначить разницу между VR (Virtual Reality), AR (Augmented Reality) и MX\Holograms (Mixed Reality).

Виртуальная реальность (VR) называется виртуальной именно потому, что она синтезирована и полностью подменяет нашу реальность той сценой, в которую нас хотел поместить автор игры или приложения. Мы надеваем шлем и отключаемся от реальности.

Дополненная реальность (AR) - проекция двухмерных или трехмерных объектов перед глазами пользователя, в большинстве случаев без привязки к окружающему миру или с привязкой через специальные маркеры. Простейшие варианты дополненной реальности мы можем видеть даже при съемке на смартфон, когда умная программа камеры автоматически определяет и обводит квадратиками лица людей. Самым понятный пример очков в данном случае - Google Glass, который не очень «выстрелил» на рынке.

Смешанная реальность, или голограммы (MR), комбинирует два этих подхода и привязывает виртуальные объекты к реальному пространству. Кто-то называет это дополненной виртуальностью, кто-то - смешанной реальностью, а Microsoft использует термин Holograms. Google идет похожим путем с проектом Google Tango, однако с немного другим списком целевых сценариев и форм-фактором устройств.

Билл Гейтс в рамках своего спецпроекта на Reddit написал на эту тему: VR is the extreme case of AR when nothing from the real world gets mixed in. Это достаточно логично, если представить, что мы подменяем вашу гостиную любой другой виртуальной комнатой, оставляя все виртуальные объекты (голограммы) на тех же самых местах, но запускаем ее на шлеме типа Oculus Rift или Vive.

Следуя этому принципу, буквально неделю или две назад Microsoft анонсировала доступность платформы Microsoft Holographic для всех типов VR-, AR- и MR-устройств, предоставив пользователям самых разных шлемов возможность взаимодействовать друг с другом в виртуальной среде.

Однозначного выбора сделать не получится: правда всегда будет где-то посередине. Через 7−10 лет нас всех ждет безумно интересное и технологичное будущее, которое мы раньше видели в фантастических фильмах. Забавно, насколько это избитая фраза и насколько иначе я стал ее воспринимать, впервые примерив HoloLens.

Шлем Microsoft HoloLens перестаёт быть невиданной редкостью. Его можно опробовать на выставках и презентациях, роликами с ним заполнены видеохостинги, растёт количество студий, создающих под него программное обеспечение - они прикладывают массу усилий к тому, чтобы сделать смешанную реальность ближе к людям. Однако до сих пор мало кто понимает, какие технические решения сделали возможным создание шлема .

На сегодняшний день мы знаем, что HoloLens - это принципиально новый компьютер на Windows 10 и мобильной вычислительной платформе Intel, который укомплектован визуальными датчиками, наделяющими его возможностями Kinect, но в гораздо более интересном мобильном варианте. Также в шлеме есть инерциальный блок определения местоположения, малоизвестный процессор типа Holographic Processing Unit (HPU) и проекционная система формирования изображения на линзах перед глазами пользователя.

Microsoft не скрывает информацию о своём ключевом устройстве будущего, но она также редко её афиширует, оставляя подробности разработчикам. А Голографика хочет, чтобы информацию о такой важной новинке мог найти любой желающий. Поэтому сегодня мы постараемся дать вам максимальное преставление о том, что скрыто под корпусом HoloLens, и как всё это работает.

Оптика

Начнём с того, на что сразу обратит внимание любой пользователь HoloLens. В отличие от шлемов виртуальной реальности, которые передают картинку через непрозрачные светодиодные или жидкокристаллические дисплеи и стеклянные линзы, которые искажают картинку для правильного восприятия зрительным аппаратом человека, в устройстве Microsoft установлены прозрачные волноводные линзы. Это линзы с волнообразной призматической структурой, которые правильным образом преломляют и отправляют в наши глаза картинки с расположенных по бокам микродисплеев. Картинка формируется на основе данных с датчиков местоположения шлема и окружающих объектов, и в результате мы видим перед собой «голограммы» - компьютерную графику, интегрированную в окружающую действительность, или смешанную реальность.

Рабочая цепочка оптической системы HoloLens выглядит следующим образом: микродисплей → визуализационная оптика → волновод → объединитель → дифракционные решётки (они производят расширение выходного зрачка). Пока просто набор слов, поэтому постараемся всё объяснить.

Начнём с конца. В оптике выходной зрачок - это виртуальная апертура оптической системы, и из системы могут выйти только лучи, проходящие через виртуальную апертуру. Ещё проще: это область с образом, видимая в окуляр. В нашем случае, входной зрачок - наш глаз, а выходным является проекция. Ключ к правильной работе всей системы, это расширение выходного зрачка через максимальное расширение области, доступной обзору человеческого зрачка с любой его позиции (англоязычный термин - «eye box»). Этого позволяет добиться регулировка линз в вертикальной и горизонтальной плоскостях. По словам Microsoft, у HoloLens самый большой eye box в отрасли.

Но это финиш, а старт расположен у проекторов, которые в Microsoft называют «световыми движками». HoloLens содержит LQoD-дисплеи, которые вы можете найти в обычном проекторе. Это два устройства с разрешением HD и соотношением сторон картинки 16:9 на дужке под инерциальным датчиком, о котором мы поговорим позже. Свет из проекторов должен пройти через объединитель - устройство, правильным образом комбинирующее проекцию и реальный мир.

Три Д (Датчики Дают Добро)

Когда дело касается дополненной, виртуальной или смешанной реальности, датчики положения и пространства имеют огромное значение. Нужно ли следить за положением головы, окружающими предметами и людьми, проходимым расстоянием или глазами - скорость и точность датчиков делают компьютерное вмешательство реалистичным или превращают погружение в кошмар.

Панель датчиков HoloLens содержит по две камеры распознавания окружающей среды справа и слева, времяпролётную (time of flight - ToF) камеру глубинного зондирования, датчик внешней освещённости и двухмегапиксельную камеру для фото или видео в HD-разрешении. Некоторые детали массива куплены у сторонних поставщиков, другие же изготовлены самой Microsoft.

Камеры зондирования окружающей среды служат основой для трекинга головы, а времяпролётная камера играет две роли: помогает с отслеживанием движений рук и реконструирует окружающие поверхности, чтобы размещать «голограммы» на физических объектах (например, именно это является одной из основных функций камер Intel RealSense 400-й серии в Project Alloy).

Датчики работают совместно с описанной выше оптической системой и датчиком инерциальной навигации, установленным прямо над переносицей. HoloLens обрабатывает положение пользователя меньше чем за 10 миллисекунд, за счёт чего изображение не плывёт, а виртуальные объекты не летят вслед за поворотами головы. На самом деле, немного летят, но и HoloLens - пока прототип.

Холодная голова

Мы давно знаем, что HoloLens работает на мобильной системе на чипе Intel поколения Cherry Trail, и у нас практически не было данных по инерциальному модулю и голографическому процессору (ГП), который в мире за стенами Microsoft именуется процессором компьютерного зрения (пример - Myriad).

Очевидно (и подтверждено), что устройство получило специальную материнскую плату без радиаторов и вентиляторов охлаждения. На ней есть твердотельный накопитель на 64 ГБ формата eMMC и 2 ГБ оперативной памяти LPDDR3 - по гигабайту на центральный и голографический процессор. Архитектура - x86, а операционная система - Windows 10.

SoC остаётся неизвестным, но всё семейство Cherry Trail получило по четыре 14-нанометровых ядра Airmont. Слайды Microsoft позволяют утверждать, что чип подключён по PCIe к двум устройствам: контроллеру 802.11ac Wi-Fi/BT 4.1 LE и процессору компьютерного зрения. При этом только одна из двух компоновок Cherry Trail имеет пару портов PCIe - версия Type 4 на 289 квадратных миллиметра. По крайней мере на бумаге, эта версия доступна с максимум 16 графическими исполнительными блоками восьмого поколения. Intel HD Graphics имеет аппаратное ускорение HEVC и H.264, что сводит к минимуму энергозатраты на воспроизведение медиа. А укладка памяти в SoC и HPU экономит место на материнской плате.

Также Cherry Trail может похвастаться обилием интерфейсов ввода/вывода, полезных для . Встроенный экономичный звуковой движок может кодировать и декодировать аудио для встроенных динамиков и с четырёх микрофонов. I²C-интерфейсы упрощают работу с датчиками температуры и освещённости. Поддержка MIPI CSI обеспечивает беспроблемное подключение к SoC камер. А SSD на 64 гигабайта подключается к кластеру управления внутренним хранилищем процессора через SDIO.

HPU

Голографический процессор версии 1.0 отвечает за сбор и обработку данных с различных камер HoloLens, чтобы отправить стройный обработанный код в центральный процессор. ГП произведён по 28-нанометровому техпроцессу TSMC. Его площадь составляет 144 квадратных миллиметра, большую часть из которых занимают 12 вычислительных узлов с 2 DSP-ядрами разработки Tensilica в каждом (24 ядра).

Microsoft использовала базовый набор инструкций Xtensa с примерно 300 расширениями для входного потока данных от различных подсистем шлема, которые комбинируются и выводятся на SoC в упрощённом формате. С самого начала в Рэдмонде не хотели загружать ни один вычислительный узел больше, чем на 50%, поэтому перегрузка HPU маловероятна и в будущем - всё сделано с запасом.

Компания также предъявила взыскательные требования к времени ожидания и рабочему циклу. Для их сокращения операции, которые не могут быть удовлетворительно произведены ядрами DSP, передаются на монофункциональные ускорители. Во многом это похоже на выделение транзисторов под конкретные задачи, такие как тесселяция или декодирование видео, в графике и . Microsoft реализовала автономные ускорителями и блоки аппаратных средств, тесно связанные с ядрами DSP для ускорения производительности критически важных операций. Эта связка производит порядка триллиона операций с пикселями в секунду, то есть в 200 раз больше, чем при программной обработке.

Наряду с 1 гигабайтом оперативной памяти LPDDR3 в HPU между узлами расположилось 8 мегабайт SRAM. Последовательные интерфейсы позволяют устанавливать связь между голографическим процессором и подсистемами шлема: например, CSI от MIPI Alliance используется для сбора входящих данных от камеры глубинного зондирования и четырёх камер распознавания среды, MIPI-DSI соединяет два дисплея, инерциальный датчик общается с HPU по SPI, а температурный - по I²C.

HPU и SoC от коммуницируют по шине PCI Express. Согласно спецификациям Atom Z8000, Cherry Trail предоставляет два корневых порта со скоростью до 5 гигатранзакций в секунду. Если данная информация соответствует имеющемуся в HoloLens, компоненты шлема передают друг другу код на скорости не больше 500 мегабайт в секунду. К сожалению, в не подтверждают ни одну из спецификаций центрального процессора.

Не пропускайте важнейшие новости о мире дополненной и виртуальной реальности - подписывайтесь на Голографику в

В среду Microsoft провела пресс-конференцию, посвященную операционной системе Windows 10. Представители компании , рассказывая, как они улучшат жизнь миллионов пользователей, но самый интересный анонс приберегли напоследок. В концовке мероприятия речь неожиданно зашла о "голографических" очках HoloLens, призванных перевернуть представление о технологиях дополненной реальности. Вести.Хайтек решили подробно разобраться в самом амбициозном и высокотехнологичном проекте компании за последние годы.

Автором и руководителем проекта HoloLens (кодовое имя — Project Baraboo) является Алекс Кипман (на фото выше). Он известен как создатель игрового контроллера Kinect, занесенного в Книгу рекордов Гиннесса как самое быстропродаваемое потребительское устройство для развлечений в истории. Благодаря новому гаджету, уверен изобретатель, у Microsoft есть все шансы повторить успех.

В представлении Кипмана, в недалеком будущем мы будем "общаться" с компьютерами не при помощи клавиатуры и мышки, а используя голос и жесты, накладывая виртуальные слои на объекты вокруг себя. Так, концепция HoloLens строится вокруг совмещения предметов реального мира с объектами из виртуального. Такие объекты (в терминологии Microsoft — "голограммы") проецируются прямо перед человеком, как бы обогащая окружающую обстановку.

Надев очки, пользователь сможет видеть перед собой, к примеру, "парящего" в воздухе собеседника в Skype, прогноз погоды или виртуальный телевизор с трансляцией футбольного матча. Вокруг "голограмм" можно не только ходить и наблюдать их с разных ракурсов, но и взаимодействовать с ними — перемещать, растягивать, уменьшать или вовсе убирать из поля зрения.

Область применения HoloLens далеко не ограничена потребительским сектором. К примеру, благодаря "умным" очкам инженеры будут постоянно иметь перед глазами детальную инструкцию по сборке того или иного механизма, дизайнеры интерьеров смогут составлять 3D-планировку дома вместе с клиентом, а хирурги перестанут отвлекаться на рентген, так как снимок может быть визуализирован прямо на пациента.

HoloLens, которым на презентации Windows 10 уделили от силы десять минут, создавались в течение пяти лет. Разработка велась в обстановке строгой секретности, причем большая часть сотрудников Microsoft ничего не знала о проекте. Несколько месяцев назад компания пригласила в свой офис журналистов издания Wired и дала им ознакомиться с прототипом HoloLens.

HoloLens — это, по сути, такие же смарт-очки, как Google Glass, Oculus Rift или Samsung Gear VR, только для работы им не нужны ни провода, ни наушники, ни смартфон, исполняющий роль дисплея или "раздатчика" Wi-Fi. Гаджет ни от чего не зависит: он несет на борту собственный процессор, названный Holographic Processing Unit (HPU), видеоускоритель, камеры с углом обзора 120°x120° и акустическую систему.

Корпус очков опоясан массой разнообразных датчиков, отсылающих сопроцессору информацию со скоростью терабайт в секунду. Всего их 18 штук. Часть, например, следит за тем, куда смотрит человек, и корректирует изображение. По словам Кипмана, HoloLens мощнее, чем ноутбук. Перегреваться они не должны: теплые потоки воздуха отводятся в стороны, через дужки, и выходят наружу, не создавая неприятных ощущений.

В сравнении Google Glass, устройство Microsoft больше и увесистее, но не такое угловатое, как Oculus Rift. Весит оно около 400 граммов, то есть примерно столько же, сколько велосипедный шлем, а работает на Windows 10. С правой стороны HoloLens расположены кнопки для регулировки громкости и настройки контрастности "голограммы", над линзами — динамики. Поле зрения 120-градусных камер, совмещенных с сенсором для определения глубины окружающего пространства, гораздо шире, чем у того же Kinect. Они способны распознавать жесты даже на полностью вытянутых руках. Таких камер несколько, спереди и по бокам очков.

Также следует отметить систему пространственного звучания, которая создает эффект, будто звук исходит непосредственно от источника. Скажем, если пользователь повернется спиной к подвешенному в водухе виртуальному телевизору, он будет слышать "голограмму" позади себя, как настоящий ТВ.

Если шлем Oculus Rift полностью погружает человека виртуальную атмосферу, то у очков Microsoft иное предназначение — дополнять "голограммами" окружающий мир. Изображение формируют две линзы, каждая из которых состоит из трех слоев (синего, зеленого и красного) стекла со множеством крошечных канавок. Микроячейки преломляют фотоны, которые излучает так называемый "световой движок" (light engine). Пучки света "путешествуют" между слоями линз с огромной скоростью, за счет чего и достигается 3D-эффект.

Многое, впрочем, остается неясным. Непонятно, как происходит процесс фокусировки, если речь в самом деле идет о технологиях голографической визуализации, и насколько качественна цветопередача линз. Также ничего не говорится об аккумуляторе, сроке автономной работы и способе зарядки HoloLens.

Google Glass и Oculus Rift

Как бы то ни было, главное отличие устройства Microsoft от аналогов в том, что оно уже почти готово. Несколько дней назад Google, столкнувшись с неприятием Glass, и сворачивании тестовой программы Explorer. В интернет-поисковике подтвердили, что они по-прежнему видят футуристический гаджет в качестве потребительского продукта, но места на рынке, видимо, ему пока нет. Схожая ситуация складывается с Magic Leap: Google вложила в стартап $592 миллиона, однако новостей от него пока не слышно. А компания Oculus Rift, с марта 2014 года принадлежащая Facebook, уже несколько лет доводит свой шлем до ума, и нет оснований полагать, что потребительская модель увидит свет в скором времени.

В случае с Hololens разработчики смогут приступить к созданию "голограмм" уже этой весной. Для этого Microsoft выпустит HoloStudio для 3D-моделирования и откроет Holographic API, который появится в ближайшей превью-сборке Windows 10. Что касается коммерческой доступности HoloLens, то выйдут они раньше, чем можно было ожидать. На презентации было заявлено, что продажи очков начнутся "к сроку релиза Windows 10". Произойти это может до конца года.

Виртуальная реальность – следующий шаг в развитии компьютерных технологий. Сегодня она популярна и востребована благодаря очкам Samsung Gear VR и Oculus Rift. Но Microsoft шагнула дальше и представила очки дополнительной реальности Microsoft HoloLens, обзор которых позволит вам понять, почему этот гаджет станет неотъемлемой составляющей современного мира.

Концепция

HoloLens – это очки дополнительной реальности. В этом их принципиальное отличие от конкурентов.

Одевая их, человек видит окружающий мир с «внедренными» в него голограммами, таблицами и другими объектами, которые кажутся трехмерными. Взаимодействовать с ними может только тот человек, который использует гаджет. Если группа из нескольких юзеров наденет очки, они погрузятся в один и то же мир дополнительной реальности.

Принцип работы HoloLens прост: голограммы, которые отображаются на стекле, воспринимаются мозгом как реальные предметы. Примерно такой же подход реализован в Google Glass, но в них объекты позиционировались как окна стандартных программ, а не настоящие предметы.

Технология

Очки Microsoft HoloLens – это компактный компьютер в виде шлема, одевающегося на голову. Он мобилен и не привязан к сторонним гаджетам: смартфону, ноутбуку, камере и проч. Отсутствует проводное подключение.

Устройство построено на основе собственного уникального процессора Holographic Processing Unit (HPU), имеет встроенную акустическую систему, камеру, видеоускоритель и сенсоры.

HoloLens оборудован двумя камерами, аналогичными тем, которые используются в Kinect: одна работает в обычном спектре, другая – в инфракрасном. Они анализируют и считывают окружающее пространство. Это – база устройства.

Голограммы выводятся на экран, представленный полупрозрачным стеклом, которое не мешает воспринимать настоящий мир. Такое взаимодействие и создает эффект дополнительной реальности.

Набор датчиков представлен гироскопом, магнитометром и акселерометром. HoloLens распознает жесты и следит за тем, куда смотрит человек. В зависимости от направления взгляда изменяется положение голограмм на экране. Помимо этого, устройство полностью совместимо с Cortana, поэтому поддерживает управление голосом.

Реалистичное взаимодействие с объектами дополнительной реальности обеспечивается двумя технологиями:

• Spatial Mapping (аналог Surface reconstruction) – технология пространственного сканирования, которая после обработки окружающего пространства преобразует его в группу треугольников. Эта информация записывается в память гаджета и используется в логике работы приложения. За счет этого виртуальные объекты полноценно взаимодействуют с голограммами.
• Spatial Audio – технология, отвечающая за реализацию эффекта присутствия. Если объект расположен в определенном месте помещения, звук исходит именно оттуда, где он находится. Благодаря открытому формату динамиков юзер не ущемлен в восприятии звуков из реальности: он полностью слышит все, что происходит вокруг него в настоящем мире.

Применение

1. Архитектура и строительство. Дизайн-проект нового здания можно представить в трехмерном виде, показать, что находится внутри помещения.
   
2. Образование. Педагог может наглядно продемонстрировать, как выглядит, работает механизм, конструкция. Особенно эта технология полезна в медицине, когда преподаватель сможет показать студентам работу внутренних органов человека.
3. Игровая индустрия. Это одно из главных направлений, для которого можно использовать очки дополнительной реальности.
   
4. Исследования. Ученые наглядно смогут увидеть исследуемую область. Это важно для реализации космических программ.

Внешний вид

По форме HoloLens похожи на Google Glass, но меньше аналогичных разработок от Oculus и Samsung. Дизайн очков проработан грамотно, поэтому они похожи на современное устройство, а не на маску, которая закрывает половину головы.

Для уменьшения веса в очках используется надежный пластик, а в передней части расположено прозрачное стекло. Крепится HoloLens на голове не как обычные очки, а охватывая голову, чтобы создать лучшую фиксацию. При этом пользователь поначалу может ощущать небольшой дискомфорт.

Техническая составляющая

Официально Microsoft не разглашает подробности о технических характеристиках устройства. Но поскольку первые модели уже поступили на руки разработчикам, некоторые из них стали известны.

HoloLens в отличие от других цифровых устройство имеет не два чипа (центральный и графический процессоры), а три. Разработчики дополнительно установили HPU (Holographic processing unit) – голографический процессор.

Центральный процессор – Intel Atom x5-Z8100 с тактовой частотой 1,04 ГГц, бъем оперативной памяти – 2 Гб, внутренний накопитель – 64 Гб, встроенный аккумулятор емкостью 16 500 мАч. Главная гордость Microsoft – графический чип, который, по заявлению разработчиков, обрабатывает большой массив данных, поступающих из окружающей среды.

Устройство работает под управлением 32-битной Windows 10. Не исключено, что в будущем очки дополнительной реальности получат более мощную техническую «начинку» и 64-разрядную ОС.

Управление

Управлять HoloLens можно тремя способами.

1. Физически. Управление осуществляется с помощью кнопок, расположенных по бокам гаджета. Они меняют громкость звука, яркость воспроизводимых объектов.
2. Голосом. Поскольку в устройство интегрирована Cortana, управлять им можно с помощью голосовых команд. Но, в отличие от голосового помощника для настольного ПК, ее функции расширены: пользователь с помощью голоса управляет голограммами на экране.
3. Жестами. Благодаря встроенным камерам устройство распознает жесты пользователя и выполняет определенную команду с голографическими объектами (поворот или перемещение).

При первом включении HoloLens его нужно откалибровать в соответствии со своим восприятием и активировать аккаунт Microsoft Account. Для упрощения этой процедуры используется Cortana, которая рассказывает о возможностях гаджета и учит юзера пользоваться жестами.

Существует два базовых жеста:

После этой процедуры перед пользователем открывается стандартное Start-меню, из которого происходит управление настройками, запуск программ, другие базовые действия.

Приложения для устройства распространяются через Windows Store, оптимизированного для HoloLens. Сейчас таких мало и большинство из них – это продукт Microsoft Studios. Они демонстрируют потенциал гаджета.

Помимо этого, юзер может запустить на экране устройства UWP приложения Windows 10. Они открываются в классическом оконном режиме. Для комфортной работы с ними понадобится стандартная периферия, но это не отражается на функциональности.

Функциональность

Учитывая функции устройства, в первую очередь HoloLens разработаны для корпоративного сегмента – партнеров Microsoft: NASA, Disney, Volvo и Universal. Им не нужно будет создавать сложные трехмерные модели, исследовать труднодоступные места, тратя большие суммы. Все это будет доступно с помощью очков дополнительной реальности.

Разработчики удачно продумали дизайн устройства, поэтому во время его использования не появляется дискомфорт. Что важно, линзы расположены на удаленном расстоянии от глаз, поэтому они не влияют на зрение человека.

Еще одно преимущество HoloLens – объекты, которые человек видит перед собой, остаются на том же месте и продолжают функционировать в фоне, если не находятся в зоне восприятия пользователя. Поэтому, когда он запустит Skype, прикрепит его к определенной части помещения и отвернется, после возвращения взгляда в исходную точку окно мессенджера останется на месте. При этом человек может просматривать браузер и параллельно общаться в Skype.

Недостатки

Поскольку технология HoloLens молодая и только развивается, она не лишена недостатков. Часть из них – технологические: пока что не созданы технологии, которые могли бы улучшить работу устройства.

1. Угол обзора. Одно из главных ограничений HoloLens – «скромный» угол обзора, который находится в пределах 120 на 120 градусов. На практике этот недостаток нивелируется через определенное время, когда человеческий глаз и мозг адаптируются к новым условиям.
2. Еще одно ограничение – способность каждого человека воспринимать информацию с помощью органов зрения. Это происходит со своей спецификой, в зависимости от организма, что тоже влияет на работу HoloLens.
3. Мощность «железа». Размеры HoloLens ограничены, поэтому установка внутрь компактного корпуса мощного «железа» невозможна по ряду причин, одна из которых – охлаждение. Система охлаждения в очках виртуальной реальности пассивная. Отведение тепла от компонент выполняется воздухом, который проходит через дужки очков, равномерно распределяясь по корпусу. Установка более мощного процессора повлечет увеличение тепловыделения и снижение комфортности использования гаджета.
4. Качество воспроизводимого изображения. Для полноценного восприятия дополнительной реальности необходимо, чтобы дисплей имел высокое качество, как и сами голограммы. Первое зависит от инженеров Microsoft и технологий, а второе – от разработчиков контента для HoloLens.

В то же время при использовании очков дополнительной реальности от Microsoft нет никаких побочных эффектов в отличие от Samsung Gear VR2 S6, когда поначалу человека подташнивает. С HoloLens такого не происходит даже на первых минутах использования устройства.

Microsoft HoloLens – уникальная разработка, которая имеет место быть. Но ее функциональность «упирается» в современные технологии с развитием которых разработчикам удастся сделать очки более производительными и массовыми.

Стоимость гаджета составляет 3 тысячи долларов и он выходит ограниченным тиражом, поэтому о глобальном использовании говорить пока рано.