Олексій Рибаков (DataArt): Мобільна віртуальна реальність

Олексій Рибаков, Senior Engineer і євангеліст компанії DataArt, на конференції "Страйк" вже в цю п'ятницю буде розповідати про мобільну віртуальну реальність. Ми вирішили поговорити з ним і з'ясувати, як розвивається ця область.

Можете розповісти докладніше про розвиток мобільного VR?

Під мобільним VR ми зараз розуміємо той VR, який запускається на мобільному пристрої. Він почався з девайса, який називають Google Cardboard - коробки з картону, яку можна було зібрати самому. До цієї коробці йшла інструкція і невеликі лінзи - все це становило одну частину мобільного VR. Друга частина мобільного VR - сам телефон, на якому запускалося спеціальне програмне забезпечення, яке ділило екран навпіл і для кожного ока виводило своє зображення.

У всіх VR шоломів, які коли-небудь існували, починаючи з 70-их і закінчуючи сьогоднішнім днем, є три головних параметра. Перший, так званий FOV (Field of view).

FOV - це кутовий простір, видиме оком при фіксованому погляді і нерухомій голові. У Google Cardboard кут огляду 90 градусів. Для порівняння: у людини периферійний зір досягає 180 градусів.

Другий параметр - швидкість, з якою відтворюється кожен кадр. Іншими словами - FPS (Frames per Second). Чим вище FPS, тим краще картинка.

Третій параметр - resolution. Resolution - це дозвіл екрана, яке потрібно ділити на два, бо на кожне око виводиться своя картинка.

Перше покоління Google Cardboard показали в 2014 році на Google I / O. Його позиціонували як дослідницький пристрій. Google випустив невеликий SDK , Який дозволяв програмістам дуже швидко збирати додатки з двома зображеннями замість одного. Цей SDK враховує FOV і певним чином підставляє спотворення для лівого і правого ока, утворюючи 3D зображення. Цей SDK виходив не тільки на платформах Android, але і на платформі iOS.

Ідею Cardboard'ов підтримало дуже велика кількість компаній виробників. Було випущено величезну кількість поліпшених моделей в пластикових корпусах, різного ступеня складності і різної вартості. Найдорожчим з Cardboard'ов нульового покоління був - Carl Zeiss (німецька компанія, що спеціалізується в області оптики).

Ніяких пультів управління і спеціальних контролерів при використанні "картонних коробок" не було - ви лише надягали окуляри на голову, і при необхідності впливу з внутрішнім світом віртуальної реальності наводили точку на той об'єкт, з яким ви хотіли взаємодіяти. При закінченні 5-ти секунд дію вважалося завершеним. В якості додаткових девайсів багато стали підключати до пристроїв Android бездротові джойстики, як це було і є в Xbox і Sony Playstation.

Наступним поколінням були Samsung VR by Oculus Rift.

Джон Кармак і Майкл Абраш, які відомі такими іграми як Quake і Doom, були запрошені в компанію Oculus Rift для створення шолома нового покоління. У 2014 році вони створили кілька прототипів, компанію купив Facebook за 2 млрд доларів і надалі до них приєднався Samsung.

Samsung спільно з Oculus випустили Samsung Gear VR Powered By Oculus, який був сумісний тільки з телефонами Samsung певного покоління (s5, s5 edge, edge 6, edge 7). Інноваційність Samsung Gear VR Powered By Oculus була в тому, що телефон можна було підключити до самого шолому а не вставляти пристрій в окуляри, як це було в шоломах раннього покоління. Сам шолом мав додаткової електронікою. Була додана сенсорна панель яка дозволяла взаємодіяти з віртуальним світом (можна натискати на кнопки, рухати вліво-вправо і т.д.) Свого роду, це як тачпад на ноутбуках. На верхній панелі шолома розташовувалося "коліщатко", за допомогою якого можна було відрегулювати лінзи і фокусна відстань під себе. Однією з головних "фішок" було впровадження акселерометра для більш чіткого відстежування рухів голови, що робило рух більш чітким і правдоподібним.

Дозвіл у Samsung VR by Oculus Rift було 2500х1440, в той час як дозвіл у Google Cardboard було в півтора рази менше. Всі сучасні не мобільний шоломи, які підключаються до PC, наприклад Oculus, HTC Vive або PS VR мають дозвіл 2500х1080. У телефонів Samsung на той момент дозвіл було 2500х1440, що по висоті більше, якість картинки краще і є лише різниця в герцах.

Samsung Gear VR Powered By Oculus продавався за $ 100 і так же був сумісний з певними моделями Samsung. На січень 2017 було продано близько 5 млн моделей по всьому світу.

Наступним витком в області технологій мобільного VR став кейс для смартфона - Google Daydream View VR , Сумісний з операційною системою Android, починаючи від 7.0.

Кейс влаштований за зразком Samsung Gear VR - телефон вставляється в спеціальний відсік, фіксується на місці засувкою і виконує роль екрану. Пристрій мав роз'єм Bluetooth і при підключенні, телефон переключався в режим VR. Найголовніший аспект Google Daydream View VR - це пульт управління з вбудованим акселерометром і сенсорною панеллю управління. Фактично, він сприймається як указка, до якої звикаєш вже через пару хвилин, настільки він точний.

Компанія Xaomi випустила пристрій, як у Google, але без участі самого Google т.к операційна система Android в Китаї представлена ​​не в повному обсязі. У зв'язку з цим додаток Daydream в Китаї просто не запускалася.

Xaomi випустила точно такі ж окуляри і додаток схоже на DayDream.

Для того, щоб отримати SDK від Xaomi потрібно зареєструватися на їхньому сайті як розробник і пройти, досить, великий опитувальник. Таким чином можна зрозуміти, чи зможете ви отримати доступ до їх SDK і розробляти програми під їх шолом.

В цьому році, Samsung, спільно в телефоном Samsung S8, анонсував новий Samsung Gear VR Powered By Oculus 2017 з поліпшеними лінзами.

Всі ті, хто встигли зробити попереднє замовлення Samsung S8 в подарунок отримають цей шолом, який також має пульти управління, як Google Daydream і Xaomi Mi VR.

Які програми є лідерами ринку? На кого можна подивитися початківцям як на орієнтири?

Левова частка додатків - це відео 360, фото 360. За 2016 рік було переглянуто більше 10 млн годин відео 360 на Samsung Gear VR. У Daydream зараз дуже популярно два додатки: Need For Speed, яке стоїть в районі $ 25 і безкоштовний додаток "Фантастичні тварини і де вони мешкають" за однойменним фільмом, де просто неймовірний ефект занурення.

У чому різниця різних платформ мобільного VR?

Мобільний VR складається з двох складових. Перша - це шолом, який складається з лінз і можливості регулювання фокусної відстані, як на Samsung VR by Oculus Rift, і від цього параметра - FOV. Зараз у всіх шоломів йде стандарт - 101 градус. У Cardboad це було 90 градусів, у китайських підробок 75.

Друга складова - телефон, який вставляється в сам шолом. І Google і Samsung зараз говорять, що сумісне VR пристрій це телефон з дозволом 2500х1440, який сміливо може показувати 60 кадрів в секунду, який володіє насиченою колірною гамою і потужною батареєю.

Xaomi кажуть, що будуть робити все те ж саме, але на телефонах з Full HD дозволом, де якість картинки набагато гірше.

Для мобільного VR, фактично, одна платформа - це Android. Для Samsung є своє SDK, для DayDream і Cardboard - своє SDK. Xaomi використовує SDK Google для відтворення, а для підключення вони використовують своє SDK, але по ньому зараз дуже мало інформації.

Які технології використовуються при розробці додатків?

Тут є багато варіантів, але основні Google SDK, або Oculus SDK. Природно Unity 3D, на якій зроблена більша частина мобільних ігор в 3D. Вони в цьому плані великі молодці і використовують багато нових девайсів, які зараз з'являються. Підключають до свого середовища розробки нові пристрої.

Unreal Engine - це движок від Epic Games і використовується для складних ігор на Playstation і всього іншого. Але вони точно так само підтримує програми для мобільного VR.

У 2016 році Crytek анонсували можливість підтримки мобільних додатків, з VR в тому числі.

Які труднощі є в розробці?

Перш за все це швидкість роботи програмного забезпечення, швидкість оновлення картинки. Якщо FPS буде дуже маленьким, якщо воно буде мерехтіти, наприклад, було 20 FPS, а стало 15 FPS, то у людини з'являється дискомфорт. Необхідно мінімум 30 FPS для кожного ока.

Google і Samsung заявляли що у них, мінімальне FPS 60, не менше. Чим більше FPS, тим комфортніше себе почуває людина.

Проблема в тому, що у VR гри величезна кількість графіки - це велике навантаження на пам'ять додатки, на його процеси. Це все потрібно добре профілювати, вибирати правильні параметри для кількості полігонів і робити це набагато складніше, ніж для звичайної 3D гри.

Присутній проблема управління. Останні покоління, які виходили в 2016-17 рр. вже мають додаткові джойстики де можна управляти перемиканнями і своєю поведінкою в грі. До цього управління здійснювалося тим варіантом, про який я розповідав раніше - ви довго дивіться на об'єкт, як би прицілюючись на нього, після чого відбувається взаємодія.

Одна з найголовніших проблем - інертне мислення. Мало хто mobile програмісти займалася програмуванням VR. Деякі тягнуть туди свої старі підходи до розробки ігор, які абсолютно не підходять до VR.

VR гри і VR додатки - це абсолютно інший дизайн і user experience. Абсолютно інший час роботи програми, тому що якщо звичайне Android додаток, припустимо, Angry Birds або будь-яка інша гра, де потрібно "клацати" по клавішах відніме у вас годину часу, максимум, то з VR додатками, абсолютно інша ситуація. Якщо програма побудована добре, то ти повністю в нього занурюєшся і вже звідти не виходиш. У мене ситуація доходила до того, що мій телефон просто нагрівався, коли я перебував у віртуальному світі третю годину поспіль.

Потрібно враховувати, що якщо людина занурюється настільки в гру, то потрібно заздалегідь подбати про його комфорт за довгим прибуваємо в VR. Так само потрібно робити додатки таким чином, щоб при підвищеному використанні ресурсів (графіка, пам'ять і т.д.) сам додаток потребяло якомога менше енергії.

Це психологічна проблема, про яку багато розробників не замислюються. Багато на це просто не звертають уваги.

Що зараз на ринку користується найбільшим попитом, а що буде затребуване в слід 5 років?

Знову ж це відео 360, фото 360 і це гри 3D, з одного боку. З іншого боку дуже великою популярністю користуються програми, які вдають із себе віртуальні подорожі. Коли одягаєш окуляри і опиняєшся, наприклад, в Коста-Ріці. Або є спеціальний додаток і спеціальна партнерська програма від Google для музеїв. Багато музеїв звернулися до Google за можливістю влаштовувати віртуальні прогулянки і переглядати експонати, наприклад, в Луврі.

Netflix має спеціальний додаток, де є можливість переглядати відео на всіх платформах VR, які зараз існують. Фактично, ви одягаєте окуляри і перед вами величезний 60-дюймовий екран, який знаходиться в невеликій відстані від вас, і створюється ефект присутності в IMAX.

Наступні 5 років буде затребуване знову-таки відео 360. Зараз знімається кілька фільмів на Netflix, де вони експериментує з таким форматом відео з повним зануренням в картинку фільму. Можливо, будуть впроваджені якісь інтерактивні речі з взаємодією і кіно буде розроблятися таким способом.

Як зараз монетизуються програми?

Монетизація рівно така ж, як і на звичайних Android платформах. Все, що працює на Android платформах, так само добре працює і в VR без будь-яких проблем.

Який обсяг ринку VR-додатків та ігор?

На даний момент, за статистикою Google, було завантажено 25 млн VR додатків. За оцінками різних компаній до 2020 року весь ринок VR як мобільного, так і не мобільного, становитиме 120 млрд доларів. Частина цього буде Hardware, частина вартість додатки, і природно, частина з цього буде контент. Під контентом я маю на увазі відео, фото і якісь ігрові програми.

Ринок віртуальної реальності в Росії склав 1.5 млрд рублів

Якщо ви знайшли друкарську помилку - виділіть її та натисніть Ctrl + Enter! Для зв'язку з нами ви можете використовувати [email protected] .