Spatial computing, până acum doar în filme SF, ne va schimba viața și arată așa

​Au fost două momente până acum: omul a creat o lume virtuală, apoi a completat-o pe cea reală cu elemente digitale. Următorul pas va fi construirea unui spațiu care „răspunde” la comenzi. De-aici începe ideea de „spatial computing”. Pentru cum o vom folosi există câteva indicații în filme de acum un deceniu, cel puțin.

În 2009 a fost lansat filmul „Avatar”. Acțiunea era plasată pe-o altă planetă și la un secol și jumătate distanță de aceste vremuri. Fabulos pentru mine atunci a fost că oamenii de-acolo interacțiunea cu niște holograme, iar ele și „răspundeau”. Un an mai târziu a apărut „Iron Man 2” ideea a fost reluată, doar că hologramele interactive erau chiar pe Pământ. Realitatea acelor vremuri avea Leap Motion, un gadget care îți permitea să interacționezi cu un PC fără mouse sau tastatură, doar prin gesturi făcute în aer. L-am și încercat, în 2013, doar că era cel mult un gimmick cu oarecare speranțe de-a fi dus mai departe.

Mi-am adus aminte de aceste momente, deoarece e încă o tehnologie care ajunge în tine în filme sub forma unui produs imaginat, iar mai târziu devine și realitate. Nu e însă niciodată un moment zero, ci diverse inspirații. Așa am aflat că ideea de „spatial computing” a fost fundamentată în 2003 în teza lui Simon Greenwold de la MIT. El a definit acest nou „spațiu” așa: „o componentă esențială pentru a face din computerele noastre parteneri mai capabili în munca și relaxarea noastră”.

Au fost nevoie de aproape 20 de ani, și probabil încă un deceniu în plus, ca lucrurile enunțate de Greenwold în 2003 să se materializeze. Asta pentru că abia acum tehnologia cunoaște o dezvoltare considerabilă în inteligență artificială, computer vision, fotogrametrie, senzori care pot mapa zone și obiecte, senzori foto prin care computerele să „vadă” și chiar realitatea augmentată completată de hardware haptic. Până la urmă și cipurile au devenit extraordinar de bune. Cel mai bun exemplu, deși rudimentar, pentru spatial computing e chiar un robot aspirator capabil să „înțeleagă” spațiul în care se desfășoară. La o scară ceva mai mare sunt Autonomous Guided Vehicles (AGV), adică roboții din depozite, iar mai apoi mașinile care, într- o zi, vor fi autonome.

Așa că până acum avem: VR, AR și MR (mixed reality) și, mai nou, XR (extended reality). Spatial computing intră în ultima categorie, care-i și-o umbrelă pentru toate celelalte. XR vine și ca o extensie firească a felului în care suntem ca oameni: interacționăm cu obiecte și-o lume 3D, nu cu obiecte 2D printr-un ecran. Pentru a ajunge la o interacțiune cât mai mare cu computerele, deocamdată este construită infrastructura.

Ecosistemul necesar e în plină dezvoltare, acum se remarcă soluțiile care îl folosesc

În infrastructura de care ziceam mai sus intră ecosistemul Internet of Things – o mulțime de senzori de toate felurile care pot oferi date, de la localizare la temperatură și presiune, apoi există algoritmi din sfera inteligenței artificiale care pot „lua” decizii sau alerta și, nu în ultimul rând, pentru toate acestea trebuie construite mecanismele prin care să poți interacționa de la distanță cu ele. Cu o astfel de arhitectură tehnologizată se poate acționa mai ușor împotriva unui incendiu. Senzori deja disponibili pot transmite date despre posibila cauza a incendiului și cât de răspândit, apoi care e cea mai rapidă rută pentru a ajunge la acesta.

Dusă un pic mai departe ideea, pompierii pot interveni cu drone special create pentru așa ceva și controlate de la distanță pentru a limita răspândirea incendiului. Într-un astfel de scenariu intră aproape toate tehnologiile deja implementate în diverse forme, de la GPS și monitorizare prin senzori până la vizualizat datele într-o manieră ușor de interacționat cu ele de către un operator uman.

Un demers către XR a fost făcut și în cadru medical. Cercetători de la Universitatea din Alberta au creat un sistem, denumit ProjectDR, care afișează radiografii direct pe corpul pacientului, iar acestea sunt „receptive” la felul în care pacientul respectiv se mișcă. Prototipul include un sistem de motion-tracking bazate pe camere cu infraroșu, markeri pe corpul pacientului și folosește principiile spatial computing.

Până și în planificarea și dezvoltarea orașelor se poate dovedi o componentă importantă. AR poate fi folosit pentru a plasa o clădire fix unde e dorită, fără machete scumpe și care consumă timp, iar senzorii din oraș pot oferi informații despre presiunea și calitatea aerului, nivelul de zgomot sau temperaturile dintr-o zonă anume. În egală măsură datele de la senzori pot fi folosite pentru a evalua ce impact are o anumită dezvoltare a orașului.

XR poate fi la fel de bine și pilonul de bază pentru 5G, iar ambele tehnologii să evolueze în tandem. Pentru cea dintâi sunt necesare, mai ales pentru publicul larg, două lucruri: capabilitatea hardware-ului de-a urmări privirea utilizatorului și capacitatea de a-i urmări mâinile. În cele mai multe scenarii cotidiene, ca oameni, ne folosim mâinile pentru interacțiuni. Sigur, ar putea fi la fel de importante comenzile vocale, dar de multe ori e mai ușor să atingi și să miști cu mâna decât cu vocea.

În industrie un experiment cu ceva șanse de reușită este Spatial Toolbox de la Vuforia, deocamdată gândit ca o cale de familiarizare cu tehnologia. E un produs open-source prin care pot fi dezvoltate interfețe destinate hardware-ului din sfera spatial computing.

Magic Leap încearcă deja să-și consolideze poziția de jucător important în zona de spatial computing cu experimente și parteneriate din ce în ce mai diverse, cum ar fi cel cu Jabil. Și permite, totodată, numeroase limbaje de programare și platforme, de la Unity cu C# până la MagiScript și Lumin Web Platform cu Javascript, CSS și HTML. Există însă demersuri de-a pune bazele MGS, un limbaj de programare construit de la zero pentru spatial computing.

Realitatea pe care o știi, dar dusă la următorul nivel

„Noi vedem mixed reality drept a patra etapă de dezvoltare în computing”, a declarat pentru HotNews Lucian Ungureanu, Cloud Business Group Lead, Microsoft România. Viziunea companiei e spre mixed reality, cu această combinație între AR și VR. Oferă atât suportul software, cât și cel hardware atât de important pentru un produs de XR bun. În acest caz e vorba de a doua versiune de HoloLens, casca proiectată încă din start ca să respecte viziunea mixed reality. Acum e mai ușoară și e mai computer ca niciodată. Rulează Windows 10, de exemplu, și compania pune la dispoziția dezvoltatorilor instrumentele necesare ca să-l exploateze la maximum.

„Ce oferă HoloLens și abordarea mixed reality e acces la lumea reală peste care suprapui obiecte digitale cu care poți interacționa. Iar aplicabilitățile pentru așa ceva sunt numeroase, de la utilizări în industrie și educație până la impactul în viața unui utilizator obișnuit. Cel mai mare drive, în acest moment, este însă în zona de business. Aici vedem cele mai multe utilizări și scenarii de adopție”, a completat Lucian.

Odată cu astfel de dispozitive de XR, dispozitivul devine, propriu-zis, parte din tine. „HoloLens îți pune o lume întreagă în fața ochilor, iar în timp va deveni mai mic și mai ușor de purtat”, a explicat Lucian. Ca hardware, produsul Microsoft folosește senzori de adâncime care scanează mediul și îl recreează pentru a putea fi plasate obiecte digitale în el. Apoi, ce ajută cel mai mult sunt cele patru camere care asigură trackingul mâinii. Datele de la acestea sunt susținute de un algoritm de AI care reușește să perceapă cele mai subtile gesturi făcute cu degetele. Nu în ultimul rând sunt cele două camere cu infraroșu care asigură eye tracking.

Lucian mi-a prezentat cele șase scenarii de utilizare, iar primul este cel de training și aport pentru așa dispozitive în educație sau simulare. „În HoloLens pot fi implementate diverse scenarii pe care un angajat le poate pune în practică într-un mediu foarte sigur. La nivel mondial, companiile cheltuiesc în jur de 370 de milioane de dolari pe training anual. În acest context, amintesc un raport din 2019 care arată că rezidenții medicali care au făcut practică prin tehnologii AR au progresat mai rapid, mai bine și au făcut mai puține greșeli după absolvire”, a explicat Lucian. În România, compania colaborează cu Regina Maria pentru pregătirea viitorilor medici cu astfel de echipamente. „Ei au la dispoziție un manechin hi-tech care poate reproduce orice scenariu din viața unui pacient, atât cronic, cât și acut. Poate fi resuscitat, intubat etc., iar peste manechin venim cu Hololens și astfel studentul e ajutat să înțeleagă cum să facă anumite operațiuni. Nu în ultimul rând, manechinul trimite date, prin senzori, despre cât de corectă e procedura.”

Al doilea scenariu este în automotive, unde a dat exemplu Autoliv, producător de sisteme de siguranță pentru mașini. Fiecare mașină are un anumit mod de-a conecta centurile de siguranță, de exemplu. Asta duce la o grămadă de scenarii de testare, iar angajații folosesc acum HoloLens pentru a verifica cu zeci de puncte de prindere unde ar trebui să fie fixarea corectă.

În al treilea scenariu Lucian a menționat asistența la distanță. „Sunt situații în care ai nevoie de intervenția unui expert pentru a rezolva un anumit scenariu, iar experții sunt resurse scumpe și nu stau în fiecare locație a unei companii În acest sens, HoloLens permite intervenția la distanță și expertul respectiv poate ghida un angajat în procedura necesară. Nu doar că expertul vede imaginea pe care o vede persoana din locație, dar poate adăuga elemente digitale, cum ar fi să indice unde anume e nevoie de intervenție sau să suprapună anumite planuri”, a explicat Lucian.

Sursa foto:inventinginteractive.com/ Avatar

Firesc, nu lipsesc din schema scenariilor de utilizare arhitectura și designul. Proiectele pot fi modificate în timp real, chiar și de alte persoane, aflate în diverse alte zone, și pot fi adăugate diverse variabile, cum ar fi consistența solului sau intensitatea vântului. Toate acestea depind doar de software-ul folosit pentru a proiecta.

Este apoi scenariul asistenței la vânzare, atât în industria auto, cât și în imobiliare sau retail. „Procesul de vânzare devine mult mai simplu. În cazul achiziției unei mașini, de exemplu, poți avea o imagine cu autoturismul pe care îl vrei și începi să-l configurezi. Îl vezi în timp real cum arată”, a detaliat Lucian.

Nu în ultimul rând, e vorba de scenariul divertismentului prin gaming și filme și nu numai. Componenta de entertainment a fost mereu un motor pentru VR, iar în următorii ani vom vedea o dezvoltare accelerată în XR. Lucian a mai spus că în HoloLens au reușit să creeze un personaj digital, un avatar, care să reprezinte cât mai bine persoana reală. „Nu e doar o imagine pe display, e un corp 3D cu care poți interacționa, iar următoarele iterații vor fi din ce în ce mai fidele”, a mai adăugat acesta.

Momentul zero ar putea fi foarte bine cel al hologramelor

Am vrut ceva mai ancorat în realitatea spatial computing și XR, așa că am apelat la Andreea Bunica care a cofondat rruii.io – proiecte de AR, computer vision și aplicații robotice – și a fondat mean-bean – un startup de hard-tech în spațiul AR holografic. Din cum mi-a prezentat situația, vorbim, deocamdată, de-o utilizare predominantă în industria gamingului și a entertainmentului. Vin însă următorii ani în care o să vedem o dezvoltare deosebită în zona aceasta, cu dezvoltarea multiversului – accelerat în prezent de dezvoltarea NFT-urilor și a spațiului crypto.

„Piața de gaming, precum și strategii B2B pentru soluții corporate sunt spațiile care oferă cele mai agile oportunități de maturare a tehnologiei AR. Companii precum Tilt Five aduc tehnologia AR într-o zonă suficient de confortabilă pentru table-top AR entertainment, iar jucători principali ca Magic Leap sau HoloLens au adoptat aceeași strategie și construiesc parteneriate atât corporate, cât și guvernamentale. Aplicațiile principale aici se extind către industria medicală și către aplicații destinate armatei”, a adăugat Andreea. Ziceam însă de următorii ani către care Andreea se uită cu optimism. „Cea mai exciting parte a «spațial computing» nu există încă pe piață, din ce-am văzut, și anume dezvoltarea hologramelor și a spațiului cu adevărat AR, unde lumea fizică se îmbină cu cea digitală. Aplicațiile aici sunt nelimitate”. Aceasta este industria în care și activează atât prin studioul ei, cât și la Universitatea din Hong Kong, unde predă și cercetează aplicații AR în industria construcțiilor.

În cazul aplicațiilor de AR/VR, în prezent, cel mai des vorbim de crearea sau suprapunerea unor elemente digitale și acestea sunt dependente de un head-mounted display. „Cel mai frecvent mediu pentru a crea o aplicație AR/VR pentru HMD este Unity (Java, C# sau chiar visual programming prin Bolt). Principalele echipamente de tip HMD, de la Hololens și HTC Vive până la Oculus și Magic Leap, oferă SDK-uri compatibile cu Unity. În afară de HMD, sunt multe oportunități, mai ales pentru testing și validare de idei, pentru a dezvoltă aplicații iOS/ Android sau web-based. Popularitatea aplicațiilor AR web-based a crescut semnificativ în timpul pandemiei, în principal datorită unui interes sporit din partea pieței de advertising. Aici, tehnologia necesară sunt skilluri clasice pentru web-programming: HTML, CSS, Java. Platformele diferă, dar cele mai populare sunt Spark AR și 8th wall – sau Unity, din nou, pentru exportarea de aplicații pentru mobil stand-alone”.

De la Andreea am mai aflat că machine learning, dacă nu era evident deja, nu-i de ignorat. Este o oportunitate enormă, mai ales pentru AR, deoarece poate oferi aplicații imediate în lumea fizică. „Eu folosesc machine learning, în principal, pentru assistance derivat din data collection și analysis. De exemplu, poți avea aplicații care emit avertismente/prompturi în timp real, în baza datelor observate prin camerele deja existente în device-urile AR. Nu ai nevoie, propriu- zis, de ML ca să poți dezvolta o aplicație AR, dar este un topper și un domeniu de cercetare în completă expansiune”, a adăugat ea.

Sursa foto:inventinginteractive.com / Avatar

Infrastructura, cum pomeneam mai sus, s-a dezvoltat. Iată, din 2020, iPhone are și un senzor LiDAR, până nu demult rezervat mașinilor autonome sau altor aplicații. Așa că am vrut să aflu de la Andreea dacă astfel de salturi și adăugiri au impact real – și cum le-ai putea folosi. „Componenta de scanning nu te ajută, per se, pentru dezvoltarea unei aplicații AR/VR. În schimb: scanning + AR/VR + puțin robotics/hardware development poate să producă workflow- uri mixte foarte interesante, care pot fi de folos pentru multe aplicații”, a explicat ea. „Una dintre activitățile mele, atât prin teaching și researching, cât și în mediul de afaceri este să dezvolt aplicații AR pentru industria construcțiilor. Pentru noi, scanning este o oportunitate enormă pentru dezvoltarea aplicațiilor acestea mixte, mai ales în zona de analytics, real-time dată flow – cum ar fi, real-time error checking în comparație prin PCD analysis și comparație cu target 3D model – și pentru simularea proceselor de asamblare și construcție. Acum că iPhone are un senzor LiDAR facilitează workflow-urile mai complexe și extinde audiența target care poate dezvolta astfel de lucruri – precum studenții!”

Ziceam mai sus că unele lucruri încep ca un gimmick și vezi în timp cum sfârșesc. Într-o oarecare măsură aici este și XR, dar este firesc, după cum mi-a zis Andreea, pentru că tehnologia este încă la stadiul de toddler. „Avem nevoie de încă puțin timp de gimmick-ness până când o să avem suficiente cunoștințe și suficient impact în piață ca să putem să creăm aplicații cu adevărat folositoare. Este un spațiu liber pentru experimentare – încurajez mereu oamenii să reflecte în mod critic asupra experimentelor cu tehnologia și să găsească scop chiar și în fluff și gimmick-ness. AR/VR au o componentă enormă de tip sociologic și psihologic, și este responsabilitatea noastră ca dezvoltatori să creăm impact pozitiv și să informăm”, a completat ea.

Deocamdată, suntem în punctul în care se experimentează și deloc fără rost. Ce se poate intui despre această evoluție e că va duce la un tip de tehnologie care va părea oarecum SF față de unde era computerul la începutul anilor 2000 – și asta în mai puțin de jumătate de secol, poate chiar mai puțin de trei decenii de la debutul mileniului. Și, odată cu demersul acesta și stabilizarea utilităților, componenta de hardware va fi și mai puțin în atenția utilizatorilor, primând cea software – și computerul în sine va fi tot mai puțin perceput conștient. Ceea ce nu-i puțin lucru, să fie atât de prezent și atât de puțin perceput.

Pagini de [cod]​