SeAMK tutkii ja kehittää: VIBIOL-hanke – Volumetrinen videokuvaus

[Jingle]

Katja Jaskari:

Tämä podcast on osa VIBIOL – Virtuaalitapahtumista uutta liiketoimintaa Etelä-Pohjanmaalle hankkeen julkaisuja.

Jenniina Palmu:

Tänään meitä täällä on keskustelemassa minä Jenniina Palmu, joka toimin tässä hankkeessa asiantuntijana Into Seinäjoen puolesta.

JP Tuhkanen:

Tervehdys! Tuhkasen JP ja Seinäjoen ammattikorkeakoulusta ja olen ollut tässä hankkeessa AV-asiantuntija.

Katja Jaskari:

Ja minä olen Katja Jaskari Seinäjoen ammattikorkeakoulusta ja hankkeen projektipäällikkönä.

[Jingle]

Katja Jaskari:

Tänään keskustellaan volumetrisestä videokuvauksesta. Volumetrinen videokuvaus on suhteellisen uusi tekniikka, joka mahdollistaa kolmiulotteisen videokuvan, tallentamisen ja toistamisen. Tässä podcastissa kerrotaan yleisluonteisesti volumetrisen videokuvauksen ja sen mahdollisuuksista.

[Jingle]

Katja Jaskari:

Mitä tarkoittaa volumetrinen videokuvaus ja miten se eroaa perinteisestä videokuvauksesta?

JP Tuhkanen:

Semmoinen simppeli vastaus tähän on, että volumetrinen videokuvaus aika lailla vastaa 3D- videokuvausta. Niin sen ehkä helpoiten ymmärtää. Eli normaalissa videokuvauksen me kuvataan 2D-tasoa, jossa ei ole minkäänlaista syvyyttä eli ei voida kulkea niin sanotusti kohteen ympärille. Ja tässä volumetrisessä videokuvauksessa tuotetaan tavallaan 3D-malli, joka on video ja sitten tämän mallin ympärillä voidaan kulkea esimerkiksi virtuaalisessa ympäristössä, vähän niin kuin oikeassa ympäristössä kierrettäisiin henkilön ympärillä. Eli tää on se suurin ero perinteiseen videokuvaukseen.

Katja Jaskari:

No miten tämä volumetrinen videokuvaus tallentaa ja toistaa kolmiulotteista tietoa?

JP Tuhkanen:

Eli näissä kameroissa on normaali RGP videokamera ja sen lisäksi infrapunakamera sekä syvyyssensori, joka toimii laserilla. Ja tämä lasersensori lähettää laserpusseja todella tiheästi, jotka osuu sitten kohteeseen ja ne palaa takaisin kameraan. Tästä saadaan sitten aika joka laserilta kestää kohteeseen ja takaisin ja tämän datan avulla ohjelmisto piirtää sitten tämän pikselin 3D-koordinaatistoon.

Jenniina Palmu:

No kamerat tuossa jo mainitsitkin, mutta millaisia laitteita ja tekniikoita käytetään volumetrisessä videokuvauksessa.

JP Tuhkanen:

Jes, elikkä näiden kameroiden lisäksi tarvitaan normaaleja tietokoneita ja sitten jonkunlainen softa, joka osaa tätä dataa ottaa sisään ja prosessoida. Ja sitten tähän yhteyteen on pakko mainita vielä se, että normaaleilla kameroillakin voi tätä volumetristä videokuvausta tehdä, jos siihen yhdistää tämmöisen syvyyssensori.

Jenniina Palmu:

Okei, eli kaikennäköistä niin laitetta kuin ohjelmistoa. Mitä haasteita liittyy volumetrisen videokuvauksen toteuttamiseen?

JP Tuhkanen:

Meillähän tässä projektissa oli oikeastaan suurimpana haasteena aikataulu. Käytännössä kolmen viikon aikana selvitettiin koko prosessi kalustoineen ja softineen ynnä muineen ja kameroiden määrä on semmoinen iso merkittävä tekijä. Jos me halutaan kolmesataakuusikymmentä astetta vaikka ihmisestä videokuvata, niin me tarvitaan vähintään neljä kameraa. Mitä enemmän niitä kameroita on, sen paremmin me saadaan se kohde mallinnettua.

Eli tuolla kun katsotaan ison kirkon toimintaa, niin siellä on isossa studiossa kymmeniä kameroita kohteen ympärillä sekä niin kun ympyrän kehällä horisontaalisesti että myös vertikaalisesti. Eli eri tasoilla on myös korkeuden suhteen, eli saadaan se tietty kamera kaappaamaan se tietty kohta siitä kohteesta hyvin.

Eli näinkin pienellä kamera määrällä tuli sitten haasteeksi se, että minkälainen etäisyys meillä on siinä kameran ja kohteen välillä, minkälainen kulma ja minkälainen pintamateriaali ja heijastuvuus tällä pinnalla on. Eli huomattiin aika viimemetreillä, että tietynlainen materiaali ja väri ei näkynytkään siinä kameran kuvassa, että jouduttiin hakemaan semmoista optimaalista etäisyyttä ja kulmaa.

Ja sitten meillä oli softa puoli aika iso haaste. Alkuperäisessä selvityksessä totesin, että kyllä niitä (softia) löytyy. Sitten kun lähdettiin selvittelemään ja ottamaan yhteyttä vähän tarkemmin, niin loppupeleissä niitä ei ollutkaan kuin pari-kolme (softaa) käytännössä, jotka olisi tähän koko prosessiin sopineet. Eli siellä oli haasteita ja se mikä me nyt tähän valittiin, on hinnaltaan erittäin saavutettava. Mutta sitten tämä oli betavaiheessa, jolloin ihan jokainen asia siinä ei toiminut toivotulla tavalla ja suureksi haasteeksi tuli tää kameroiden kohdistaminen toisiinsa, että saatiin semmoinen ehjä malli sitten toteutettua. Ja sitä piti vielä sitten kuvauksen jälkeenkin jälkikäteen sitten kohdistetulla vähän paremmin.

Sitten tuota tiedostomuodot oli semmoinen asia, että ne piti käytännössä kokeilla, että miten me saadaan sieltä kaappaus softasta se vietyä sitten sinne Unityyn, jolla tämä koko esiintyminen vietiin sitten sinne metaverseen. Ja sitten yhtenä haasteena oli se, että tällä aikataululla ei saatu selvitettyä sitä, että miten me saataisiin tehtyä tästä esiintymisestä semmoinen muuttuva 3D-malli. Meillä oli nyt tilanne, että meillä oli jokainen freimi, eli käytännössä 30 kuvaa, joka sekunti niin ne oli oma 3D-mallinsa jokainen freimi. Elikkä siellä oli aika paljon niitä freimejä sitten reilun kolmen minuutin esityksessä. Käytännössä se sitten animointiin se koko homma niin että näytettiin jokainen freimi erikseen ja sitten edellinen piilotettiin. Eli siinä olisi vielä kehittämistä, että miten me saadaan se tavallaan yhtenäisenä 3D-mallina sitten ulos ja se tietysti vähentäisi tuota datan määrää ja tekisi tiedostokoosta huomattavasti pienemmän.

[Jingle]

Katja Jaskari:

No mitä tällaisella volumetrisellä videokuvauksella voi tuoda lisättyyn todellisuuteen AR:n tai tähän virtuaalitodellisuuteen eli VR:n?

JP Tuhkanen:

Joo mä oon sitä mieltä, että tää on todella helppo tapa tuoda 3D- malleja, eläviä sellaisia, AR:ään tai VR:ään. Ja varsinkin se miten se pystytään hyvin nopeasti tekemään, niin voidaan vaikka sitten puhelimen kautta tarkastella jotain mallinnettua ihmistä tuolla niin sanotussa virtuaalitodellisuudessa. Eli mä näen sen, että tää on nopea ja helppo tapa tuoda virtuaalitodellisuuteen kohteita.

Jenniina Palmu:

No joo tuossa viittasit myös jo tuohon meidän hankkeeseen, mutta kerro vielä vähän tarkemmin, että miten tässä meidän VIBIOL-hankkeessa tätä volumetristä videokuvausta hyödynnettiin ja mitä tehtiin?

JP Tuhkanen:

Joo me päätettiin tuota tehdä tämmöinen musiikkiesityksen tallentaminen volumetrisellä videokuvauksella Antti Railion kanssa. Ja hänhän oli sitten hyvin innokkaasti heti alusta asti mukana ja on ollut virtuaalitodellisuudesta ja tekniikasta hyvin innostunut jo aiemmin ja sen takia olikin kiva, että hänellä oli semmoinen hyvä fiilis.

Ja tosiaan tämän kolmen viikon aikana mitä meillä oli laitteisto ennen tätä tallentamista, niin selvittelin koko tämän prosessin alusta loppuun asti ja tietysti Antille kävin ensin läpi, että mitä tämmöinen tekniikka ylipäänsä on ja mitä se tarkoittaa ja miltä se näyttää. Ja näiden jälkeen sitten tuota tietysti piti miettiä, että kun Antin esitys vietiin tuonne Lakeuden Ristiin, niin miten se ääni saadaan metsästettyä sitten siihen ympäristöön soveltuvaksi. Loppuvaiheessa tosiaan huomattiin sitten tämä vaatetus senkin vaikutus, että piti optimoida sitä kameroiden sijoittelua

Antilta tosiaan tallennettiin yksi kappale volumetrisesti videokuvaten täällä SeAMKin studiossa. Eli meillä oli 99 % tarvittavista toimenpiteistä oikeastaan tehty jo siinä vaiheessa, kun Antti astui meidän studioon ja alkoi laulamaan. Siinä oli kaikenlaista selvitettävää ja testattavaa ja me toteutettiin se tallennus siten, että meillä oli viisi kameraa, josta loppupeleissä päätyy neljä sitten lopputulokseen. Jokainen kamera oli kiinni omassa tietokoneessaan ja sitten tämä meidän isäntätietokone keräsi tämän datan ja näytti ne kaikki yhdessä.

Siihen nähden, että tää oli ihan eka kerta, kun tämmöinen prosessi vietiin alusta loppuun asti läpi ja vielä ottaen huomioon sen, että Suomessa ei ilmeisesti ole tällaista artistin esiintymistä toteutettu aikaisemmin volumetrisellä videokuvauksella, niin täytyy olla ihan tähän laatuun tyytyväinen. Toki se ei ole nyt vielä parasta mitä saa, mutta aikataulu, resurssit ja budjetti huomioon ottaen niin meni kyllä ihan paremmin jopa kuin odotin.

Jokainen voi halutessaan käydä vaikka Coldplayn My Universe musiikkivideon tsekkaamassa, niin siinä on hyödynnetty muun muassa tätä volumetristä videokuvaustekniikkaa.

[Jingle]

Jenniina Palmu:

Joo, tää oli kaiken kaikkiaan munkin mielestä varmaan koko projektiryhmän mielestä mielenkiintoinen kokeilu ja ensimmäistä kertaa nähtiin tällainen asia. Millaisia kehitysnäkymiä ja innovaatioita voidaan odottaa tältä volumetriseltä videokuvaukselta tulevaisuudessa? Onko sulla siihen liittyen jotain ajatuksia?

JP Tuhkanen:

Joo, täytyy sanoa, että nyt ollaan tekniikan ja kustannuksien osaltasi semmoisella tasolla, että melkein jokaisella on tähän tekniikkaan varaa. Ja sen unohdin tuossa aikaisemmin sanoa että tää tekniikkahan mahdollistaa sen, että ei tarvitse olla mitään kuvaustaustaa green screeniä tai vastaavaa eli se juuri tämä laserkeilaus niin kun mahdollistaa sen että vain se mihinkä se laser osuu tietyn alueen sisällä niin vain se näytetään ja tallennetaan. Se antaa kyllä paljon mahdollisuuksia jatkoon. Ja mä henkilökohtaisesti ajattelen että meidän itsemme siirtäminen virtuaalitodellisuuteen ilman tämmöisiä avatareja tulee olemaan tosi helppoa. Ja vaikka ihan yhdellä kameralla toteutettuna niin siihen saa sen kolmiulotteisen fiiliksen yllättävän hyvin. Elikkä tää on ehkä se ensimmäinen mitä mä ajattelen, että pystytään hyödyntämään. Varmasti on paljon kohteita ja käytänteitä missä tätä voidaan hyödyntää.

[Jingle]

Katja Jaskari:

VIBIOL-hankkeen kohderyhmänä ovat olleet tapahtumateollisuusalan yritykset sekä muut alueen PK-yritykset ja kolmannen sektorin toimijat ja yhdistykset. Miten näkisit sen, että mitä hyötyä volumetrisestä videokuvauksesta voisi olla heille?

JP Tuhkanen:

Joo, mielestäni tää kyllä tuo tapahtumille tosi paljon itse asiassa mahdollisuuksia. Eli voidaan tarjota vaikka paikan päällä lisäsisältöä, joka on volumetrisesti kuvattua, ihan kokonaisia performansseja tai sitten pläjäyksiä tai vastaavia juontoja ynnä muita. Ja varsinkin se, että se voidaan tarjota puhelimen kautta eli käyttäjä katsoo sen puhelimensa kautta sitä sisältöä, niin sitä ei tarvitse siellä paikan päällä tavallaan järjestää. Ja totta kai ihan kokonaisia performansseja voidaan tarjota virtuaaliympäristössä ja totta kai myös siihen live esiintymiseen voidaan tuoda tämän avulla jotain lisäelementtejä, jotka näkyy vaan AR:n avulla, mutta ei siellä fyysisesti lavalla. Eli kyllä tässä on paljon mahdollisuuksia, jos vaan jos vaan tämä otetaan tai valjastetaan käyttöön.

[Jingle]

Katja Jaskari:

Kiitoksia.

JP Tuhkanen:

Kiitos.

Jenniina Palmu:

Kiitos. Tää oli mukava keskustelu.

[Jingle]