Air Race X: Imaginea AFC aduce sunet de realitate extinsă la Shibuya

În octombrie 2023, Air Race X Shibuya Digital Round, aici s-au văzut avioane virtuale rulând pe străzile din Shibuya, Japonia. Pentru prima cursă aeriană din lume organizată prin realitate extinsă (XR), sunetul realist a fost o parte esențială a spectacolului. Tehnologia audio imersivă Yamaha AFC Image a asigurat că evenimentul a fost o experiență palpitantă, ultra-realistă.

Cursa cu monoplanuri sportive la viteze de până la 370 km/h (230 mph) printr-un oraș nu este, evident, practică, așa că Air Race X a fost dezvoltată ca „Formula 1 a cerurilor” pentru a crea atmosfera și spectacolul avioanelor virtuale care se întrec între ele pe străzi. Opt dintre cei mai importanti piloți de curse aeriene din lume au zburat pe un curs identic în locații îndepărtate din întreaga lume, cu date precise de zbor colectate și analizate de sediul competiției. Aceste date au fost apoi folosite pentru a crea o serie de „curse” virtuale prin Shibuya, spectatorii vizionând animații ale aeronavei prin ochelari de realitate augmentată (AR) și smartphone-uri.

Provocarea

„Cu Air Race X, ne-am dorit să creăm un nou stil fără precedent de sport pentru spectatori”, spune (dl. Tsutsumi de la PATHFINDER Co., Ltd.). „Am vrut să reproducem puterea și poziția sunetului motorului aeronavei, într-un mod unic pentru sportul motorizat, într-un mediu de spectator AR.”

Prezentat ca un „sport cu motor în cinci dimensiuni care transcende timpul și spațiul”, spectatorii s-au adunat la Shibuya QWS, un spațiu creativ și de rețea la etajul 15 din clădirea zgârie-nori din Shibuya Scramble Square. De aici au putut urmări aeronava virtuală (folosind datele reale de zbor) zburând în jurul cursului virtual.

Sunetul a fost un element esențial în crearea unei impresii realiste a avioanelor care zboară efectiv, totuși un sistem PA stereo convențional nu ar fi fost capabil să producă un sentiment suficient de realist al mișcării sunetului.

De asemenea, simpla reproducere a unei surse audio nu a fost suficientă pentru a crea un sentiment de realism. Sunetul care ajunge la urechile noastre nu înseamnă doar undele directe, ci și cele reflectate de clădiri și alte obiecte. Aceasta a fost o altă provocare cu care s-a confruntat echipa Yamaha, deoarece sunetele reflectate care ar fi produse din clădirile orașului din Shibuya nu au fost create în spațiile deschise în care au fost făcute înregistrările.

Soluția

Sub conducerea supervizorului Hiromu Ohgi, Spatial Audio Group din cadrul diviziei de soluții profesionale Yamaha a implementat sistemul Yamaha Active Field Control (AFC) Image pentru a localiza sunetul pentru spectatori, maximizând impresia că aeronava virtuală produce sunet real.

AFC Image poate acoperi o suprafață de până la un kilometru pătrat (0,4 mile pătrate) și este, de asemenea, capabilă să simuleze atenuarea distanței. Acest lucru a însemnat că am putut reproduce mișcarea imaginii sonore și modificările de volum la o distanță de până la un kilometru distanță, reproducând astfel sunete de zbor foarte realiste”, spune Hiromu.

Sistemele AFC pot folosi protocolul Open Sound Control (OSC) care, pentru această aplicație, a însemnat că date utile care nu sunt direct legate de sunet - cum ar fi informațiile de zbor poziționale - ar putea fi utilizate pentru a transmite informații către sistemul AFC Image pentru a reprezenta locația aeronavei virtuale din spațiul aerian Shibuya.

Sunetele au fost reproduse folosind 13 difuzoare amplificate pe două căi echipate Yamaha DZR10-D Dante și un subwoofer amplificat echipat cu Dante DXS15XLF-D. Așezat pe podea la o distanță de aproximativ doi metri unul de celălalt, reproducerea sistemului AFC Image a mișcării sunetului aeronavei a fost reprodusă atât de ușor și realist încât, chiar și cu distanța dintre difuzoare, suna complet natural.

„Pentru a crea un spațiu de sunet mai realist, am folosit Reverb 3D a AFC Image”, adaugă Hiromu. „Acesta este un efect unic care oferă reverb cu o structură de sunet reflectată, bazată pe poziția sursei. Pentru a crea cu precizie zgomotul aeronavei care zboară în jurul Shibuya, am creat o presetare în care energia reflexiilor timpurii este mare, pentru a imita legătura cu clădirile, în timp ce reverberațiile târzii sunt aproape inexistente, ca și cum sunetul ar dispărea în distanță. Cei din public au spus că era ca și cum ar putea simți locația aeronavei, doar din sunet!”

„Oamenii au fost foarte interesați când le-am explicat că sistemul a calculat ecourile clădirilor din jur, pentru a le face cât mai realiste posibil”, adaugă domnul Tsutsumi. „Sunetul și vibrațiile erau atât de puternice încât era aproape ca și cum publicul ar fi fost afară, în ciuda faptului că era în interior. Experiența de a simți sunetul prin întregul corp, mai degrabă decât de a-l auzi, și acea senzație care se schimbă pe măsură ce aeronava virtuală trece a fost foarte bună.”

Sistemul de reproducere a sunetului a fost de asemenea conectat la Dante, folosind Steinberg Nuendo DAW pentru a direcționa sunetul, găzduit pe un PC cu un card AIC-128D Dante Accelerator, către o consolă de mixare digitală Yamaha CL1 și procesor AFC, apoi către difuzoarele individuale.

Un PC de control care rulează un mediu Cycling ’74 Max8 a fost folosit pentru a trimite informațiile despre poziția sursei de sunet către sistemul AFC Image prin OSC. Sincronizarea între datele de poziție a sursei de sunet și sursa de sunet de redare a fost stabilită folosind MIDI; semnalele de control MIDI trimise de la Max8 la Nuendo, permițând ca redarea Nuendo să fie controlată de software-ul Max8.

Imaginile AR au fost reproduse pe platforma Psychic VR Lab Inc. STYLY VR/AR. Sincronizarea cu AR a fost stabilită pe o bază de timp, cu Max8 ajustat pentru a reda automat sursa de sunet în funcție de timp.

„Planul nostru este să dezvoltăm Air Race X într-un eveniment global de clasă mondială și credem că legătura dintre XR și tehnologia sunetului este esențială pentru ca acesta să crească”, spune domnul Tsutsumi. „Prin promovarea aeronavelor realiste care zboară cu Air Race X, am reușit să lucrăm cu oameni din XR și producția de sunet cu care nu am mai intrat niciodată în contact. A fost cu adevărat stimulativ pentru noi și am dori să extindem utilizarea acestui tip de sistem în alte evenimente.”

“AFC System”