Sejumlah paten baru dari Sony Interactive Entertainment baru saja go public, mengungkapkan beberapa potensi karya yang sedang dicoba oleh Sony, termasuk paten pelacakan wajah PlayStation VR yang akan melacak fitur wajah untuk memberikan pengalaman yang lebih realistis bagi pengguna.
Bagian pertama dariPaten “Integrasi fitur wajah yang dilacak untuk pengguna VR dalam lingkungan realitas virtual”.Ini membahas kemampuan pelacakan wajah yang mengawasi pergerakan wajah. Ini termasuk gerakan mata dan mulut, dan dalam contoh yang digunakan perusahaan, ini menunjukkan avatar di layar yang meniru ekspresi wajah yang sama dari pemakai HMD yang sedang diproses ke pengguna lain yang tidak menggunakan HMD.
Sebuah metode untuk menampilkan adegan realitas virtual (VR) yang dapat dilihat melalui tampilan yang dipasang di kepala (HMD) disediakan. Metode ini mencakup pendeteksian pandangan mata pengguna menggunakan satu atau lebih sensor pandangan mata yang ditempatkan di rumah layar HMD. Dan, menangkap gambar mulut pengguna menggunakan satu atau lebih kamera yang terletak di HMD, dimana gambar mulut tersebut mencakup pergerakan mulut. Kemudian, metode tersebut mencakup pembuatan wajah virtual pengguna. Wajah virtual meliputi gerakan mata virtual yang diperoleh dari tatapan mata pengguna dan gerakan mulut virtual yang diperoleh dari hasil tangkapan gambar mulut tersebut. Metodenya termasuk menghadirkan avatar pengguna dalam adegan VR dengan wajah virtual. Avatar pengguna dapat dilihat oleh pengguna lain yang memiliki akses untuk melihat adegan VR dari perspektif yang memungkinkan tampilan avatar yang memiliki wajah virtual pengguna. Ekspresi wajah dan gerakan mulut pengguna yang memakai HMD dapat dilihat oleh pengguna lain tersebut, dan wajah virtual pengguna ditampilkan tanpa HMD.
Terlebih lagi, perusahaan merinci dalam paten kemampuan untuk mengidentifikasi hidung pengguna. Ya, kami tahu ini cukup aneh tetapi dari penjelasan yang diberikan sepertinya masuk akal mengapa mereka melakukan hal tersebut karena mungkin menawarkan pengalaman yang lebih realistis bagi pengguna.
Implementasi berikut dari pengungkapan ini menyediakan metode, sistem, media yang dapat dibaca komputer, dan sistem cloud, untuk merender tampilan realitas virtual (VR) ke dalam adegan VR untuk presentasi ke tampilan yang dipasang di kepala (HMD). Salah satu caranya adalah dengan merasakan posisi hidung pengguna saat HMD dikenakan oleh pengguna. Metode tersebut meliputi identifikasi model hidung pengguna berdasarkan posisi yang dirasakan. Model hidung mempunyai dimensi yang didasarkan pada posisi hidung pengguna saat HMD dipakai. Metode ini selanjutnya mencakup rendering gambar ke layar HMD untuk menyajikan adegan VR. Gambar tersebut ditambah untuk memasukkan data gambar hidung dari model hidung. Dalam satu contoh, HMD dikonfigurasi untuk menangkap ekspresi fitur wajah yang digunakan untuk menghasilkan wajah avatar pengguna, dan menyampaikan ekspresi wajah dan/atau emosi.
Oleh karena itu, perwujudan yang dijelaskan di sini memungkinkan sistem HMD melacak fitur ruang pengguna, saat mengenakan HMD. Fitur-fiturnya dapat mencakup identifikasi karakteristik hidung pengguna dan menggunakan informasi tersebut untuk menampilkan setidaknya sebagian hidung pengguna dalam gambar yang disajikan ke layar HMD untuk melihat konten realitas virtual. Dengan menghadirkan gambar hidung pengguna pada gambar pemandangan yang dilihat, maka gambar atau gambar sebagian hidung pengguna akan menyerupai tampilan yang biasa dilihat pengguna saat tidak memakai HMD. Dengan demikian, otak pengguna yang melihat gambar akan terbiasa melihat setidaknya sebagian dari hidung pengguna sendiri dalam adegan tersebut, dan otak pengguna akan secara otomatis menyaring keberadaan hidung tersebut.
Namun, dengan memberikan tampilan hidung pengguna atau sebagian hidung pengguna dalam adegan, pengguna dapat merasakan pengalaman yang lebih realistis saat melihat konten realitas virtual. Jika hidung pengguna tidak ditampilkan, setidaknya sebagian dalam gambar, tampilan atau persepsi pengguna terhadap adegan realitas virtual akan menjadi kurang alami. Oleh karena itu, dengan menyediakan integrasi ini ke dalam gambar, di lokasi di mana pengguna berharap untuk melihat setidaknya sebagian dari hidung pengguna, pandangan ke dalam konten realitas virtual akan lebih alami, dan seperti yang diharapkan oleh reaksi alami otak pengguna. untuk menyaring hidung. Perwujudan yang dijelaskan di sini menyajikan metode untuk mengidentifikasi hidung, mengkarakterisasi karakteristik fisik hidung, dan kemudian menghasilkan model hidung untuk disajikan setidaknya sebagian dalam adegan.
Dan di bawah ini ada beberapa gambar, yang menunjukkan cara kerjanya dalam game dengan titik pusatnya adalah hidungnya sendiri. Anda mungkin juga memperhatikan headset (mungkin PSVR) memiliki desain yang sedikit berbeda dari model aslinya. Jangan menganggap ini sebagai indikasi bahwa headset VR baru akan terlihat seperti ini jika Sony terus mendukungnya di PlayStation 5.
Kemampuan melacak ekspresi wajah melalui headset itu sendiri merupakan ide yang cukup keren dan sudah diuji oleh perusahaan headset VR lainnya. Salah satunya adalah Veeso, yang menerbitkan video pada tahun 2016 yang menunjukkan hal itu. Sayangnya, mereka tidak pernah mencapai tujuan Kickstarter mereka dan proyek tersebut segera dibatalkan. Facebook juga sedang bereksperimen dengan ide tersebut.
Bagi Anda yang merupakan pengguna aktif VR, apakah ini sesuatu yang menarik bagi Anda? Saya tahu bagi kita, kita dapat melihat fungsi emote menjadi lebih mudah dilakukan dengan teknologi semacam ini. Apa pendapat Anda? beri tahu kami dalam diskusi di bawah!
