สิทธิบัตรการติดตามใบหน้าของ PlayStation VR มุ่งหวังที่จะมอบประสบการณ์ที่สมจริงยิ่งขึ้น

สิทธิบัตรใหม่จำนวนหนึ่งจาก Sony Interactive Entertainment เพิ่งเผยแพร่สู่สาธารณะ โดยเผยให้เห็นผลงานที่เป็นไปได้บางส่วนที่ Sony กำลังทดลองอยู่ รวมถึงสิทธิบัตรการติดตามใบหน้าของ PlayStation VR ที่จะติดตามคุณสมบัติใบหน้าเพื่อมอบประสบการณ์ที่สมจริงยิ่งขึ้นให้กับผู้ใช้

ส่วนแรกของสิทธิบัตร “การบูรณาการคุณลักษณะใบหน้าที่ติดตามสำหรับผู้ใช้ VR ในสภาพแวดล้อมความเป็นจริงเสมือน”กล่าวถึงความสามารถในการติดตามใบหน้าที่คอยติดตามการเคลื่อนไหวของใบหน้า ซึ่งรวมถึงการเคลื่อนไหวของดวงตาและปาก และในตัวอย่างที่บริษัทใช้ จะแสดงอวตารบนหน้าจอที่เลียนแบบการแสดงออกทางสีหน้าของผู้สวมใส่ HMD ที่ถูกประมวลผลไปยังผู้ใช้รายอื่นที่ไม่ได้ใช้ HMD

มีการจัดเตรียมวิธีการเรนเดอร์ฉากความเป็นจริงเสมือน (VR) ที่สามารถดูได้ผ่านจอแสดงผลแบบสวมศีรษะ (HMD) วิธีการนี้รวมถึงการตรวจจับการจ้องมองตาของผู้ใช้โดยใช้เซ็นเซอร์ตรวจจับสายตาตั้งแต่หนึ่งตัวขึ้นไปที่จำหน่ายในกรอบจอแสดงผลของ HMD และการถ่ายภาพปากของผู้ใช้โดยใช้กล้องตั้งแต่หนึ่งตัวขึ้นไปที่ติดบน HMD โดยที่ภาพปากจะรวมถึงการเคลื่อนไหวของปากด้วย จากนั้นวิธีการนี้รวมถึงการสร้างใบหน้าเสมือนจริงของผู้ใช้ด้วย ใบหน้าเสมือนประกอบด้วยการเคลื่อนไหวของดวงตาเสมือนที่ได้จากการจ้องมองด้วยตาของผู้ใช้ และการเคลื่อนไหวของปากเสมือนที่ได้จากภาพปากที่บันทึกไว้ดังกล่าว วิธีการนี้รวมถึงการนำเสนออวตารของผู้ใช้ในฉาก VR ด้วยใบหน้าเสมือนจริง อวตารของผู้ใช้นั้นสามารถดูได้โดยผู้ใช้รายอื่นที่มีสิทธิ์เข้าถึงเพื่อดูฉาก VR จากมุมมองที่ทำให้สามารถดูอวตารที่มีใบหน้าเสมือนของผู้ใช้ได้ การแสดงออกทางสีหน้าและการเคลื่อนไหวของปากของผู้ใช้ที่สวม HMD นั้นสามารถดูได้โดยผู้ใช้รายอื่นดังกล่าว และใบหน้าเสมือนจริงของผู้ใช้จะถูกนำเสนอโดยไม่ต้องใช้ HMD

ยิ่งไปกว่านั้น บริษัทยังให้รายละเอียดในสิทธิบัตรความสามารถในการระบุจมูกของผู้ใช้อีกด้วย ใช่ เรารู้ว่ามันค่อนข้างแปลก แต่จากคำอธิบายที่ให้ไว้ ดูเหมือนจะสมเหตุสมผลว่าทำไมพวกเขาถึงทำเช่นนั้น เนื่องจากอาจให้ประสบการณ์ที่สมจริงยิ่งขึ้นแก่ผู้ใช้

การใช้งานต่อไปนี้ของการเปิดเผยนี้จัดให้มีวิธีการ ระบบ สื่อที่คอมพิวเตอร์อ่านได้ และระบบคลาวด์ สำหรับการเรนเดอร์มุมมองความเป็นจริงเสมือน (VR) ในฉาก VR สำหรับการนำเสนอบนจอแสดงผลแบบสวมศีรษะ (HMD) วิธีการหนึ่งรวมถึงการตรวจจับตำแหน่งจมูกของผู้ใช้เมื่อผู้ใช้สวม HMD วิธีการนี้รวมถึงการระบุแบบจำลองจมูกของผู้ใช้ตามตำแหน่งที่สัมผัสได้ แบบจำลองจมูกที่มีมิติตามตำแหน่งจมูกของผู้ใช้เมื่อสวม HMD วิธีการนี้ยังรวมถึงการแสดงภาพไปยังหน้าจอของ HMD เพื่อนำเสนอฉาก VR รูปภาพที่กำลังเสริมเพื่อรวมข้อมูลภาพจมูกจากแบบจำลองจมูก ในตัวอย่างหนึ่ง HMD ได้รับการกำหนดค่าให้จับภาพการแสดงออกทางสีหน้าซึ่งใช้ในการสร้างใบหน้าประจำตัวของผู้ใช้ และถ่ายทอดการแสดงออกทางสีหน้าและ/หรืออารมณ์

ดังนั้นรูปลักษณ์ที่อธิบายไว้ในที่นี้ทำให้ระบบของ HMD สามารถติดตามคุณลักษณะของพื้นที่ผู้ใช้ในขณะที่สวมใส่ HMD คุณลักษณะนี้อาจรวมถึงการระบุลักษณะของจมูกของผู้ใช้ และใช้ข้อมูลดังกล่าวเพื่อแสดงจมูกของผู้ใช้อย่างน้อยส่วนหนึ่งในภาพที่นำเสนอบนหน้าจอ HMD เพื่อดูเนื้อหาความเป็นจริงเสมือน ด้วยการนำเสนอภาพจมูกของผู้ใช้ในภาพของฉากที่กำลังรับชม รูปภาพหรือภาพบางส่วนของจมูกของผู้ใช้จะมีลักษณะคล้ายกับมุมมองที่ผู้ใช้มักจะเห็นเมื่อไม่ได้สวม HMD ด้วยเหตุนี้ การดูภาพด้วยสมองของผู้ใช้จะคุ้นเคยกับการเห็นจมูกของผู้ใช้อย่างน้อยส่วนหนึ่งในฉากต่างๆ และสมองของผู้ใช้จะกรองการมีอยู่ของจมูกออกโดยอัตโนมัติ

อย่างไรก็ตาม ด้วยการให้จมูกของผู้ใช้หรือมุมมองบางส่วนของจมูกของผู้ใช้ในฉากต่างๆ ผู้ใช้จะรู้สึกถึงประสบการณ์ที่สมจริงมากขึ้นเมื่อดูเนื้อหาความเป็นจริงเสมือน หากไม่ได้จัดเตรียมจมูกของผู้ใช้ อย่างน้อยก็เพียงบางส่วนในภาพ ลักษณะหรือการรับรู้ของผู้ใช้ต่อฉากความเป็นจริงเสมือนจะน้อยกว่าธรรมชาติ ด้วยเหตุนี้ ด้วยการผสานรวมเข้ากับรูปภาพ ในตำแหน่งที่ผู้ใช้คาดหวังว่าจะได้เห็นจมูกของผู้ใช้อย่างน้อยส่วนหนึ่ง มุมมองในเนื้อหาความเป็นจริงเสมือนจึงเป็นธรรมชาติมากขึ้น และเป็นไปตามที่คาดหวังจากปฏิกิริยาทางสมองตามธรรมชาติของผู้ใช้ เพื่อกรองจมูก รูปลักษณ์ที่บรรยายไว้ในที่นี้นำเสนอวิธีการสำหรับการระบุจมูก, การแสดงคุณลักษณะลักษณะเฉพาะทางกายภาพของจมูก และจากนั้นการสร้างแบบจำลองของจมูกสำหรับการนำเสนออย่างน้อยบางส่วนในฉาก

และด้านล่างนี้คือรูปภาพบางส่วน ซึ่งแสดงให้เห็นว่าสิ่งนี้อาจทำงานอย่างไรในเกมโดยมีจุดศูนย์กลางอยู่ที่จมูก คุณอาจสังเกตเห็นว่าชุดหูฟัง (น่าจะเป็น PSVR) มีการออกแบบที่แตกต่างจากรุ่นดั้งเดิมเล็กน้อย อย่าถือว่าสิ่งนี้เป็นข้อบ่งชี้ว่าชุดหูฟัง VR ใหม่จะมีลักษณะเช่นนี้หาก Sony สนับสนุนชุดหูฟัง VR ต่อไปใน PlayStation 5

ความสามารถในการติดตามการแสดงออกทางสีหน้าผ่านชุดหูฟังนั้นเป็นแนวคิดที่เจ๋งมากและเป็นแนวคิดที่ได้รับการทดสอบโดยบริษัทชุดหูฟัง VR อื่น ๆ แล้ว สิ่งหนึ่งที่น่าสังเกตคือ Veeso ซึ่งเผยแพร่วิดีโอย้อนกลับไปในปี 2559 ซึ่งแสดงให้เห็นเช่นนั้น น่าเสียดายที่พวกเขาไม่บรรลุเป้าหมาย Kickstarter และโครงการก็ถูกยกเลิกหลังจากนั้นไม่นาน Facebook กำลังทดลองใช้แนวคิดนี้เช่นกัน

สำหรับผู้ที่เป็นผู้ใช้ VR อยู่ คุณจะสนใจสิ่งนี้หรือไม่? ฉันรู้สำหรับเราว่าเราสามารถเห็นฟังก์ชันของอิโมติคอนที่ใช้งานง่ายยิ่งขึ้นด้วยเทคโนโลยีประเภทนี้ คุณคิดอย่างไร? แจ้งให้เราทราบในการสนทนาด้านล่าง!