索尼游戏部门似乎正在研究一些类似于 Nvidia DLSS 和 AMD Fidelity FXSR 的图像和性能改进解决方案，因为他们的最新专利探索了提高图像质量的方法，并通过机器学习的组合来填充缺失的数据和基于计算机的实施。
索尼互动娱乐公司的最新专利于今年四月提交，并于上月底公开，详细介绍了一种为用户提供更好图像质量的潜在解决方案。
数字图像可能包含图像数据丢失或损坏的区域。缺失或损坏的区域在本领域中被称为“孔”。漏洞通常是不受欢迎的，并且可以采用推断哪些信息丢失或损坏的方法来填补漏洞。填充图像中的孔洞也称为图像补全或修复。
存在多种用于填充图像中的孔的过程。机器学习推理技术依赖于经过训练的过程，可以以高质量的结果填补图像中的漏洞。然而，机器学习技术是性能密集型的，需要强大的计算机硬件和大量的时间。
图像中的漏洞出现在基于图像的渲染系统中。例如，在存在表示相同环境的视角的两个或更多个图像的情况下，可能不存在与用户想要看到的中间视角相对应的图像数据。或者，其中一个视角可能会丢失一些图像数据。机器学习过程可用于推断中间视角并推断丢失的图像数据。执行机器学习过程来获取丢失的数据在计算上成本高昂且耗时。
基于图像的渲染系统的示例是显示虚拟现实环境的虚拟现实设备。佩戴虚拟现实耳机的用户通过耳机中的两个监视器呈现三维场景。当用户移动头部时，会根据耳机的新位置和方向生成并显示新的场景。通过这种方式，用户可以环顾场景中的对象。由于运动而在新场景中变得可见的初始场景的区域被描述为先前被“遮挡”。显示的场景可以由连接到耳机的个人计算机或控制台中的计算机硬件生成，或者由远离耳机的基于云的渲染服务生成。向耳机提供图像数据的速率受到耳机与计算机、控制台或基于云的渲染系统之间的连接带宽的限制。因此，有时，由于带宽限制或中断，并非在给定时间完全构建和显示场景所需的所有数据都可用。构成场景的图像数据中的空洞是不受欢迎的结果，并且会对用户体验的沉浸感产生显着的负面影响。
它接着指出这样做的优点将减少所述硬件的处理器上的负载。
这有利地使得孔能够被快速且有效地填充，同时增加实现高质量结果的可能性。与具有匹配材料标识符的像素相比，具有与孔像素不同的材料标识符的附近像素更有可能看起来与丢失的像素数据不同。因此，使用具有相同材料标识符的像素有利地减少处理器的计算负担，同时更接近地实现适当填充的像素。平均值的确定可以包括要平均的周围像素的加权值。
这使得一些周围的像素比其他像素对平均值的贡献更大，从而有利地增加根据正在处理的图像的填充处理的通用性。第二填充过程可以包括机器学习推理过程。
机器学习推理过程提供高质量的图像填充结果。通过提供机器学习推理过程作为第二填充过程，有利地实现了图像处理的速度和质量之间的改进的平衡。
提供了一些插图来概述该过程的流程，并展示了一些之前和之后的图像。
这是不言而喻的，因为这是一项专利等等，但这并不一定意味着我们会看到这种情况发生。然而，该公司对基于人工智能的技术并不陌生，因为他们最新的 Bravia 电视系列 Bravia XR 支持所谓的“认知智能”。解释一下：
我们感知世界的方式基于同时从我们的眼睛和耳朵传递到大脑的信息。传统人工智能只能单独检测和分析颜色、对比度和细节等元素。认知处理器 XR 可以同时交叉分析每个元素，就像我们的大脑一样。
为了创造这种更接近现实的感觉，认知处理器 XR 将屏幕划分为数百个区域，并比以往更好地识别这些区域中的单个对象。更重要的是，它们可以在一秒钟内交叉分析构成图片的数十万个不同元素，就像我们大脑的工作方式一样。
认知智能是什么样的：
当然，这与他们的电视有关。然而，随着 DLSS 和 AMD Fidelity FXSR 的支持不断增长，我们认为索尼开发自己的解决方案并不牵强。我猜我们只能等待，看看未来会怎样！
