解读超分辨率技术火爆，能解决物联网的刚需吗

五连环画

正是在巨大的计算和训练下，DLSS已经成为目前比较好的游戏超分辨率技术，但它也限制了英伟达自己的GPU平台。为了与老竞争，AMD还推出了相应的超分辨率技术FSR。幸运的是，FSR技术不需要特定的硬件，所以即使是竞争对手的GPU也可以充分利用。近年来，随着互联网技术、人工智能算法等技术的兴起和应用不断深入，ic电子元器件流通领域涌现出一批具有特色的产业互联网商城。

随着图形渲染技术和传感器的发展，我们在日常生活中接触到的分辨率已经从过去的720和1080提高到4K和8K。然而，在此之前，视频仍然停留在原始分辨率上，对于图形性能不足的硬件来说，仍然很难渲染4K以上的分辨率，因此超分辨率技术应运而生。


不同技术路线的超分辨率技术


现有的超分辨率技术有几种，如基于插值的AD5161BRM5超分辨率技术、基于重构的超分辨率技术和基于深度学习的超分辨率技术。插值方法主要基于图像插值技术，即图像缩放技术，利用已知像素计算未知像素的插值，比较后利用传统的图像技术进行一定的修复。这是比较的方法，但质量不好说。锯齿和边缘处理不到位，可以说远远落后于理想的超分辨率。


深度学习方法在机器视觉领域得到了很好的应用，因此基于该方法的超分辨率技术取得了丰硕的成果，重建效果远于传统方法。通过卷积神经络获得的高分辨率图像不仅纹理细节更清晰，而且在信噪比方面也取得了异的性能。


GPU厂商推广的超分辨率技术


由于超分辨率技术可以显著降低游戏场景中的图形压力，显著提高游戏帧率，GPU制造商仍然是应用比较广泛的。英伟达是首个推出类似技术的，其DLSS技术于2022年推出，但当时的10版本一团糟，甚至不如简单的图像插入技术好。


在2022年推出的20版本中，英伟达使用了自己GPU中的特殊人工智能处理单元T，并使用了时间抗锯齿升采样技术，新的人工智能可以集成到每个游戏中，而需训练。DLSS作为一种基于深度学习的技术，一直在不断改进。目前，23版本的DLSS大大改善了运动拖影和粒子效果的渲染。正是在巨大的计算和训练下，DLSS已经成为目前比较好的游戏超分辨率技术，但它也限制了英伟达自己的GPU平台。


为了与老竞争，AMD还推出了相应的超分辨率技术FSR。与DLSS技术相比，FSR涉及的计算工作要少得多。毕竟，不需要额外的计算单元。FSR作为一种后处理算法，主要是利用空间算法对当前画面帧进行升级和增强，而不需要任何深度学习。虽然游戏的帧数有了显著的提高，但在图形质量上还是会看到很多模糊，尤其是在动态场景中。幸运的是，FSR技术不需要特定的硬件，所以即使是竞争对手的GPU也可以充分利用。


据说AMD很就会在GDC上发布新的FSR20技术。这一次，AMD也效仿英伟达，利用时间数据升采样品。更令人惊讶的是，即便如此，该技术仍然不需要任何单独的机器学习硬件，这意味着FSR20很有可能成为DLSS的合格竞争对手。


物联能否搭上超分辨率技术的班车


事上，即使这两家在技术路线上有所不同，它们都在宣传提高游戏的帧数和图形质量。然而，如此高效的超分辨率技术只能用于游戏吗相反，一些物联，特别是工业物联的应用，也需要处理低分辨率的图片和视频。低分辨率在一定程度上限制了信息传输的准确性，从而降低了传输效率。例如，在医学图像中，高分辨率图像可以更准确地判断疾病。但由于各种原因，上述种超分辨率技术只能用作游戏化技术。


首先，由于现方式的不同，在游戏中支持这种超分辨率技术际上是通过与图形渲染引擎的集成来现的，而不是简单地处理图像或视频。因此，除非使用图形引擎，如U或U，如工业场景中出现的数字双系统，否则这些技术不能得到充分利用。


其次，这些技术对硬件计算能力也有一定的要求。这里提到的计算能力不仅是图形计算能力，还有人工智能计算能力。如果是英伟达的DLSS技术，需要特定的硬件才能现。目前，物联场景中的边缘设备往往没有很高的计算能力。即使在边缘人工智能的施中，比较多也只是对图像和视频进行一些简单的处理，如准确识别智能水表上的刻度等。


这并不是说物联目前不能享受这样的超分辨率技术，但稍微可行的解决方案可能仍然需要在云中现。例如，智能监控摄像头拍摄的视频可以同时存储到云中进行人工智能超分辨率重建。


然而，这种方案目前应该很难推广。首先，考虑到这种云服务器的部署成本很高，如果只是单通道传输，工业物联场景通常同时传输数十个1080视频流。其次，许多物联应用程序仍然关注时数据传输。以智能监控摄像头为宠物摄像头为例，需求是时观察宠物的趋势，而不是等待人工智能重建后的视频。


幸运的是，边缘人工智能和深度学习模型引起了物联领域的关注。专注于传感器、MCU等硬件的制造商或多或少开始增加一定的人工智能ML计算性能。未来，随着边缘人工智能计算能力的提高和超分辨率深度学习模型成本的降低，物联可以真正享受到超分辨率技术的好处。