2022年6月9日,Arm宣布推出全新Arm® Mali™-C55 图像信号处理器,这是Arm迄今为止面积最小且可配置性最高的ISP产品,并已获得合作伙伴的青睐,包括首家公开授权许可客户瑞萨电子。爱集微受邀参加了ARM为此举办的线上媒体沟通会,进一步针对Arm® Mali™-C55及智能视觉等内容进行了深入交流。
Mali-C55提供更卓越的图像质量功能,可在各种不同的照明和天气条件下运作,专为在面积和功率受限的应用中实现最佳性能和功能而打造,是智能摄像头和边缘人工智能 视觉用例的理想之选。
Arm物联网兼嵌入式事业部副总裁Mohamed Awad表示:“ISP仍是最重要的信息生成设备之一,可支持商用、工业或家用智能摄像头及无人机等众多物联网视觉系统应用。随着对未来设备中更多、更高质量图像处理需求的不断增长,Arm也将持续投资于ISP技术路线图。”
Mali-C55所具备的先进技术可为多个市场提供更为卓越的功能。监控和安防摄像头将能检测更多关键细节,例如可准确识别以时速高达75英里(120.7公里)行驶的汽车的车牌信息;家用摄像头和安防系统将可采集更高分辨率的室内外图像;而智能家居中心则可有效添加安全视觉解锁等高级功能。
Arm同时也为开发者提供可用于控制ISP的完整软件包以及一整套调整和校准工具,以帮助合作伙伴为其应用实现所需的图像质量。此外,在Arm最新的物联网全面解决方案未来产品路线图中所包含的视觉全面解决方案也将集成Mali-C55。
小尺寸、低功耗挑战图像质量上限
Mali-C55具备多达八个独立输入的多摄像头功能,可支持高达8K的图像分辨率和4800 万像素的最大图像尺寸,从而实现了图像质量、吞吐量、功耗与芯片面积的最高效组合。立足于业内领先的Mali-C52 ISP,Mali-C55通过多种功能实现无与伦比的图像质量,包括改进色调映射和空间降噪,增强对高动态范围(HDR)传感器的支持,以及与机器学习(ML)加速器的无缝集成,以利用神经网络实现各种去噪技术。通过配置多个Mali-C55 ISP,视频会议等需要大于4800万像素的应用也可实现更大的图像尺寸。
芯片面积和成本对于嵌入式及物联网视觉应用至关重要。Mali-C55的芯片面积仅为前几代产品的近一半,并且可提供更强大的功能,大幅减少功耗并延长电池续航时间,与此同时,还降低了这些设备的成本。
视觉系统需要先进的机器学习技术
随着边缘ML的应用成为趋势,通过将更多的ISP集成至SoC,高级的图像处理功能将得以被充分利用。借助Mali-C55与ML加速器之间轻松地实现集成,ISP的输出可被直接发送至ML加速器中,如此一来,Arm可在高质量视觉系统设备中,将其设备端处理能力提升到全新水平。这样便可通过减少数据从设备发送到云端,并在不影响推理能力的情况下,降低成本,且缩短处理时间。
可配置性是服务多样化市场的关键
鉴于需要更先进的视觉系统的应用相当广泛,因此成像技术需适应特定的市场需求。举例而言,低成本的家用摄像头系统可能仅需一组简单且有限的功能,而商用摄像头则需要高分辨率、降噪、更强的安全性等更为复杂的功能。芯片合作伙伴和OEM厂商需要能够根据其应用需求自行添加或删除功能的弹性,因此Arm将Mali-C55设计为可配置性最高的ISP。除了多摄像头支持和与ML加速器集成之外,Mali-C55还配备了行业标准的AXI和AHB接口,以便与基于Cortex®-A或Cortex-M的SoC轻松集成。
Mali-C55 ISP彰显了Arm对为业界提供领先成像技术的不懈追求。在不断增长的智能摄像头和边缘AI视觉市场,这项新技术将赋能SoC架构师、成像专家和嵌入式软件开发者打造出市场领先的产品。
早在去年10月,Arm发布的物联网全面解决方案提供了关键词辨识。Arm物联网兼嵌入式事业部业务拓展副总裁Chloe Ma表示,未来,Arm也会不断逐渐推出一些智能视觉方面的全面解决方案。Arm在物联网方面优势比较明显,物联网全面解决方案提供了预先验证过的IP子系统、非常关键的软件组件以及Arm虚拟硬件。这样能够缩短产品上市时间,使广大的软件和应用开发者能够及早地让产品在最新的硬件上运行。
Armv9架构在智能摄像头领域的应用趋势,Chloe Ma表示:“我们看到在低端市场可能会沿用原有的CPU产品,但专用处理器IP,如NPU和ISP也会逐渐被推到边侧,在一些低能耗的应用里也会使用专用处理器,大幅提升算力。在高端、对性能及图像处理要求极高的领域,Armv9已经开始应用于比较先进的客户和高性能用例中。”(校对/Andrew)