不久前,意法半导体也推出了内置智能传感器处理单元 (ISPU) 的惯性传感器ISM330ISN。ISM330ISN内置的智能技术赋能智能设备在传感器中执行**运动检测功能,而无需与外部微控制器 (MCU)交互,从而降低了系统级功耗。
意法半导体的方法是直接在传感器芯片上集成为机器学习应用优化的专用处理器 ISPU。意法半导体的 ISPU基于数字信号处理 (DSP) 架构,极其紧凑和节能,具有 40KB 的 RAM内存。ISPU 执行单精度浮点运算,是设计机器学习应用和二元神经网络的理想选择。
这个智能内核占用的芯片面积非常小,因此,ISM330ISN模块的封装面积比典型的在封装内整合MCU的传感器解决方案小50%,功耗低 50%。
意法半导体模拟 MEMS 和传感器产品部营销总经理 Simone Ferri 表示,智能从前是部署在网络边缘的应用处理器上,而现在正在转向深度边缘的传感器内部。ISM330ISN IMU 预示着新一类智能传感器的来临,即开始利用嵌入式 AI 处理复杂任务,比如模式识别和异常检测,可以大大提高系统能效和性能。
其实早在2020年,索尼就宣布推出了两款AI图像传感器——IMX500和IMX501。AI图像传感器兼具运算能力和内存,能够在没有额外硬件辅助的情况下执行机器学习驱动的计算机视觉任务,可以使很多依赖机器学习算法的图像处理技术能够在本地运行,更简单、高效、**。
索尼推出的AI图像传感器,首批目标是零售商和工业客户。索尼业务与**副总裁马克·汉森认为,相比将数据发送到云端的解决方案,AI图像传感器的应用潜力巨大,成本效益更高,尤其是在边缘计算领域。
商汤、旷视等新兴AI技术公司也在探索AI传感器
除了传统的传感器厂商之外,商汤、旷视等AI公司也在探索AI传感器。今年7月,商汤智能产业研究院发布《AI传感器:智能手机影像新核心》白皮书。该白皮书提到,在智能手机市场缓慢步入瓶颈期的趋势下,影像功能成为产业破局焦点,而AI软件与CMOS图像传感器硬件的融合,将是智能手机影像能力持续提升的破题之道。
过去几年,AI算法让手机的影像能力得到了不小的提升。但在这种方案中,图像传感和AI算法的运行,在不同的硬件上完成,图像传感器提供图像信号,处理器或者AI加速芯片执行AI算法。这会造成能耗资源的浪费,并且难以处理一些需要及时响应的场景。
白皮书指出,融入了AI技术的CMOS图像传感器,可以*大化地发挥原始光信号的价值。
在设备获取视觉信号的伊始,AI传感器就可以进行优化和处理,增强真实世界感知、提高图像和视频的质量、丰富内容细节,同时*大限度地降低了设备功耗,并增强了数据**性。
据介绍,早在2019年,商汤就与全球**的图像传感器厂商开展紧密合作,将AI算法和传感器硬件直接融合。目前,商汤AI传感器已完成多款产品,并成功落地多款**旗舰手机。
商汤认为,面向未来,AI传感器的价值不仅在于提升智能手机的影像能力,它更将成为机器认知世界的基础设施,为更多物联网终端赋予智能感知与内容增强的能力。比如,在智能汽车领域,AI传感器将成为车辆感知世界的核心部件;在智慧城市领域,AI传感器更将为挖掘视频信息的价值发挥重要作用。
旷视研究员范浩强今年7月也在某个论坛上谈到,随着AI、视觉算法等领域的发展,传感器将不再单独的、直接地提供应用价值,传感器和应用之间需要算法来作为承上启下的桥梁。从技术角度讲,这两者*显著的结合点就是计算摄影。
旷视也已经深度参与手机影像的能力提升中,目前旷视的4K级别的硬件方案已经实现了量产,并积极推动8K AI画质硬件方案的研发与产品化。