Sony推出人工智能计算能力的传感器芯片和逻辑芯片
随着物联网和下一代智能设备的普及，低功耗电子设备和芯片越来越多地进入千家万户，低功耗设计变得越来越重要。一方面，物联网和智能设备限制了设备的尺寸，另一方面，它们对成本有很高的要求。此外，在一些使用场景中，电池的更换和充电周期是需要的(例如，电池的更换周期需要每月或更长时间)，因此对电池容量有很高的限制，这就要求芯片可以使用低功耗设计。
另一方面，人工智能的特性越来越多地被添加到物联网和智能设备中。人工智能BUF08832AIPWPR可以为物联网和智能设备提供重要的新特性。例如，语音人工智能可以提供唤醒词识别、语音指令识别等。机器视觉人工智能可以提供人脸检测、事件检测等。如前所述，物联网和智能设备需要低功耗，因此加入人工智能特性也需要低功耗的人工智能。
如今，人工智能芯片已在云端和智能设备终端上普及，如Nvidia和云端AMDGPU，以GPU为代表。Intel/Habana以人工智能加速芯片为代表；在终端智能设备中，人工智能主要是在SoC上加速IP，但是无论是GPU还是GPUSoC人工智能，世界都在加速IP，因为没有考虑到低功耗的需要，所以未来物联网和智能设备中的人工智能都需要新的低功耗相关设计。
传感器计算：低功耗AI的重要技术路径
在智能设备和物联网应用中，低功耗人工智能需要将功耗降低到非常低的水平，从而实现实时在线（always-on）人工智能服务。这里所谓的always-on，这意味着人工智能需要在工作前一直使用，而不是用户主动打开。一方面，需要不断打开相关传感器，实时检测相关模式的信号；另一方面，人工智能需要实现低功耗。
传统设计中，传感器的功能就是负责高性能信号采集，并且把采集到的信号传输到处理器（SoC或者MCU）上去做进一步计算和处理，而传感器本身并没有计算能力。然而，传统设计的假设是传感器在打开时相关的处理器就要同时打开，而这并不能满足always-on AI的需求，因为SoC和MCU如果一直在运行AI算法的话对于电池的消耗很大。另一方面，从实际角度来看，这类always-on人工智能应用主要是希望人工智能一直运行从而一旦重要的相关事件发生时可以实时响应（例如IMU检测到用户在开车则把智能设备的推送通知关掉等），但是事实上这类相关事件的发生频率并不会很高，如果一直把SoC或者MCU的人工智能模块打开，绝大多数时候AI模型的输出都是“未检测到事件”。
结合这两点，传感器端运行计算越来越受到重视。always-on在低功耗的人工智能中，传感器无论如何都需要一直打开。因此，如果传感器具备计算人工智能的能力，人工智能模型可以不打开SoC或MCU在传感器端运行的人工智能模块。
另外，人工智能还可以避免传感器和传感器在传感器端运行。SoC/MCU数据一直在相互传输，从而进一步降低功耗。最后，传感器端的人工智能模块可以定制和优化最适合传感器的人工智能算法，而无需考虑通用性，从而实现非常高的能效比。
当然，传感器端的人工智能也有其自身的局限性。另一方面，在性能和成本方面，传感器端的计算和存储空间通常较小，人工智能模块不能支持大型模型，因此模型的性能相对有限。另一方面，如上所述，传感器端的人工智能很难支持通用模型，但通常只支持特定的算子和模型结构。
综上所述，传感器端的人工智能可以实现低功耗，但其模型性能相对有限；另一方面，在低功耗的人工智能场景中，真正需要处理的相关事件并不频繁。结合这两点，传感器端的人工智能最适合运行一些特殊的小模型来过滤掉大多数无关事件；在传感器端的人工智能检测到相关事件后，传感器可以唤醒SoC或MCU在满足低功耗的同时，下一步确认上层人工智能always-on的需求。
在图像传感器领域，Sony已经推出了IMX500系列传感器堆叠了具有人工智能计算能力的传感器芯片和逻辑芯片，从而向逻辑芯片上的人工智能计算引擎传输像素信号，从而传感器的输出可以是图像、人工智能模型的输出，也可以是两者的结合。通过这种方式，传感器可以低功耗运行always-on只有当其模型输出满足某些特定条件(例如检测到人脸)时，才能唤醒MCU或SoC进行下一步行动。我们预计，Sony它将进一步提高其人工智能能力，从而提高其在下一个传感器芯片领域的领先地位。
传感器和人工智能结合的另一个例子是ST推出的IMU系列产品。ST在拥有相关人工智能特性的IMU中集成了机器学习核（Machine Learning Core）和有限状态机（Finite State Machine），从而可以用非常高效的方式支持IMU上直接进行人工智能计算。
ST目前支持的人工智能算法主要是决策树算法，并且可以支持IMU信号的一些重要特征提取（例如信号幅度，信号方差等），从而能在IMU上直接实现用户活动分类（例如静止，行走，骑车，驾驶汽车等等分类），这样能在检测到相关事件时唤醒MCU/SoC进行下一步操作。
基于ST发布的信息，MLC消耗量只有微瓦的数量级，所以能很好的支持always-on需求。当然，另一方面，我们也看到决策树算法实际上能力有限，很难建模复杂的活动。因此，正如我们之前讨论的那样，这里的IMU传感器中的人工智能适合在完成事件的第一次筛选中过滤掉无关事件，并通过MCU或MCUSoC更复杂的分类和确认可以在上运行模型中完成。
