AI/ML时代嵌入式工程师职业规划

印宁华|Indining China|

2024-10-11 15:52:47 1051

今年的“理化生三诺奖” 都与复杂系统相关，而当今处理复杂系统最有效的方法和理论之一就是神经网络类机器学习基础上的深度学习，所以在Hassabis和Hinton这两个AI方面的专家获得化学和物理诺奖确实出人意外的同时，也展现了多类融合发展的必然性。

都说在MCU上跑AI会成为常态，不过实话讲，很多工程师在实际工作中部署AI的场景还没那么多，而且毕竟再学一门技术，又会增加很多时间成本。

不过，随着全行业AI化行动加深，MCU厂商接连推出自己的AI工具，并且在开发上手难度和使用便捷性进行了优化。尤其在最近一段时间，不断炫技，可谓是彻底拼了。

eIQ机器学习软件于2018年推出，经过不断发展，可支持系统级应用和机器学习算法实现。这个软件工具集的特点是专业人士和非专业人士都很方便使用，抱着玩一玩的心态也可以跑起来应用。用官方的话说就是实现“机器学习人人可用”。

eIQ包括eIQ Portal、eIQ Model Tool、eIQ Command-line Tools三个重要组件，分别可以概括为开发图像分类或是目标检测任务、 .模型查看器、命令行工具。

整体开发流程方面，既可以只提供数据集然后借助eIQ工具箱完成从模型训练到模型部署，又可以提供已经训练好的模型，然后借助eIQ工具箱对其进行转换/量化以及部署工作。最后，调用eIQ inference engines对所生成的模型进行推理，得到最终的预测值。

今年3月，NXP与NVIDIA达成合作，将NVIDIA TAO API直接集成到恩智浦的eIQ机器学习开发环境中。NVIDIA TAO低代码人工智能框架通过迁移学习，让开发人员能够更轻松地利用经过训练的人工智能模型，并针对特定用途对模型进行微调和优化。换句话说，开发人工智能只在这一个平台上就可以了。

AI并不只是大语言那么高不可攀的应用，AI已经无处不在。这是今天下午NXP发布会上看到的最常见的一些AI/ML应用，他们已经发生。在分享的同时，我也试着梳理下，在这种AI/ML everywhere的时代，嵌入式工程师又该怎么把握机遇，不被甩下车？

电动工具中的电机的AI——自动停止

在电动工具行业中将AI/ML技术与电机控制结合应用的案例。通过使用MCU和AI技术，可以更智能地控制工具并增加安全功能，如自动停机。
AI/ML + Motor Control to Enable Power Tools

AI/ML + 电机控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于电动工具应用中。
eIQ工具包：为用户提供数据集训练和验证的效率，使用户能够轻松构建属于自己的AI/ML模型。
芯片解决方案：一个芯片既可以实现AI/ML启用的自动停止功能，也能执行电机控制。

将MCU用于能源领域，尤其是逆变器和能源存储系统中，增强检测能力并通过边缘计算进行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

电力转换：使能逆变器和能源存储系统，突出使用电弧故障断路器（AFCI）作为区分特性。
MCX N微控制器：提供边缘处理能力，用于检测和保护。
MCX W微控制器：通过蓝牙将逆变器/ESS设备的结果传输到主机中心或网关。
系统解决方案：NXP提供了包括硬件参考设计、软件包和eIQ机器学习工具包在内的系统解决方案。

AI/ML技术在医疗设备中的应用，通过检测鼾声来帮助治疗呼吸睡眠障碍。
AI/ML Sound Detection to Enable Healthcare

AI/ML声音检测：用于医疗保健，特别是检测鼾声以优化CPAP（持续气道正压）设备的效果。
i.MX RT交叉微控制器：提供AI/ML声音频谱计算，推理时间低至6毫秒。
CPAP中的一体化芯片解决方案：包括控制、显示和AI/ML算法。

AI/ML技术如何用于智能工厂中的缺陷检测，以提高制造业的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

AI/ML视觉检测：用于智能工厂中的缺陷检测，以提高效率、准确性和灵活性。
i.MX系列处理器：在边缘设备上实现高性能CNN视觉算法推理。
NXP WiFi产品：提供低延迟以便将制造结果通知到控制中心。
支持大量市场客户：通过广泛的第三方支持和EBS生态系统，加速客户的评估和采纳。

如何通过大语言模型和智能边缘计算来增强智能家居的用户体验，允许用户自然语言控制家居设备。
AI/ML Large Language Models to Enable Smart Home User Experiences

大语言模型（LLM）：为智能家居用户带来更高质量的用户体验。终端用户可以使用自然语言与家居设备交互。
i.MX 95应用处理器：为边缘AI计算提供强大的能力。
NXP系统解决方案：提供包括连接、安全、AI计算和软件支持的完整智能家居解决方案。

---
AI/ML无处不在的时代，嵌入式工程师需要不断适应和提升自己，以充分利用这项技术趋势。
埋头敲代码，忙于搬砖的同时，也应该思考下，自己的学习方向

1. 学习基础AI/ML知识

学习基础的机器学习概念，例如分类、回归、聚类、神经网络等。
熟悉常见的机器学习算法（例如决策树、随机森林、SVM和神经网络等），理解它们的应用场景。

2. 掌握嵌入式AI框架和工具

学习如何在嵌入式系统上运行AI模型。例如，NVIDIA Jetson平台、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式环境中执行AI模型。
了解TinyML（用于资源受限设备的AI/ML）及其相关工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。

3. 理解硬件加速器和处理器架构