AI/ML时代嵌入式工程师职业规划

印宁华|Indining China|

2024-10-11 15:44:58 996

今年的“理化生三诺奖” 都与复杂系统相关，而当今处理复杂系统*有效的方法和理论之一就是神经网络类机器学习基础上的深度学习，所以在Hassabis和Hinton这两个AI方面的专家获得化学和物理诺奖确实出人意外的同时，也展现了多类融合发展的必然性。

都说在MCU上跑AI会成为常态，不过实话讲，很多工程师在实际工作中部署AI的场景还没那么多，而且毕竟再学一门技术，又会增加很多时间成本。

不过，随着全行业AI化行动加深，MCU厂商接连推出自己的AI工具，并且在开发上手难度和使用便捷性进行了优化。尤其在*近一段时间，不断炫技，可谓是彻底拼了。

eIQ机器学习软件于2018年推出，经过不断发展，可支持系统级应用和机器学习算法实现。这个软件工具集的特点是专业人士和非专业人士都很方便使用，抱着玩一玩的心态也可以跑起来应用。用官方的话说就是实现“机器学习人人可用”。

eIQ包括eIQ Portal、eIQ Model Tool、eIQ Command-line Tools三个重要组件，分别可以概括为开发图像分类或是目标检测任务、*模型查看器、命令行工具。

整体开发流程方面，既可以只提供数据集然后借助eIQ工具箱完成从模型训练到模型部署，又可以提供已经训练好的模型，然后借助eIQ工具箱对其进行转换/量化以及部署工作。*后，调用eIQ inference engines对所生成的模型进行推理，得到*终的预测值。

今年3月，NXP与NVIDIA达成合作，将NVIDIA TAO API直接集成到恩智浦的eIQ机器学习开发环境中。NVIDIA TAO低代码人工智能框架通过迁移学习，让开发人员能够更轻松地利用经过训练的人工智能模型，并针对特定用途对模型进行微调和优化。换句话说，开发人工智能只在这一个平台上就可以了。

AI并不只是大语言那么高不可攀的应用，AI已经无处不在。这是今天下午NXP发布会上看到的*常见的一些AI/ML应用，他们已经发生。在分享的同时，我也试着梳理下，在这种AI/ML everywhere的时代，嵌入式工程师又该怎么把握机遇，不被甩下车？

电动工具中的电机的AI——自动停止

在电动工具行业中将AI/ML技术与电机控制结合应用的案例。通过使用MCU和AI技术，可以更智能地控制工具并增加安全功能，如自动停机。
AI/ML + Motor Control to Enable Power Tools

AI/ML + 电机控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于电动工具应用中。
eIQ工具包：为用户提供数据集训练和验证的效率，使用户能够轻松构建属于自己的AI/ML模型。
芯片解决方案：一个芯片既可以实现AI/ML启用的自动停止功能，也能执行电机控制。

将MCU用于能源领域，尤其是逆变器和能源存储系统中，增强检测能力并通过边缘计算进行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

电力转换：使能逆变器和能源存储系统，突出使用电弧故障断路器（AFCI）作为区分特性。
MCX N微控制器：提供边缘处理能力，用于检测和保护。
MCX W微控制器：通过蓝牙将逆变器/ESS设备的结果传输到主机中心或网关。
系统解决方案：NXP提供了包括硬件参考设计、软件包和eIQ机器学习工具包在内的系统解决方案。

AI/ML技术在医疗设备中的应用，通过检测鼾声来帮助治疗呼吸睡眠障碍。
AI/ML Sound Detection to Enable Healthcare

AI/ML声音检测：用于医疗保健，特别是检测鼾声以优化CPAP（持续气道正压）设备的效果。
i.MX RT交叉微控制器：提供AI/ML声音频谱计算，推理时间低至6毫秒。
CPAP中的一体化芯片解决方案：包括控制、显示和AI/ML算法。

AI/ML技术如何用于智能工厂中的缺陷检测，以提高制造业的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

AI/ML视觉检测：用于智能工厂中的缺陷检测，以提高效率、准确性和灵活性。
i.MX系列处理器：在边缘设备上实现高性能CNN视觉算法推理。
NXP WiFi产品：提供低延迟以便将制造结果通知到控制中心。
支持大量市场客户：通过广泛的第三方支持和EBS生态系统，加速客户的评估和采纳。

如何通过大语言模型和智能边缘计算来增强智能家居的用户体验，允许用户自然语言控制家居设备。
AI/ML Large Language Models to Enable Smart Home User Experiences

大语言模型（LLM）：为智能家居用户带来更高质量的用户体验。终端用户可以使用自然语言与家居设备交互。
i.MX 95应用处理器：为边缘AI计算提供强大的能力。
NXP系统解决方案：提供包括连接、安全、AI计算和软件支持的完整智能家居解决方案。

---
AI/ML无处不在的时代，嵌入式工程师需要不断适应和提升自己，以充分利用这项技术趋势。
埋头敲代码，忙于搬砖的同时，也应该思考下，自己的学习方向

1. 学习基础AI/ML知识

学习基础的机器学习概念，例如分类、回归、聚类、神经网络等。
熟悉常见的机器学习算法（例如决策树、随机森林、SVM和神经网络等），理解它们的应用场景。

2. 掌握嵌入式AI框架和工具

学习如何在嵌入式系统上运行AI模型。例如，NVIDIA Jetson平台、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式环境中执行AI模型。
了解TinyML（用于资源受限设备的AI/ML）及其相关工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。

3. 理解硬件加速器和处理器架构