纵观整个数字经济创新发展史，每一次颠覆式创新往往伴随着新范式的产生。古有“读万卷书，不如行万里路”的说法，精准诠释了亲身体验和实践的重要性：人类通过视觉、听觉等主要感知方式接受外界信息，并加以思考进而付诸行动，由此对世界进行理解、改变和创造。回到现在，随着算力不断的提升，AI 的发展也由于大模型的突破迎来了加速时代，今有机器人、自动驾驶等技术为代表的新范式，将重新定义人机交互的模式。我们也将见证专属于人类的感知，思考和行动能力逐渐实现向机器的转移。

在模型和行动无处不在的新时代，智能视觉将变得必不可少

人类获取的信息 70% 来自于视觉，目前，智能视觉已深入到智慧家居、智慧城市、智慧零售和智能制造之中，而在模型和行动无处不在的新时代，智能视觉也将变得必不可少。无论是聊天机器人还是自动驾驶技术，都需要借助智能视觉等感知技术从现实生活中采集真实数据，形成更准确的模型，以提供关键的安全和避障能力，或更好地适应多样化的需求和行为。

智能视觉系统的五大技术趋势

随着智能视觉应用的普及，其系统也朝着五大技术趋势发展：

云边端协同：高清图像和视频数据、巨大的数据量、以及诸如自动驾驶等应用的实时性要求、决定了智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上，并实现负载调动与协同。云端可以承担训练深度学习模型、处理大规模图像和视频数据集、等计算密集型任务。边缘设备可以进行实时图像处理、简单的特征提取和初步的决策；终端设备可以接收来自云端或边缘端的智能决策结果，并进行展示、用户交互等，或在超低延时和离线需求下进行端侧视觉数据处理和决策。

AI 加持：深度学习和神经网络在计算机视觉领域的应用已经取得了巨大的成功。未来的智能视觉系统将继续依赖深度学习模型和神经网络，通过大规模数据集的训练、来提高图像和视频数据的分析和识别能力，并利用强化学习和自主、自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。

图像处理：智能视觉系统需要准确和高质量的图像处理，以支持更高效的特征提取，目标检测和跟踪, 图像分析和理解，以及图像生成和合成。

算力支撑：由于复杂的模型和算法、大规模图像数据处理、实时性、高精度、高并发等要求，智能视觉系统需要强大的计算资源和算力支持。

隐私和安全性：智能视觉系统大量的数据采集，以及广泛的应用也引发了对隐私和安全性的关注。未来的趋势是设计更加隐私保护和安全可靠的智能视觉系统，采用加密、匿名化等技术手段保护用户的隐私，同时加强系统的安全性，防止被恶意攻击和滥用。

智能视觉应用催生智能视觉芯片架构的演进

而在芯片层面，为了满足对 AI 支持、计算能力、能效和实时性的不断增长的需求，智能视觉芯片架构也经历了一系列的演进——从功能固定难以编程的 DSP 和 ASIC，到通用性强、易编程的 CPU 架构，直至今日集成 CPU、ISP、NPU AI 加速器、VPU、GPU 的先进异构 SoC。智能视觉芯片已经逐步实现低功耗、高性能和高度集成的特点。适用于资源受限的边缘设备，如智能手机、摄像头和物联网设备等，为智能视觉成为一种普适的能力奠定基础。

支持高效、敏捷地视觉产品和解决方案的开发，是产业的现实需求。Arm 丰富的产品组合，包括 Arm Cortex-A CPU、Mali GPU、Mali-C55 ISP、Ethos ML 加速器、Corstone 子系统等，能够带来高质量、高可靠、高性能和高能效的不同组合，满足智能视觉的各个细分市场需求，助力加速智能视觉的创新。

首度集成第三方 IP 的 Arm 全新智能视觉参考设计

为企业快速打造产品差异化

为了助力智能物联和视觉领域的创新企业降本增效，使更多的新商机和新想法可以更快地转化成量产的产品。Arm 处理器和系统 IP 也在向预先集成验证的子系统的方式转变。这种新的设计方式和产品形态，通过选用 Arm 广泛应用于智能视觉领域的处理器和系统 IP，并根据客户的特定应用引入第三方 IP，构建出相对标准化的 IP 组合，集成后 IP 组合必须经过预先验证。此外，该 IP 组合还将搭配对应的 Arm 虚拟硬件（Arm Virtual Hardware）与参考软件栈，形成坚实的基础技术平台。如此一来，不仅给予客户足够的灵活性和选择，使企业可以专注于产品的差异化，加快产品上市时间，并且帮助客户显著降低芯片开发成本和风险，大幅缩短研发周期。

作为这样产品形态的第一个范例便是 Arm 全新发布的智能视觉参考设计，首次将 Arm IP 与安谋科技的 IP 结合在一起，并由安谋科技预先集成和预先验证。该方案的硬件参考设计包括 CPU、ISP、NPU 和 VPU 处理器选项，以及将子系统粘合在一起的互连和系统 IP。 该视觉参考设计通过 Arm SystemReady 认证和 PSA 安全认证，保证对主流操作系统的支持和平台安全性。而其 Arm 虚拟硬件可为生态伙伴提供虚拟模型，实现软硬件协同设计，进一步缩短系统设计周期。

Arm 发布“全新智能视觉参考设计”满足中国市场视觉应用设备的强劲增长需求

“全新的智能视觉参考设计也确实收获了客户正面的反馈。昱感微电子作为一家专注于智能感知 (包含机器视觉) 的芯片解决方案新创公司，该公司为了展现竞争力，需要聚焦资源在产品的差异化上，并快速推动产品上市进程。根据昱感微电子 CEO 蒋宏的反馈：Arm 智能视觉参考设计可以很好地奠定该公司的底层技术根基，为他们大幅减低花费在基层技术架构的心力，并将更多的时间与资源投入在其技术优势的开发，创造创新与差异，从而掌握市场机遇。”

打造创新生态 共赴视觉未来

随着智能视觉来到新的节点，它将更普及地被应用在各行各业，创建出更多的市场机遇，而行业中的软硬件提供商，以及系统集成商都需要一个资源汇聚的平台，快速实现创意，掌握商机。“Arm 智能视觉合作伙伴计划”应运而生，将 AI、视觉、芯片设计、软件、算法、系统集成等生态合作伙伴汇聚一处，共同协作。通过这项计划，芯片设计服务商将能访问且熟悉 Arm 的参考设计，并在参考设计的基础上快速流片，助力客户推出满足 SystemReady 和 PSA 安全标准的芯片；另一方面，对于软件提供商而言，Arm 智能视觉参考设计包含了云原生的开源视觉软件堆栈，可为其客户适配不同的应用场景，为不同的设备制造商定制软件，并进行整合，测试与调优，达到量产水平；此外，系统集成商通常具有芯片设计、固件软件开发、创建 FPGA 甚至开发板的综合能力，来提供一站式服务，他们能在这个计划中优化产品，并提升开发者体验。

“继成为 Arm 首家在华图像信号处理器的认证调式夥伴后，诚迈科技也成为首批加入 Arm 智能视觉伙伴项目的成员。诚迈科技计算机视觉事业部总经理韩薇明确表达：通过 Arm 先进的处理器与 Arm 智能视觉参考设计，结合诚迈科技在软件方面的专业积累与机器视觉的全套解决方案，加入这项计划将能助力诚迈科技加速智能视觉在各领域的落地应用，为客户带来更高效率、性能与创新优势。”

Arm 智能视觉合作伙伴计划一经推出便获得业界的巨大支持，目前已有十多家生态伙伴已加入

随着 AI 和大模型的发展，智能视觉技术将无处不在。在视觉成为普适能力的趋势下，预先集成、预先验证的标准化子系统会为加速视觉产品设计和创新提供坚实的基础。而实现视觉领域内不断创新的愿景更需要整个生态系统的协同合作，相信 Arm 及生态伙伴将共同创建智能视觉的未来！

本文作者：Arm 物联网事业部业务拓展副总裁 马健

（文章来源公众号：Arm社区）

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

关于九游会J9电子

上海九游会J9电子技术有限公司是国内资深的研发工具软件提供商，公司成立于2009年，面向中国广大的制造业客户提供研发、设计、管理过程中使用的各种软件开发工具，致力于帮助客户提高研发管理效率、缩短产品设计周期，提升产品可靠性。

十多年来，先后与ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立战略合作伙伴关系，并作为他们在中国区的主要分销合作伙伴服务了数千家中国本土客户，为客户提供从芯片级开发工具、EDA设计工具、软件编译以及测试工具、结构设计工具、仿真工具、电气设计工具、以及嵌入式GUI工具等等。九游会J9电子凭借多年的经验积累，真正的帮助客户实现了让研发更简单、更可靠、更高效的目标。

欢迎关注“九游会J9电子”公众号

了解更多研发工具软件知识