文档介绍：: .
网络首发时间：2022-06-24 15:07:39
网络首发地址tabilize the performance of the model, they ignore potentially efficient model
structures. Hence, in this study, we constructed a recursive model search space that focuses more on the
macroscopic structure of neural networks. We proposed a neural architecture search algorithm that explores
this search space through a step-by-step incremental search approach. Experiments showed that the
algorithm can efficiently perform neural architecture search tasks in complex search spaces, but still fell
slightly short of the latest constrained search space-based neural architecture search algorithms.
Keywords: neural architecture search; image classification; convolutional neural network
0 引 言
随着深度神经网络模型的发展, 相比自然语言处理、计算机视觉等各个人工智能领域的传统方
法, 深度神经网络具有明显的性能优势, 因此深度学习在人工智能领域中占据了越来越大的比例. 然
而 , 随着深度神经网络模型深度的提高与结构的日益复杂化, 越来越多的研究者将大量的精力花费在
收稿日期: 2021-01-07
基金项目: 中央高校基本科研业务费专项资金; 国防科技大学并行分布式处理重点实验室开放项目
通信作者: 林 欣, 男, 研究员, 博士生导师, 研究方向为知识图谱. E-mail: ******@ 华东师范大学学报(自然科学版) 2022 年
了尝试各种可能的网络结构、网络深度、通道数等工作上. 不难想象这不仅费时费力并且可能出现不
少重复工作, 因此通过自动化的搜索来代替人工搜索变成了自然而然的思路.
神经网络架构搜索 (Neural Architecture Search, NAS) 算法将自动化超参数搜索技术引入深度神
经网络结构的设计过程当中, 通过启发式方法自动化地搜索出相比人类研究者手工设计的神经网络
结构拥有更高性能的神经网络结构. 自从这种算法被提出后, 这一领域受到了许多研究者的关注, 但
同样引人注意的是它对于计算资源的消耗极高, 在领域以之得名的工作中[1], 每个独立搜索出来的网
络结构都需要进行完整训练与性能评估, 所使用的计算资源总量达到了惊人的上万GPU days
(GPU天, 算法运行过程中所用GPU数量与天数的乘积). 因此, 如何更高效、更准确地提高神经网络
架构搜索算法的搜索能力与搜索效率是这个领域最广为讨论的话题之一.
最近的许多工作都综合应用了多种方法来提高NAS算法的搜索效率, 其中最为常用, 也是被后
续工作广泛采纳的方案分别是基于单元的NAS算法[2]和权值共享策略[3-4]. 基于单元的NAS算法将原
本拓扑结构的搜索空间约束为数量级远小于原