假设说你确实开发了一种共享机制，你可以从之前训练的网络继承某些权重，然后就可以更快速地训练。所以我们就这样做了。基本而言，我们的想法就是创造一个包含了所有可能性的巨型网络，然后在该网络中搜索一条路径（以最大化在验证集上的预期奖励），这就是所要寻找的架构。某些权重会在下一次实验中得到重复使用。所以会有很多权重共享。
因为这种方法，我们实际上能实现很多个数量级的加速。原始的 NAS（神经架构搜索）算法要更灵活得多，但成本太高了。ENAS 基本上是一种更快的新算法，但限制也更多一点。原始的 NAS 算法可以生成更优的架构以及更好的超参数、更好的数据增强策略、更好的激活函数、更好的初始化等等。目前我们只成功将这种新的 ENAS 算法用在了架构方面，还没用到数据增强以及优化方面。
您的意思是其它参数是人类决定的？我们将架构搜索和数据增强确定为人类专家很难设计的两个关键领域。所以一旦你做对了这两件事，就能实现大量成果。其余的只用常见的优化技术和标准的实践方法即可。我们只关注能提供最大效益的组件的自动化。ENAS 是一个很近期的进展。尽管我们还在做大量黑箱中的实验，但这个研究方向进展很快。
我听说有一家创业公司正使用一种名叫生成式合成（generative synthesis）的技术。另外还有使用 GAN 的？不同的搜索算法各有哪些优缺点？我不确定有谁真在用 GAN 来做架构生成。我认为这是可能的，但我不是很了解。进化和强化学习具有相似的通用性，但同样，如果你不做任何假设，它们的速度会非常慢。
所以人们发展出了渐进式神经架构搜索的思想，即先搜索一个小组件，然后再不断增添。我认为这是一个非常好的想法。神经架构搜索概况说到 ENAS，基本而言核心思想就是权重共享。你想开发一个大架构，然后找到一条路径。ENAS 基于一些其它思想，比如 one-shot architecture search，也就是构建多个模型，然后想办法在它们之间共享权重。
我认为强化学习和进化方法的优势是它们非常灵活。它们可用于机器学习流程中任何组件的自动化。但它们也成本高昂。ENAS 和渐进式架构搜索等大多数针对特定方面的算法都会有某些前提假设，所以它们的通用性和灵活性更差，但它们一般速度更快。我对 GAN 方面不太了解。我认为人们会使用 GAN 来生成更好的图像，但我不认为人们会使用 GAN 来生成更好的架构。
迁移学习在 AutoML 技术中扮演怎样的角色？迁移学习有两种类型。第一种是架构迁移学习，比如找到一个在图像识别数据集上的好架构之后再迁移用于目标检测。另一种迁移学习是权重迁移学习——如果你在公共数据集上训练你的网络，你会得到一个结果，然后再在你自己的数据集上再训练该网络。让我们假设这样的情况：我们想做鲜花检测。
