在即将到来的 20 世纪 90 年代初期，专家系统的局限性将逐渐显现。诸如知识获取困难、维护成本高昂、对复杂和动态问题处理能力不足等问题，都将成为阻碍其进一步发展的绊脚石。

此外，随着计算机通用性能的提升，专用的专家系统硬件优势不再，再加上人工智能领域其他技术的激烈竞争，专家系统将逐渐走向衰落。

直至 21 世纪 10 年代之后，深度学习兴起，专家系统与深度学习以及一些其他新兴技术融合后，才会再度出现在大众视野之中。

反观历景铄所选的人工智能方向 —— 神经网络，此前曾陷入发展低谷。

1969 年，人工智能领域的两位先驱马文?明斯基和西摩?佩珀特出版了《感知机》一书。

书中明确指出，感知机仅能处理线性可分问题，面对异或问题这类线性不可分的情况则无能为力，并且认为在当时的条件下，多层神经网络的训练算法难以实现。这一观点给神经网络的研究带来了极为沉重的打击。

后来的事实也的确在一定程度上验证了书中的说法，尽管神经网络的概念早已存在，但人们始终未能找到有效训练多层神经网络的方法。传统的神经网络在训练过程中，面对多层结构，往往难以有效地调整每一层的参数，致使网络难以很好地学习复杂模式。

这种困境一直持续到 1986 年，随着关于反向传播的论文发表，情况才会出现转机。论文中提出的 “反向传播” 算法，为训练多层神经网络提供了一种行之有效的途径。

该算法的核心思路是，通过计算每一层的误差，并将这些误差逐层向后传播，进而调整每一层的权重和偏置，使整个网络的输出误差达到最小化。

此后，神经网络总算是有了些许希望，吸引了不少人投身研究，被后来者称为“深度学习三巨头”的杨立昆就在反向传播论文发布后，构建了应用于图像分类的卷积神经网络，即 LeNet 的最初版本，并且首次使用了 “卷积” 一词，“卷积神经网络” 由此得名。