Topic: 从非线性动力学角度理解深度学习
Speaker: Prof. Hong Zhao
Coordinates: PCFT C1124, 16:00, Thursday, June 5
Abstract: 尽管机器学习的应用获得了巨大的成功，但是机器学习的过程仍然被认为是“黑箱”，其机理有待深入研究。我们认为深度学习模型一般地可归为非线性动力学系统，因此应当基于动力学理论建立其分析框架。本报告阐述我们提出的动力学分析方法，（1）从神经元层次引入基本学习模式，重新定义学习模型的线性与非线性，定量刻画各层的非线性度；（2）定义输入矢量空间和权值矢量空间吸引域，刻画网络的推广能力和结构稳定性。基于这些概念，将揭示学习过程中出现的各种“相”，以及相变过程所导致的一些现象，特别是 “顿悟”与双下降。同时，揭示深度网络优越于浅层网络的动力学根源，揭示深度与宽度的角色，以及各种常用训练策略regularization、batch size、learning rate、dropout等起作用的机制。