neural

神经网络如何外推:从前馈到图形神经网络

Submitted by neurta on Thu, 01/14/2021 - 08:26
我们研究了通过梯度下降训练的神经网络是如何外推的,也就是说,它们在训练分布的支持范围之外学到了什么。以前的工作报告了用神经网络外推时的混合经验结果:虽然多层感知器(MLP)在某些简单任务中无法很好地外推,但是具有MLP模块的结构化网络图神经网络(GNN)在较复杂的任务中已显示出一定的成功。通过理论解释,我们确定了MLP和GNN良好推断的条件。首先,我们对ReLU MLP从原点沿任何方向快速收敛到线性函数的观察进行量化,这意味着ReLU MLP不会外推大多数非线性函数。但是,当训练分布足够“多样化”时,他们证明可以学习线性目标函数。其次,结合分析GNN的成功和局限性,这些结果提出了一个假设,我们为该假设提供了理论和经验证据:GNN在将算法任务外推到新数据(例如较大的图或边权重)方面的成功取决于编码任务架构或功能中的特定于非线性。我们的理论分析建立在超参数网络与神经正切核的连接上。根据经验,我们的理论适用于不同的培训环境。较大的图形或边缘权重)依赖于对体系结构或功能中特定于任务的非线性进行编码。我们的理论分析建立在超参数网络与神经正切核的连接上。根据经验,我们的理论适用于不同的培训环境。较大的图形或边缘权重)依赖于对体系结构或功能中特定于任务的非线性进行编码。我们的理论分析建立在超参数网络与神经正切核的连接上。根据经验,我们的理论适用于不同的培训环境。