DeepOnet:基于深度的基于NN的模型,用于近似线性和非线性运算符

2021-04-15 22:24:39

已知人工神经网络是连续功能的高效近似器,其是没有突然变化的值(即,不连续,孔或图形表示中的跳跃)的函数。虽然许多研究已经探索了使用神经网络来近似连续功能,但到目前为止,它们的近似非线性运营商的能力很少。棕色大学的研究人员最近开发了一个新的基于神经网络的模型,可以学习线性和非线性运营商。这是一篇在自然机器智能发表的论文中,由复旦大学研究小组进行的一系列过去研究启发。

乔治·埃卡尼亚达基斯,其中一项研究的研究人员,告诉Techxplore,"大约五年前,当我在课堂教学变分微积分时,我问自己,如果神经网络可以近似功能(我们知道它近似函数)。我在四处寻找并找不到,直到有一天我偶然发现了陈&amp的纸张;陈于1993年出版,研究人员使用一层神经元实现了功能逼近。最终,我还通过同一团队阅读了另一个纸张,我们用作我们研究的起点。从那以后,T Chen教授通过电子邮件联系了我,并感谢我发现了他被遗忘的论文。"

Karniadakis的陈和陈的论文的灵感来自于陈和陈,决定探讨开发可能近似线性和非线性运营商的可能性。他用他的博士学位讨论了这个想法。学生,陆路,谁开始开发深度。

相反,与近似函数的传统神经网络相比,Deeponet近似于线性和非线性运算符。该模型包括两个深神经网络:一个编码离散输入功能空间(即,分支网)的一个深度神经网络(即,分支网)和编码输出函数的域(即,Trunk Net)的一个。基本上,DeepOnet用作输入的功能,它是无限的维度对象,并将它们映射到输出空间中的其他功能。

"对于标准神经网络,我们近似函数,将数据点作为输入和输出数据点,"卡尼亚迪克斯说。 "所以Deeponet是一种全新的方式来看神经网络,因为它的网络可以代表所有已知的数学运算符,而且还可以在连续输出空间中的微分方程。"

一旦它学习给定的运营商,DeepOnet就可以完成操作并使预测比其他神经网络更快。在一系列初始评估中,卡尼亚迪克斯和他的同事发现它可以在一秒钟的级分,甚至与非常复杂的系统相关的部分。

" Deeponet对自动车辆非常有用,因为它可以实时制作预测,而#34;卡尼亚迪克斯说。 "它也可以用作模拟数字双胞胎,系统系统和甚至复杂的社会动态系统的构建块。换句话说,我们开发的网络可以在激烈的离线培训后代表黑盒。"

作为他们研究的一部分,研究人员研究了DeepOnet' S输入功能空间的不同配方,并评估了这些配方对16个不同应用的泛化误差的影响。他们的发现非常有希望,因为他们的模型可以隐含地获得各种线性和非线性运营商。

未来,DeepOnet可以具有广泛的可能应用。例如,它可以使能够解决可以解决微积分问题或解决微分方程的机器人以及更敏感和复杂的自治车辆的开发。

"我现在正在与能源部的实验室合作,也与许多行业合作,将Deeponet应用于复杂的应用,例如在静脉内建模中,例如应用于南极洲的冰融化的应用,以及许多设计应用。"更多信息:基于运营商的通用近似定理,通过DeepOnet学习非线性运算符。自然机器智能(2021)。 DOI:10.1038 / S42256-021-00302-5。