避免成为调包侠,从数学角度再看深度学习

2021-05-16 10:50 173 阅读 ID:348
机器之心
机器之心
知其然知其所以然。想要深耕深度学习,背后的数学原理还需要掌握。这就有一本值得推荐的新书。

今天,reddit 上的一个帖子可谓热度爆表,到目前为止,热度还在持续上升,在不到一天的时间里,引来大量网友的讨论。该帖子的主要内容为「深度学习中的现代数学」。由帖子内容我们可以粗略得出,这是一本介绍深度学习中关于现代数学的书籍。

在深度学习领域,数学知识至关重要,想要深入了解深度学习背后的数学知识、做更前沿更基础的研究,这背后离不开数学知识的支撑。

书籍介绍

该书是在线免费的,书中描述了深度学习数学分析的新领域。这个领域出现在一系列研究问题中,但在经典的学习理论框架内都没有得到解决。这些问题涉及:超参数化神经网络突出的泛化能力;深度在深度架构中扮演的角色;维度灾难的明显缺失;尽管遇到的问题是非凸性、但取得令人惊讶的成功的优化性能;了解哪些特征是可以学习的;为什么深度架构在物理问题上表现得异常出色;架构的哪些方面以何种方式影响学习任务的行为。

书籍中给出了现代数学方法的概览,以及上述问题部分答案的概述。对于所选择的方法,书中给出了主要解决思想的更多细节。

书籍地址:https://arxiv.org/pdf/2105.04026.pdf

该书共分为 8 个章节,每个章节的主要内容如下:

  • 第一章:引言部分,主要介绍了该书定义的一些符号表示、理论基础、是否需要新的理论解决还未解决的问题;
  • 第二章:大型神经网络的泛化能力,主要包括核(Kernel)相关问题、基于范数的边界和边际理论、优化和隐式正则化、经典理论的局限性;
  • 第三章:深度在神经网络表达中的作用,主要包括径向函数逼近、深度 ReLU 网络、表达性的可替代概念;
  • 第四章:深度神经网络克服了维数的诅咒,主要包括流形假设、随机抽样、PDE 假设;
  • 第五章:深度神经网络的优化,主要包括损失分析、随机梯度下降的惰性训练和可证明的收敛;
  • 第六章:特殊架构的影响,主要包括卷积神经网络、残差神经网络、 Framelets 和 U-Nets 、批归一化、稀疏神经网络与剪枝、递归神经网络;
  • 第七章:深度神经网络学习的特征描述,主要包括不变性与散射变换、分层的稀疏表示;
  • 第八章:自然科学的有效性,主要包括深度神经网络遇到逆问题、基于 PDF 模型。

作者介绍

个人主页:https://homepage.univie.ac.at/julius.berner/

该书作者之一 Julius Berner 曾就读于维也纳大学(BSc,MSc),攻读应用数学和科学计算专业,对机器学习和神经网络特别感兴趣。目前,Julius Berner 正在 Philipp Grohs 博士的指导下在维也纳大学攻读博士学位,其研究重点是基于深度学习方法的数学分析,这些方法是在逼近理论、统计学习理论和优化方法的交叉处进行的。

除此以外,书籍作者还包括来自维也纳大学的 Philipp Grohs 及 Philipp Petersen 等人。

网友评论

这本书籍引起了广大网友的讨论。有网友表示:「这是一项非常棒的工作!我经常有『我真的了解我在做什么吗?』的感觉。感谢你们把深度学习和数学结合起来,该书出版时,我会订购。」

还有网友表示:「我在机器学习领域且具有数学背景,但不幸的是,在该领域中,许多公司的员工不知道自己在干什么。工作流程基本上是:学习一些 Python 基本框架,然后就是修改参数,直到产生可接受的结果。」

对此,有人表示「反复试验不一定是坏事。这就是自然系统(而不是人工系统)进化的方式。但是,对于架构上的飞跃和新改进,必须对该理论有深刻的理解。」

对于从事深度学习的研究者来说,或许这本书能帮到你。

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn