次模优化·第〇集:简介

2019-04-13 11:59发布

现如今,机器(深度)学习如此火热。 我准备进行基于《Learning with submodular functions: A convex optimization perspective》的学习。ps:搞点理论,为将来的模型求解铺道路。 Bach F. Learning with submodular functions: A convex optimization perspective[J]. Foundations and Trends® in Machine Learning, 2013, 6(2-3): 145-373. 次模函数与机器学习相关至少有两个原因: (1)一些问题可以直接表示为次模函数的优化; (2)次模函数的Lovász扩展为监督和无监督学习提供了一组有用的正则化函数。 在这本专著中,我们从凸分析的角度提出了次模函数的理论,提出了某些多面体,组合优化和凸优化问题之间的紧密联系。 特别地,我们展示了次模函数最小化如何等效于解决各种凸优化问题。 这允许推导出用于近似和精确的次模函数最小化的新的有效算法,具有理论保证和良好的实际性能。 通过列出次模函数的许多示例,我们回顾了机器学习的各种应用,例如聚类,实验设计,传感器放置,图形模型结构学习或子集选择,以及可以派生的一系列结构化稀疏诱导范式并用于次模函数。