非线性问题的提出
全文来自对知乎专栏-机器学习前传的总结
非线性问题
Y与X之间不是简单的线性关系，甚至完全不知道Y与X关系的具体形式；比如说通过西瓜的声音、花纹、根蒂的弯曲来判断习惯的成熟。
非线性反演的最优化方法
- 基础的启发式算法：梯度下降法、牛顿法
- 启发式算法： 模拟退火、遗传算法等
模型选择：
- 误差最小
- 正则化
自我总结
地球物理反演中有好几种形式：
- 正演模式非常明确：可以考虑用单个例学习/逻辑学习的方式，训练样本，得到反演结果；
- 正演模式并不是非常清楚：如地球动力学？必须要用统计的方法来学习并反演？
机器学习在非线性反演中的作用
感知机
离散与连续的sign函数
感知机无法处理线性不可分数据，将神经组成神经元可以解决这一问题。
增加一个关于感知机和神经网络的英文帖 Neural Networks, Manifolds, and Topology