机器学习进阶(一)

机器学习的下一步

识别马的深度学习模型，或许学到的不是马的特征，也可能是一些其他的特征，如文件下方的水印。

终身学习，机器可不可以像人类一样，可以一直不断地去学习不同的能力，完成不同的任务？

机器能不能获得自主学习的能力？

能不能通过很少的数据集来完成一个学习任务？

增强学习？神经网络压缩？训练资料和测试资料不一样？

可解释的机器学习

机器学习解释做了一些什么事情，来提高学习效果，判断学习目标是否正确。

神奇宝贝？数码宝贝？

在神奇宝贝和数码宝贝的图片上train一个model，能够分辨出一个图片是神奇宝贝还是数码宝贝。

但Saliency Map并没有一个好的表现，机器更多在意边缘部分。

让机器学习更符合人的预期

参数指标只是机器学习的一个方面，机器生成的东西更应该被人所理解。需要积雪约束来完成这一部分的工作。

Using a model to explain another

通过构建一个可解释的model，来接近一个难解释的model，通过该可解释性model来研究不可解释的model。

Local Interpertable Model-Agnostic Explantions(LIME)

在一定的区域可以用一个可解释的模型去拟合未知的模型。

需要选择一个合理的附近区域。

Devision Tree

\(\theta\)为黑盒的参数，\(T_\theta\)为Decision Tree的参数

\(O(T_{\theta})\): how complex \(T_{\theta}\) is

• Train a network that is easy to be interpreted by decision tree. \[ \theta^{*} = argmin(L(\theta)) + \lambda O(T_{\theta}) \] 通过另外一个network来求得这个\(O(T_{\theta})\)