数据集的决策树和神经网络

Question

我正在研究将决策树和神经网络同时用于数据集的利弊。 我一直在互联网上寻找答案，但我似乎发现的只是总体上各有利弊。 基本上，我试图找出为什么决策树和神经网络对特定数据集有利的原因。 我假设数据集是大还是小，离群值和丢失的数据都会影响使用决策树或神经网络的准确性或准确性。 提前致谢

Answer 1

这是我对机器学习模型的选择的看法：

1）神经网络是最灵活的，它可以是好是坏。 对于您有数百万个培训示例的任务，神经网络通常将表现最佳。

2）如果您的训练示例很少（例如，特征向量的每个维度上可能有10个或更少的训练示例），则神经网络将存在过度拟合的风险。 灵活性较低的模型（例如决策树或朴素贝叶斯）可能会做得更好。 但是，如果仔细调整元参数以减少过度拟合，在这些情况下仍然可以使用神经网络。

3）如果您的训练示例很少，并且您尝试建模的基本现象过于复杂，以至于无法通过简单的决策边界进行建模，那么所有通用模型都将无法正常运行。 但是，如果您对该现象有先验知识（例如，如果您知道描述该现象的物理方程的形式），则可以创建自己的自定义模型，并使用梯度下降训练其未知参数。

Ng的免费机器学习课程是一个很好的资源，它讨论了关于过度拟合和模型选择的一些经验法则和直觉。