全部分类
移动开发与应用
WEB前端
架构与运维
程序设计
数据库
操作系统
热点技术
综合
数据挖掘之决策树分类模型
7640阅读 0评论
2013-04-19
梦醒潇湘love
分类:
C/C++
数据库内容丰富,蕴藏大量的信息,可以用来作出职能的商务决策。分类和预测是两种数据分析形式,可以用来提取描述重要数据类的模型和预测未来的数据趋势。
数据分类(data classfication)是一个两步过程。
第一步,建立一个模型,描述预定的数据类集或概念集。通过分析由属性描述的数据元组来构造模型。假定每个元组属于一个预定义的类,由一个称作类标号属性(class label atrribute)的属性确定。对于分类,数组元组也称作样本、实例或对象。为模型建立而被分析的数据元组形成训练数据集合。训练数据集中的单个元组称为训练样本,并随机地由样本群选取。由于提供了每个训练样本的类标号,该步也称为
有指导/监督的学习
(即模型的学习在被告知每个训练样本属于哪个类的“指导”下进行)。它不同于无指导的学习,那里每个训练样本的类标号是未知的,要学习的类集合或数量也可能事先不知道。
第二步,使用模型进行分类。首先评估模型的预测准确率。如果模型的准确率根据训练数据集评估,评估的结果可能是乐观的。因此,我们需要选择独立于训练集的测试样本集去评估模型的准确率。如果认为模型的准确率可以接受,就可以用它对类标号未知的数据元组或对象进行分类。
分类和预测具有广泛的应用,包括信誉证实、医疗诊断、性能预测和选择购物等。以下介绍一种数据分类的基本技术,决策树分类模型。
1. 什么是决策树
1.1 决策树的定义
决策树(decision tree)是一个类似于流程图的树结构,其中每个内部节点表示在一个属性上的测试,每个分支代表一个测试输出,而每个树节点代表类或者类分布。树的最顶层节点是根节点。我们可以用下图表示一棵典型的决策树模型。以下这棵决策树用来预测顾客是否购买计算机。
以上决策树示例可以得出几组规则,其中一组为:“Age <= 30”且"不是student",则可以推测出:该顾客不可能购买计算机。决策树很容易转换为分类规则。
1.2 决策树的特点
决策树算法本身的特点使其适合进行属性数(特征数)较少情况下的高质量分类,因而适用于仅仅利用主题无关特征进行学习的关键资源定位任务。
决策树算法的
核心问题
是选取在树的每个节点即要进行测试的属性,争取能够选择出最有助于分类实例的属性。为了解决这个问题,ID3算法引入了信息增益的概念,并使用信息增益的多少来决定决策树各层次上的不同节点,即用于分类的重要属性。
1.3 决策树的优缺点
优点
:
(1)可以生成可以理解的规则;
(2)可以处理多种数据类型;
(3)计算量相对来说不是很大;
(4)决策树可以清晰的显示哪些字段较为重要;
缺点
:
(1)对连续性的字段比较难预测(C4.5改进了这个缺点)
(2)有时间顺序的数据,要很多预处理工作;
(3)当类别太多时,错误可能会增加的很快;
针对”对连续性的字段比较难预测“的缺点,C4.5很好的解决了这个问题,并且对决策的剪枝有很好的改进。因此,针对属性维度较少的情况下用ID3的准确率好且效率高,所以具体要根据训练数据集的特点来选择算法。
本文引自:
http://www.taobaotest.com/blogs/qa?bid=3467
上一篇:
【转】数组X和数据Y的中位数
下一篇:
字符串是否包含问题(一)