数据挖掘案例——药物选择决策支持

3、 数据准备

数据准备主要完成对不同的数据源的整合，并且对数据进行适当的变换，使之适合数据挖掘的需要，对于特定的模型，需要把原始数据集合拆分成训练数据集和检验数据集也在这个步骤中完成。

对于本案例来说，由于数据源只有一个，并且数据格式也相对单一简单，我们在数据准备中主要完成对原始数据集的拆分，从而用训练数据集建立模型，用检验数据集对模型的效果进行评估。

在Clementine中，对数据集的拆分，是通过引入一个中间变量来完成的。在本案例中，我们把全部1200条数据中的2/3左右（800左右）作为训练数据集，把1/3左右（400左右）作为检验数据集。我们引入了一个二分变量——拆分变量，这个二分变量对应1200条原始数据有2/3左右为“真”（T），1/3左右为“假”（F）。我们挑出那些拆分变量值取“真”（T）的记录作为训练数据集，那些拆分变量值取“假”（F）的记录作为检验数据集。实现该过程的数据流见图3。

图3：数据准备

4、 模型建立和评估

在模型建立阶段，我们将逐步建立和调整模型，并对如何提高模型的预测效果进行尝试。

（1）       建立最简单的模型。对于训练数据集，我们首先把病人的年龄、性别、血压、胆固醇含量、钠含量、钾含量等不经过任何处理，全部作为预测选择药物的输入变量，而把选择药物作为待预测变量(输出变量)。数据流图见图4，我们建立了神经网络、C5.0和Logistic回归三个模型。

图4：药物选择决策支持模型1

接下来我们用检验数据集对模型进行检验，数据流图见图5。模型检验结果见图6。从检验结果我们可以看出，Logistic模型的评估效果最好，达到了96.21%。

图5：药物选择决策支持模型1检验

图6：药物选择决策支持模型1检验结果

讨论——如何提高模型的效果：从模型检验中我们可以看出，三个模型中可能有不一致的情况，这就使得我们有一种思路，即我们在发布模型的时候，可以考虑把那些三个模型预测一致的才作为预测，而把三者预测不一致的作为待判记录随后进行深入的分析，这样我们就使得模型的精度提高到了98.29%，但是作为牺牲，我们也会约有12％左右的病人是无法判断的，需要我们对记录做进一步的研究。

（2）       为了更好的建立和调整模型，我们对业务进行深入了解，引入医生的业务经验。根据医生对医学理论的讨论和过去实践经验的积累，他们认为人体中的钠含量和钾含量对病人选择何种药物的作用并不是特别明显，但是他们的比例却是影响选择何种药物的一个关键因素，所以在我们下面建立的模型中，我们生成新变量——钠钾比例，而剔除钠含量和钾含量两个变量。数据流图见图7，模型我们仍旧采用神经网络，C5.0和Logistic回归三种模型。

图7：药物选择决策支持模型2

类似（1），我们对模型效果进行检验，检验数据流和检验结果分别如图8和图9所示。

图8：药物选择决策支持模型2检验

图9：药物选择决策支持模型2检验结果

从结果中，我们可以看出，随着我们业务经验的引入，我们的模型效果有了显著的提高，并且我们选择模型也发生了变化。精度由原来的Logistic回归最优96.21%提高到了C5.0最优99.75%。

5、 模型发布

模型建立是为了应用，我们前面的全部工作都在于我们建立的模型能够被最终的业务人员所使用，假设我们由以下10个病人的资料数据，需要根据他们的情况判断使用什么药物最好。

表1：病人资料

该病人资料也被我们存放在Access数据库中。我们可以考虑以下三种方式对我们的模型进行发布供业务人员(医生)使用。

（1）       直接写报告的方式，通过HTML展示。数据流图10，结果展示实际效果如图11。

图10：模型发布数据流1

图11：报告方式发布结果示例

（2）       把选择药物直接写回数据库。数据流如图12，结果大致情形如图13。

图12：模型发布数据流2

图13：模型发布—把结果写回数据库

（3）       通过Clementine Solution Publisher结合Visual C＋＋开发应用系统界面，业务人员（医生）可以直接输入病人资料，实时的得到药物推荐。发布数据流见图14，系统界面如图15。

图14：模型发布数据流3

图15：模型发布——开发应用系统