数据分析方法精选(十四篇)
时间：2023-11-10 11:02:46
数据分析方法精选篇1
1、将收集到的数据通过加工、整理和分析的过程，使其转化为信息，通常来说，数据分析常用的方法有列表法和作图法，所谓列表法，就是将数据按一定规律用列表方式表达出来，是记录和处理数据最常用的一种方法。
2、表格设计应清楚表明对应关系，简洁明了，有利于发现要相关量之间的关系，并且在标题栏中还要注明各个量的名称、符号、数量级和单位等。
3、而作图法则能够醒目地表达各个物理量间的变化关系，从图线上可以简便求出实验需要的某些结果，一些复杂的函数关系也可以通过一定的变化用图形来表现。
（来源：文章屋网 ）
数据分析方法精选篇2
关键词：函数性数据；修匀；函数性主成份分析；资产收益率
中图分类号：F276．1
文献标识码：A
文章编号：1002―2848―2007(01)－0108―06
一、前 言
在经济数据的传统定量分析中，所分析的数据对象具有这样的特征，即数据要么是时间序列数据，要么是横截面数据。而实际中获得的许多经济数据，往往是在时间序列上取多个截面，再在这些截面上同时选取样本观测值所构成的样本数据。计量经济学中称这样的数据为“平行数据”(Panel Da―ta)，也被翻译成“面板数据”，或“纵向数据”(longitudinal data)。20多年来，许多学者研究分析了面板数据。事实上，关于面板数据的研究是计量经济学理论方法的重要发展之一，它在解决数据样本容量不足、估计难以度量的因素对经济指标的影响，以及区分经济变量的作用等方面，具有突出优点。但是，研究面板数据的计量模型，以线性结构描述变量之间的因果关系，且模型太过于依赖诸多的假设条件，使得方法的应用具有一定的局限性。为了弥补面板数据的计量模型分析方法及其它统计分析方法的缺陷，本文基于经济数据的函数性特征，介绍一种从函数视角对经济数据进行分析的全新方法一函数性数据分析(Functional Data Analysis，FDA)。
函数性数据分析的概念，始见于加拿大统计学家J．O．Ramsay和C．J．Dalzell于1991年发表的论文《函数性数据分析的一些工具》。6年后，J．O．Ramsay和B．w．Silverman(1997)将对函数性数据进行统计分析的已有理论和方法，总结在《函数性数据分析》一书中。但这本书偏重方法的理论介绍和数学推导，不利于统计基础薄弱者使用。经过5年的努力，J．O．Ramsay和B．w．Silverman研究了一些函数性数据案例，并将其具体的分析过程编入他们于2002年出版的专著中。虽然国外在这方面已经做了许多研究，也取得了许多有价值的结果，但是有关函数性数据的研究依然处于起步阶段，还有很多问题需要研究或进一步完善。另外，从方法应用的具体领域来看，很少涉及对经济函数性数据的分析。就目前研究文献来看，我国在此方面的研究尚是一片空白。
为填补我国在这方面研究的空白，本文从思想、方法等方面，对函数性数据分析进行系统介绍，并通过编写计算机程序，率先利用该方法分析实际的经济函数性数据。本文共分六部分，以下内容的安排为：数据的函数性特征及经济函数性数据实例、从数据的函数性视角研究数据的意义、函数性数据分析的目标和步骤、函数性数据分析方法的经济应用，最后一部分是本文的结论。
二、数据的函数性特征及经济函数性数据实例
一般地说，多元数据分析(Multivariate Data A-nalysis，MDA)处理的对象，是刻画所研究问题的多个统计指标(变量)在多次观察中呈现出的数据，样本数据具有离散且有限的特征。但是，现代的数据收集技术所收集的信息，不但包括传统统计方法所处理的数据，还包括具有函数形式的过程所产生的数据，例如，数据自动收集系统等，称具有这种特征的数据为函数性数据。
函数性数据的表现形式多种多样，但就其本质来说，它们由函数构成。这些函数的几何图形可能是光滑的曲线(如人体在成年前的身体高度变化等)，也可能是不光滑的曲线(如股票综合指数等)。许多研究领域的样本资料往往表现为函数形式，如考古学家挖掘的骨块的形状、按时间记录的经济数据、手写时笔尖的运动轨迹、温度的变化等。函数性数据分析(Functional Data Analysis，FDA)的基本原理是把观测到的数据函数看作一个整体，而不仅仅是一串数字。函数指的是数据的内在结构，而不是它们直观的外在表现形式。
实际中，之所以要从函数的视角对数据进行分析，是因为：(1)实际中，获得数据的方式和技术日新月异、多种多样，例如，越来越多的研究者可以通过数据的自动收集系统获得大量的数据信息。更重要的是，原本用于工程技术分析的修匀(smoothing)和插值(interpolation)技术，可以由有限组的观测数据产生出相应的函数表示。(2)尽管只有有限次的观测数据可供利用，但有一些建模问题，将其纳入到函数版本下进行考虑，会使分析更加全面、深刻。(3)在有些情况下，如果想利用有限组的数据估计函数或其导数，则分析从本质上来看就具有函数性的特征。(4)将平滑性引入到一个函数过程所产生的多元数据的处理中，对分析具有重要的意义。
在经济分析中，融合时间序列和横截面两者的数据很常见，例如，多个国家、地区、行业或企业的多年的年度经济总量、多家商业银行历年的资本结构、能源(如电力、煤炭、石油等)多年按月的消耗量、不同时间上多个省市的失业数据等。这些经济数据往往呈现函数性特征，即每个个体对应着一个函数或曲线。在对经济函数性数据进行分析时，将观测到的数据(函数)看作一个整体，而不是个体观测值的顺序排列，这是函数性数据分析不同于传统统计分析之根本所在。例如，表1是工商银行、农业银行、中国银行、建设银行1995年到2004年期间的资产收益率(ROA)数据。
利用基于MATLAB编写的程序，对数据进行平滑处理(smoothing)，并绘出四家国有银行的资产收益率(ROA)的修匀曲线(见图1)。由曲线图可以看出，每个个体(银行)对应着一条曲线(其数学表达式为函数)，这是将多家银行的历年ROA数据记录看作函数的根本理由，也是函数性数据分析的出发点。
三、从数据的函数性视角研究数据的意义
从函数的视角，对具有函数特征的经济数据进行研究，会挖掘出更多的信息。例如，对函数性数据的平滑曲线展示，不但能够诊断出拟合数据的可能数学模型，还能够通过对光滑曲线求一阶、或更高阶的导数，来进一步探索数据的个体(横截面)差异和动态变化规律。
图2是四家银行资产收益率的速度(一阶导数)曲线，观察发现：在1995年至2004年期间，农业
银行、中国银行及建设银行的资产收益率的变化率，呈现出较强的周期性，其中尤以建设银行的表现最为突出。加速度曲线图显示，四家银行资产收益率的变化率的波动状况不相同，转折变化的时间差异也较大。这些情况一定程度表明，各家银行的内部管理与经营机制，对市场信息的反应快慢程度各不相同。
四、函数性数据分析的目标和步骤
函数性数据分析的目标与传统统计学分析的目标基本一样，具体情况如下：
(一)以对进一步分析有利的方法来描述数据；
(二)为突出不同特征而对数据进行展示；
(三)研究数据类型的重要来源和数据之间的变化；
(四)利用输入(自变量信息)来解释输出(因变量)的变化情况；
(五)对两组或更多的某种类型的变量数据进行比较分析。
典型的FDA主要包括以下步骤：
第一步，原始数据的收集、整理和组织。假设我们考虑的自变量是一维的，记为t，一个的函数仅在离散抽样值 处被观测，而且这些ti可能等间隔分布，也可能不是。在函数性数据分析中，将这些离散的观测值看作一个整体。
第二步，将离散数据转换为函数形式。这是利用各次观察的原始数据定义出一个函数x(t)，它在某一区间上所有t处的值都被估算了出来。解决这个问题的基本方法是选定一组基函数 (t)，k=O，…，K，并用基函数的线性组合给出函数x(t)的估计
第三步，多种形式的初步展示与概括统计量。概括统计量包括均值和方差函数、协方差与相关函数、交叉协方差(cross―covafiance)与交叉相关(cross―correlation)函数等。
第四步，为了使每一条曲线的显著特征都在大体相同的自变量处(如月份、年份等)显现出来，可能需要对函数进行排齐(regigtration)，其目的是能够区别对待垂直方向的振幅变化与水平方向的相变化。
第五步，对排齐后的函数数据进行探索性分析，如函数性主成份分析(FPCA)、函数性典型相关份析(FCCA)等。
第六步，建立模型。建立的模型可能是函数性线性模型，也可能是微分方程。
第七步，模型估计。
五、函数性数据分析方法的经济应用
为了说明函数性数据分析方法的具体应用，同时出于使所绘图形简单明了，本文再次利用四家国有银行的数据，对资产收益率进行更深入的分析。虽然此实例中个体数少，但并不妨碍对方法应用的系统描述与理解。
在对实际问题的经济数据进行分析时，通常需要依照研究的目标编写计算机程序。就目前的研究现状来看，基于MATLAB或SPLUS等编写的程序，如绘图或综合计算函数等，完全可以满足分析的需要。本文首先基于MATLAB编写程序，然后对四家国有银行的资产收益率数据进行分析。
关于四家银行资产收益率数据的函数(曲线)展示与初步分析，本文在前面已进行了描述，具体结果见图1和图2。概括资产收益率特征的统计量(均值函数和标准差函数)的曲线见图3。
为了进一步探讨典型函数所呈现的特征，本文利用函数性主成份分析，对四家银行的资产收益率数据进行分析。一般来说，在函数性数据分析中，与多元统计中的某个主成份的权向量相对应的是主成份权函数(principal component weight function)，记为 ，其中t在一个区间 中变化。第i个样品(个体) 的主成份得分值为 ，第一主成份就是在 的约束条件下，寻求使主成份得分 的方差达到最大的权函数 ，即它是下面数学模型的最优解： 类似地，可以求得第j个主成份，其权函数毛(t)是下面数学模型的解：
为了得到光滑的主成份，一种方法是对由上述方法求出的主成份进行修匀，另一种方法是将修匀处理过程，融入到主成份的求解过程中。具体作法是将描述主成份曲线波动程度的粗糙因子纳入到约柬条件中，形成带惩罚的约束条件。利用粗糙惩罚法求第j个主成份的数学模型是其中 称为修匀参数，用它可对粗糙惩罚项进行调整。
利用上述方法和基于MATLAB编写的程序，对四家银行进行函数性主成份分析(FPCA)。具体结果见图4。第一个主成份(PCI)的解释能力为85．5％，第二个主成份(Pc2)的解释能力为13．1％，前两个主成份的综合解释能力为98．6％。
为了清晰地显示主成份，并进行有意义的解释，在同一图中绘出三条曲线，一条是整体均值曲线，另两条是对均值曲线分别加上和减去主成份的一个适当倍数而形成的曲线，具体结果见图5(本文所选的倍数是0．12)。以上所述的三条曲线分别对应着图5中的实心曲线、‘+’曲线和‘*’曲线。第一个主成份反映了资产收益率(ROA)的一般变化，尤其反映了资产收益率的“两头”变化情况(1999年以前和2003年以后)。第二个主成份反映了资产收益率(ROA)的中段变化。
六、结论
在经济实践中，越来越多的领域所得到的样本观察资料是曲线或图像，即函数性数据。因此，对这种类型的经济数据进行统计分析和描述，具有重要的现实意义。因篇幅所限，还有一些函数性数据的分析方法未予以介绍，如函数性方差分析、函数线性模型、函数性典型相关分析以及描述动态性的微分方程等。由于本文的主要目的，是通过对函数性数据分析方法和具体应用的介绍，传述对数据进行分析的新思想，而不只是方法技术本身。因此，缺少的方法并不影响对思想的阐述。
另外，本文对四家银行资产收益率的分析，例证了函数性数据的分析方法，具有传统统计分析方法不可比拟的优越性，具体表现在：(1)通过对函数性数据的修匀，将一阶或多阶导数，如速度和加速度，引入到分析过程中。这一点在计量经济学和多元统计的分析方法中未予以考虑。(2)函数性数据分析，用最少的假设来研究曲线间和曲线内部的结构变化。关于这一点它优于计量经济学中处理“面板数据”的方法。事实上，面板数据只是函数性数据的一种类型，本文介绍的数据分析方法可用来处理许多领域的函数性数据，应用范围相对宽广，而且观测时点也可以不等间隔选取。(3)将数据曲线的振幅变化与相位变化分开处理，是函数性数据分析的一个中心理念，但在以前的分析中却被忽视了。
数据分析方法精选篇3
关键词：社会调查数据 三维矩阵 超图
中图分类号：P208 文献标识码：A 文章编号：1672-3791（2016）02（a）-0003-04
Abstract：In view of the problems of the social survey data processing and analysis， this paper establishes the mathematical model of three dimensional matrix which is based on the three dimensional matrix.On the basis of the established three dimensional matrix model，we can use the properties of three dimensional matrix to deal it with a variety of mathematical methods， and use the hypergraph theory for further analysis. This enriches the method of the survey data processing greatly.
Key Words：Social survey data；Three-dimension matrix；Hypergraph
社会调查是了解各方面信息的重要途径之一，社会调查数据主要是通过调查问卷的方法得到的。由于社会调查数据的维数较高，加上人为主观因素，数据类型主要为二元变量、离散变量、序数变量等为主，所以对于社会调查数据的分析和处理大都基于统计学，只对单一题目进行统计学分析，其分析方法主要是基于题型进行处理的，对于题目和题目之间的关系很少关心[1]。许多数据挖掘算法因为种种限制无法在社会调查的数据分析中得到应用。因为方法的限制，所以现在很多社会调查只能验证事先想好的内容和假设，很少可以对高维数据进行相对复杂的回归分析处理。
根据以上存在的问题，该文建立了基于三维矩阵的数学模型，将单选题、多选题和排序题用向量形式进行表示，每一题定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份问卷的信息用一个M×N矩阵表示。这样表示可以将所有问卷内容当作一个整体，作为后续算法的基础。
1 社会调查数据的特点
通常情况下，社会调查数据特点如下。
（1）相关性。对于一个样本个体而言，它具有本身的多个特征，这些特征之间就具有一定的相关性。对于多个样本而言，个体与个体的特征之间具有相关性。如果样本随时间而变化，那么该样本在不同时刻的特征之间又具有相关性。因此，由于上述多个原因使得社会调查数据具有了复杂的相关性，传统的统计学调查难以解决这样的问题。
（2）离散性。因为社会调查数据是通过自填式问卷、网络调查数据库等方法得到，所以社会调查数据一般以离散变量为主，且这些数据之间只有标示作用，并没有严格的逻辑关系。
（3）模糊性。社会调查数据当中不可避免的会接触到各种表达方式和概念，因此，它具有模糊性。
因为由自填式问卷或结构式访问的方法得到的社会调查数据具有以上特点，所以在实际应用中基于统计学的处理方法只能笼统的显示数据的部分特性，如频数、离散程度等[2]。对于数据之间的关系只能分析出维数极少的大致的关系。
而且利用软件进行数据挖掘时，因为现有的软件中的数据挖掘算法对于数据类型和格式要求较高，所以能应用到的数据挖掘算法很少。就算是数据要求较低的关联分析，其结果也存在大量的冗余。因此，我们需要建立一个合适的社会调查数据的数学模型来完善原先的方法并使跟多的数据挖掘方法可以运用到其中，使得结果更准确。
2 社会调查数据的建模
研究中我们发现，三维矩阵可适用于社会调查数据的建模。
2.1 三维矩阵的定义
三维矩阵的定义：由n个p×q阶的矩阵组成的n×p×q阶的矩阵A称为三维矩阵，又称立体阵。Ak，i，j表示三维矩阵A的第k层，第i行，第j列上的元素。其中n，p，q分别表示三维矩阵的高度，厚度和宽度。
2.2 三维矩阵模型的建立
调查问卷的题目一般有三种类型：单选题、多选题和排序题。这三类题目都可以表示成向量的形式，其中每一道单选题、多选题可以表示成一个向量，排序题可以表示成多个向量组成的矩阵。对于单选题和多选题，可以按选项的顺序可以表示成一个向量，其中选中的项用“1”表示，未选中的项用“0”表示。对于排序题，可以表示成一个n×n的方阵，其中n表示该排序题的选项个数，。这样，每一题就可以定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份调查问卷的信息用一个M×N矩阵表示（M为题目的最大选项数），其在每一维上的选择称之为一个元素，这样每份问卷的信息就包括了N个元素。以第1，2，3题数据为例，其中第1题为单选题选择“B”，用向量表示为一个元素，第2题为多选题选择“ACE”，用向量表示为一个元素，第3题为排序题顺序为CBADEFIHG，用矩阵表示，每一个列向量是一个元素，如图1所示。
那么，假设有一问卷信息用一个大小为M×N的矩阵表示。K份的问卷信息就可以用K个大小为M×N的矩阵表示。将这K个矩阵叠加，形成一个三维矩阵。这个三维矩阵就是我们建立的三维矩阵数学模型，如图2所示。
在图2中我们看到，该三维矩阵数学模型有三个坐标轴，它们分别是题目，人数，选项。题目轴以每一道题为一个单位；人数轴以每一份问卷为一个单位；选项轴的刻度为A，B，C，D，E，F等题目选项，其个数为该调查问卷中选项最多的题目的选项个数。
在此基础之上，这样的三维矩阵具有以下性质。
（1）在题目轴中选取对应的题目，将三维矩阵面向竖切得到截面1（如图2中01所示），截面2表示每一道题所有人选择的信息。
（2）在人数轴中选取对应的人，将三维矩阵横切得到横截面1（如图2中02所示），横截面1表示对应的人选择所有题目的信息。
在得到三维矩阵后，可对它进行像素化处理，置1的元素用黑点代替，置0元素的则空白，在得到像素化三维矩阵后我们可以将三维矩阵沿着人数维度上向下投影，这样就可以得到一个具有浓黑不一的点的平面。通过这些点的浓度，可以知道每一选项选择的人数。接下来我们可用灰度级表示点的浓度，筛选出浓度大于一定程度的点，在此基础上进行后续算法处理。
上述三维矩阵数学模型具有数学三维矩阵的所有性质，可依据调查问卷的需求进行转置，加权、相乘、筛选等数学处理，另外在数学处理的基础上，采用超图理论可以大大丰富了调查问卷的处理方法。
3 基于超图算法的调查问卷分析技术
超图是离散数学中重要的内容，是对图论的推广[3]。超图是有限集合的子系统，它是一个由顶点的集合V和超边集合E组成的二元对，超图的一条边可以有多个顶点的特性，这与一般的图有很大不同。超图分为有向超图与无向超图两类，在无向超图的每条超边上添加方向后得到的有向二元对就是有向超图。超图在许多领域有广泛的应用。
大家可以利用无向超图表示每一道题的选择情况，先将这每一题的每一个选项设成一个节点，然后将三维矩阵从上向下投影，如果某一题的若干个选项同时被一个人选择，就用一条超边包围这些节点，那么选这些选项的人越多，投影得到的超边就越浓。这样就用超图表示了问卷中每道题的信息，可以进行聚类处理。
利用有向超图，可以将关联规则表示成有向超图的形式，在得到了关联规则后，设实际中得到的关联规则的形式为：，前项和后项都是由多个项组成的集合。该文定义一条关联规则由一条有向超边表示，有向超边的头节点表示关联规则的前项，有向超边的尾节点表示关联规则的后项。每条有向超边的头节点和尾节点均可以为多个，如此便成功表示了复合规则，从而可以使用相关算法进行冗余规则检测。
通过基于有向超图的冗余规则检测就可以将关联规则之间存在着的大量冗余检测出，减少挖掘资源的浪费，从而增加了挖掘结果的有效性。
传统的聚类方法都对原始数据计算它们之间的距离来得到相似度，然后通过相似度进行聚类，这样的方法对于低维数据有良好的效果，但是对于高维数据却不能产生很好的聚类效果，因为高维数据的分布有其特殊性。通过超图模型的分割实现对高维数据的聚类却能产生较好的效果。它先将原始数据之间关系转化成超图，数据点表示成超图的节点，数据点间的关系用超边的权重来表示。然后对超图进行分割，除去相应的超边使得权重大的超边中的点聚于一个类中，同时使被除去的超边权重之和最小。这样就通过对超图的分割实现了对数据的聚类。具体的算法流程如下。
首先，将数据点之间的关系转化为超图，数据点表示为超图节点。如果某几个数据点的支持度大于一定阈值，则它们能构成一个频繁集，就将它们用一条超边连接，超边的权重就是这一频繁集的置信度，重复同样的方法就可以得超边和权重。
然后，在基础此上，通过超图分割实现数据的聚类。若设将数据分成k类，则就是对超图的k类分割，不断除去相应的超边，直到将数据分为k类，且每个分割中数据都密切相关为止，同时保持每次被除去的超边权重和最小，最终得到的分割就是聚类的结果。
如图3所示是基于超图算法的选题型调查问卷的分析技术的流程图，主要包括4个主要部分，一是用向量表示调查问卷结果，二是将向量表示的调查问卷转化为三维矩阵数学模型表示调查问卷结果，三是使用超图算法进行优化，四是根据要求显示调查问卷结果。
4 结语
该文针对社会调查数据处理与分析中存在的问题，建立了基于三维矩阵的数学模型，将单选题和多选题表示成向量，将排序题表示成多个列向量，从而每一题可以表示成空间的一个维度，每一个向量就是一个元素，这样每一张问卷就可以表示成一个矩阵，通过将多个矩阵叠加就可以得到三维矩阵。该数学模型可以利用三维矩阵的性质对其进行多种数学处理，如竖切、横切、像素化后投影等。在数学处理的基础上，该文又提出超图理论对数据进行聚类和检测冗余规则的分析。
参考文献
[1] 陈慧萍，王煜，王建东.高维数据挖掘算法的研究与进展[J].计算机工程与应用，2006（24）：170-173.
[2] 张东.基于VFP的调查问卷通用统计汇总生成系统的设计与实现[J].科技资讯，2006（10）：183.
[3] 奚维吉.用户满意度调查的数据处理[J].科技资讯，2007（8）：253-254.
[4] 崔阳，杨炳儒.超图在数据挖掘领域中的几个应用[J].计算机科学，2010，37（6）：220-222.
[5] 朱玉全，杨鹤标，孙蕾.数据挖掘技术[M].南京：东南大学出版社，2006.
[6] 王志平，王众托.超网络理论及其应用[M].北京：科学出版社，2008.
[7] Jong Soo Park，Ming-Syan Chen，Philip S.Yu.Using a hash-based method with transaction trimming for mining associationrules [J].IEEE Transactions on knowledge and engineering，1997，9（5）：813-825.
[8] 王海英，黄强，李传涛，等.图论算法及其 MATLAB实现[M].北京航空航天大学出版社，2010.
[9] H.Toivonen. Sampling large databases for association rules [C]// Proc. 1996 Int. Conf. Very Large Data Bases （VLDB'96）.1996.
[10] Marco Dorigo， Vittorio Maniezzo， Alberto Colorni. The ant system： optimization by a colony of cooperative agents [J].Physical Review Letters，1995，75（14）：2686-2689.
[11] S. Brin， R. Motwani， J. D.Ullman，et al.Dynamic itemset counting and implication rules for market basket data [J].ACMSIGMOD Record，1997，26（2）：255-264.
数据分析方法精选篇4
Abstract：In view of the problems of the social survey data processing and analysis， this paper establishes the mathematical model of three dimensional matrix which is based on the three dimensional matrix.On the basis of the established three dimensional matrix model，we can use the properties of three dimensional matrix to deal it with a variety of mathematical methods， and use the hypergraph theory for further analysis. This enriches the method of the survey data processing greatly.
Key Words：Social survey data；Three-dimension matrix；Hypergraph
社会调查是了解各方面信息的重要途径之一，社会调查数据主要是通过调查问卷的方法得到的。由于社会调查数据的维数较高，加上人为主观因素，数据类型主要为二元变量、离散变量、序数变量等为主，所以对于社会调查数据的分析和处理大都基于统计学，只对单一题目进行统计学分析，其分析方法主要是基于题型进行处理的，对于题目和题目之间的关系很少关心[1]。许多数据挖掘算法因为种种限制无法在社会调查的数据分析中得到应用。因为方法的限制，所以现在很多社会调查只能验证事先想好的内容和假设，很少可以对高维数据进行相对复杂的回归分析处理。
根据以上存在的问题，该文建立了基于三维矩阵的数学模型，将单选题、多选题和排序题用向量形式进行表示，每一题定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份问卷的信息用一个M×N矩阵表示。这样表示可以将所有问卷内容当作一个整体，作为后续算法的基础。
1 社会调查数据的特点
通常情况下，社会调查数据特点如下。
（1）相关性。对于一个样本个体而言，它具有本身的多个特征，这些特征之间就具有一定的相关性。对于多个样本而言，个体与个体的特征之间具有相关性。如果样本随时间而变化，那么该样本在不同时刻的特征之间又具有相关性。因此，由于上述多个原因使得社会调查数据具有了复杂的相关性，传统的统计学调查难以解决这样的问题。
（2）离散性。因为社会调查数据是通过自填式问卷、网络调查数据库等方法得到，所以社会调查数据一般以离散变量为主，且这些数据之间只有标示作用，并没有严格的逻辑关系。
（3）模糊性。社会调查数据当中不可避免的会接触到各种表达方式和概念，因此，它具有模糊性。
因为由自填式问卷或结构式访问的方法得到的社会调查数据具有以上特点，所以在实际应用中基于统计学的处理方法只能笼统的显示数据的部分特性，如频数、离散程度等[2]。对于数据之间的关系只能分析出维数极少的大致的关系。
而且利用软件进行数据挖掘时，因为现有的软件中的数据挖掘算法对于数据类型和格式要求较高，所以能应用到的数据挖掘算法很少。就算是数据要求较低的关联分析，其结果也存在大量的冗余。因此，我们需要建立一个合适的社会调查数据的数学模型来完善原先的方法并使跟多的数据挖掘方法可以运用到其中，使得结果更准确。
2 社会调查数据的建模
研究中我们发现，三维矩阵可适用于社会调查数据的建模。
2.1 三维矩阵的定义
三维矩阵的定义：由n个p×q阶的矩阵组成的n×p×q阶的矩阵A称为三维矩阵，又称立体阵。Ak，i，j表示三维矩阵A的第k层，第i行，第j列上的元素。其中n，p，q分别表示三维矩阵的高度，厚度和宽度。
2.2 三维矩阵模型的建立
调查问卷的题目一般有三种类型：单选题、多选题和排序题。这三类题目都可以表示成向量的形式，其中每一道单选题、多选题可以表示成一个向量，排序题可以表示成多个向量组成的矩阵。对于单选题和多选题，可以按选项的顺序可以表示成一个向量，其中选中的项用“1”表示，未选中的项用“0”表示。对于排序题，可以表示成一个n×n的方阵，其中n表示该排序题的选项个数，。这样，每一题就可以定义为空间中的一个维度，从而所有的题目就可以构成一个N维空间。每份调查问卷的信息用一个M×N矩阵表示（M为题目的最大选项数），其在每一维上的选择称之为一个元素，这样每份问卷的信息就包括了N个元素。以第1，2，3题数据为例，其中第1题为单选题选择“B”，用向量表示为一个元素，第2题为多选题选择“ACE”，用向量表示为一个元素，第3题为排序题顺序为CBADEFIHG，用矩阵表示，每一个列向量是一个元素，如图1所示。
那么，假设有一问卷信息用一个大小为M×N的矩阵表示。K份的问卷信息就可以用K个大小为M×N的矩阵表示。将这K个矩阵叠加，形成一个三维矩阵。这个三维矩阵就是我们建立的三维矩阵数学模型，如图2所示。
在图2中我们看到，该三维矩阵数学模型有三个坐标轴，它们分别是题目，人数，选项。题目轴以每一道题为一个单位；人数轴以每一份问卷为一个单位；选项轴的刻度为A，B，C，D，E，F等题目选项，其个数为该调查问卷中选项最多的题目的选项个数。
在此基础之上，这样的三维矩阵具有以下性质。
（1）在题目轴中选取对应的题目，将三维矩阵面向竖切得到截面1（如图2中01所示），截面2表示每一道题所有人选择的信息。
（2）在人数轴中选取对应的人，将三维矩阵横切得到横截面1（如图2中02所示），横截面1表示对应的人选择所有题目的信息。
在得到三维矩阵后，可对它进行像素化处理，置1的元素用黑点代替，置0元素的则空白，在得到像素化三维矩阵后我们可以将三维矩阵沿着人数维度上向下投影，这样就可以得到一个具有浓黑不一的点的平面。通过这些点的浓度，可以知道每一选项选择的人数。接下来我们可用灰度级表示点的浓度，筛选出浓度大于一定程度的点，在此基础上进行后续算法处理。
上述三维矩阵数学模型具有数学三维矩阵的所有性质，可依据调查问卷的需求进行转置，加权、相乘、筛选等数学处理，另外在数学处理的基础上，采用超图理论可以大大丰富了调查问卷的处理方法。
3 基于超图算法的调查问卷分析技术
超图是离散数学中重要的内容，是对图论的推广[3]。超图是有限集合的子系统，它是一个由顶点的集合V和超边集合E组成的二元对，超图的一条边可以有多个顶点的特性，这与一般的图有很大不同。超图分为有向超图与无向超图两类，在无向超图的每条超边上添加方向后得到的有向二元对就是有向超图。超图在许多领域有广泛的应用。
大家可以利用无向超图表示每一道题的选择情况，先将这每一题的每一个选项设成一个节点，然后将三维矩阵从上向下投影，如果某一题的若干个选项同时被一个人选择，就用一条超边包围这些节点，那么选这些选项的人越多，投影得到的超边就越浓。这样就用超图表示了问卷中每道题的信息，可以进行聚类处理。
利用有向超图，可以将关联规则表示成有向超图的形式，在得到了关联规则后，设实际中得到的关联规则的形式为：，前项和后项都是由多个项组成的集合。该文定义一条关联规则由一条有向超边表示，有向超边的头节点表示关联规则的前项，有向超边的尾节点表示关联规则的后项。每条有向超边的头节点和尾节点均可以为多个，如此便成功表示了复合规则，从而可以使用相关算法进行冗余规则检测。
通过基于有向超图的冗余规则检测就可以将关联规则之间存在着的大量冗余检测出，减少挖掘资源的浪费，从而增加了挖掘结果的有效性。
传统的聚类方法都对原始数据计算它们之间的距离来得到相似度，然后通过相似度进行聚类，这样的方法对于低维数据有良好的效果，但是对于高维数据却不能产生很好的聚类效果，因为高维数据的分布有其特殊性。通过超图模型的分割实现对高维数据的聚类却能产生较好的效果。它先将原始数据之间关系转化成超图，数据点表示成超图的节点，数据点间的关系用超边的权重来表示。然后对超图进行分割，除去相应的超边使得权重大的超边中的点聚于一个类中，同时使被除去的超边权重之和最小。这样就通过对超图的分割实现了对数据的聚类。具体的算法流程如下。
首先，将数据点之间的关系转化为超图，数据点表示为超图节点。如果某几个数据点的支持度大于一定阈值，则它们能构成一个频繁集，就将它们用一条超边连接，超边的权重就是这一频繁集的置信度，重复同样的方法就可以得超边和权重。
然后，在基础此上，通过超图分割实现数据的聚类。若设将数据分成k类，则就是对超图的k类分割，不断除去相应的超边，直到将数据分为k类，且每个分割中数据都密切相关为止，同时保持每次被除去的超边权重和最小，最终得到的分割就是聚类的结果。
如图3所示是基于超图算法的选题型调查问卷的分析技术的流程图，主要包括4个主要部分，一是用向量表示调查问卷结果，二是将向量表示的调查问卷转化为三维矩阵数学模型表示调查问卷结果，三是使用超图算法进行优化，四是根据要求显示调查问卷结果。
数据分析方法精选篇5
UK
Larry Kerschberg George Mason University
USA
Peter J.H.King University of London UK
Alexandra Poulovassilis University of
London UK (Eds.)
The Functional Approach To
Data Management
Modeling, Analyzing And Integrating
Heterogeneous Data
2004,483pp.
Hardcover EUR:69.95
ISBN 9783540003755
数据管理的功能方法
建模、分析和综合异质数据
彼得M.D格林莱瑞.克斯伯格,
彼得J.H 金， 亚历山大.波洛瓦斯里斯 著
功能数据模型和功能编程语言首次引入到计算领域已有20多年的历史了。随着数据库技术在生物信息、国家安全、犯罪调查和高级工程领域的卓越应用，数据库技术的重要性日渐凸现，本书所提出的更成熟的方法就越显得重要。
本书分为五部分。第一部分介绍了如何将数据管理与功能语言融合在一起的方法。功能语言是最新发展起来的运用于计算和规范用途的工具，在本书中主要是数据模型和计算的功能方法，能够带来语义网络的新时代和网络世界的资源分流。这比相关模型更具灵活性，而且很适合半结构数据。
第二部分是介绍异质数据库和生物信息学的一体化数据。在这部分中介绍了有关异质数据库和生物信息学的一体化数据新近的研究成果。至关重要的观点就是功能性的提取数据创造了独特的观察数据的方法，不论这些数据是如何被存储的，这对于程序员来讲或许有些陌生，主要是因为他们习惯了操作数据内部的特定排列或者凭借记忆中记录的结构。不过当来自不同信息源的资料一体化之后，隐藏存储细节并且在一个更高的概念层次上作业就变得重要了。
第三部分是理解力表。从计算的角度讲，功能方法允许我们调定功能然后重新书写并利用有参考性的图片转化功能表达。在这一部分中，将运用到设计、常规分析和功能数据语言最优化，包括了重要的精炼理解，并以数学结构为基础，这些原理的应用贯穿了全书。
第四部分介绍关于管理半结构化的数据、信息和知识的功能方法。本部分各章均采用XML语言来描述半结构化数据，或者使用以XML语言为基础的开放标准的描述语言。XML语言能够将数据描述语言和数据本身放在一起，使描述数据的元数据成为数据自描述的一种形式。本章还强调了不同来源的信息源数据整合和互操作。当来自不同信息源的异质数据放到一起时，需要通过数据整合来构建一个分布式资源的概念模型。这部分内容向人们展示了功能方法在建模、执行、管理和整合这些系统中的效用。
第五部分为指南。它能够使读者将全书的各部分统观贯穿起来，并加深对其他部分的理解和应用。
本书适合于有志钻研本项目的读者研读、学习。对于正在这一领域工作的人来说本书不啻为有价值的参考资料。
刘丽，副教授
(中国农业大学管理工程学院)
数据分析方法精选篇6
[关键词]大数据；市场分析；方法
doi：10.3969/j.issn.1673 - 0194.2017.02.056
[中图分类号]F270 [文献标识码]A [文章编号]1673-0194（2017）02-00-01
0 引 言
随着移动互联网技术的发展，人们越来越习惯于网络购物。在网上购物或刷微博时，常常会看到“猜你喜欢”“可能感兴趣的商品”等广告栏目。而这些内容都是大数据产业的成果，是面向大数据视野得到市场分析的结果。掌握这种市场分析方法，能帮助企业更好地了解消费者的需求，进而更好地开展营销活动。
1 大数据视野下市场分析的问题
在互联网得到普及应用的情况下，大数据时代已经正式到来。目前，互联网上的数据每年都会增长50%。而随着运动、湿度和温度等各类传感器的出现，企业接触到的数据信息也越来越多，而这些数据在给企业带来挑战的同时，也为企业提供了新的市场增长空间。加强数据挖掘和分析，能帮助企业精准地找到用户，从而通过降低营销成本、提高销售率实现利益最大化。因此，企业应面向大数据进行市场分析研究，以便通过统计和分析超大量的样本数据，获得更接近市场真实状态的市场研究成果。
2 大数据视野下的市场分析方法
2.1 基于大数据的市场调研方法
在过去较长的时间里，市场分析是以实地调查为前提，或是通过问卷调查和提供抽样技术，其目的均是为了获得消费者的答案。进入大数据时代后，企业开始通过网络调研进行市场调查。这种方法，能够方便、快捷且经济地完成市场调查。具体来讲，就是企业通过门户网站完成市场调研模块的建立，然后将新产品邮寄给消费者，并要求消费者在试用后进行网上调查问卷的填写，这样就能够投入较少的人力和物力来完成市场调研。由于这种市场分析方法具有一定的互动性，能够在概念阶段利用虚拟仿真技术完成产品测试，从而使消费者参与到产品的开发，进而使市场需求得到更好的满足。
2.2 基于大数据的市场信息挖掘
面向大数据视野研究市场分析的问题，企业可以发现有效的市场分析需要大量的数据信息提供支撑。所以，企业还要使用基于大数据的市场信息挖掘技术，以便对市场需求进行更好的分析。首先，在智能手机逐步得到普及应用的情况下，企业还应在移动终端开展市场研究，借助移动APP完成消费信息的采集。企业对这些数据进行深入分析，能够完成产品回购率、产品促销奖励评估和购买时点等内容的分析。其次，在零售终端，POS机得到较好的建设和应用下，企业可以通过扫描商品条形码完成购买地点、名称和零售价等信息的采集，进而使其更好地掌握商业渠道的动态信息。此外，消费者往往具有从众性，企业加强对社交平台的信息挖掘能更好的掌握消费潮流。比如，利用微博评论可以完成消费者对某种产品偏好的了解，从而完成消费者真实消费心理及态度的分析，进而更好地掌握市场信息。
2.3 多学科分析方法的引入
以往的市场分析通常需要采取社会学调查方法完成资料搜集，再利用数据分析软件完成数据分析，并获得描述性或预测性的分析报告。在大数据时代，由于要完成海量数据的分析，因此，可以引入相对论、整体论和跨文化比较研究等多个学科的分析方法，以满足大数据时代数据分析的需要。就目前来看，大数据来自各种移动终端和网络，其是能反映消费者行动过程和轨迹的数据记录，采用传统的市场分析方法难以对这种过程性数据进行分析，而引入以分析过程见长的人类学的分析方法，则能对市场消费者的行动过程进行描述，从而使消费者的行动趋向得到揭示。
2.4 定量与定性分析方法的结合
采取定性或定量这两种分析方法中的一种，可以完成片段式或截面式数据内容的分析。但在大数据时代，数据变得更加复杂，因此可以使用定量和定性相结合的分析方法进行市场分析。一方面，企业通过网络调研完成大量数据信息的搜集，从而采取定量分析法进行市场分析研究。这种方法，能够使市场研究人员成为“隐形人”，从而更加客观地观察消费者，并通过对超大样本量进行统计分析，完成市场状态的分析。另一方面，针对文本、视频和图形等非量化数据，可以通过智能化检索和分析来完成定性分析，以便在保护消费者隐私的基础上，更好地分析市场需求。
2.5 数据复杂属性的还原
在传统的市场分析工作中，可以将数据看成是一些片段而进行分析。而这样的分析，实际上是脱离具体情境和社会关系的分析过程，虽然可以根据自身经验和想象来进行情境原，但得到的研究结果却不够客观和科学。在大数据背景下，企业可以使用能够还原数据复杂属性的市场分析方法，以便更好地完成、嵌入某些社会关系的消费者的购买行动和轨迹的分析，进而获得更加有效及真实的分析结果。因此，使用的市场分析方法应更关注数据的社会背景，从而更好地完成大数据的整合与分析。
3 结 语
在大数据时代，企业要选择适当的市场分析方法，以便使自身的数据处理能力得到提高，从而通过获取的高质量的数据信息来提高自身竞争力，进而更好地适应社会发展的要求。因此，希望本文对大数据视野下的市场分析方法展开的研究，可以为相关工作的开展带来启示。
主要参考文献
[1]王云蔚.大数据背景下的消费市场研究[J].北京印刷学院学报，2014（1）.
数据分析方法精选篇7
关键词：供电企业；信息安全；大数据；分析方法；思路；探讨
前言
智能化的电网正在全面地实施建设。随着以大数据为中心的IT技术的不断融入，当前我国的供电企业展开了大数据分析的研究，以便更好地使得大数据应用到整个配网的规划当中。此外，还要根据电网的实际数据情况，把数据应用到智能变电站的建立、智能电网的调度及供电信息的采集等各个方面。进而有效地提高我国供电企业的管理水平及处理业务的能力。然而，信息化新技术在应用的过程中也具有一定的风险因素，所以需要建立大数据的安全分析结构，进而对数据进行相应的处理并把安全分析方法应用到整个供电企业的信息系统中去，进而更好地为供电企业的数据安全提供保障。
1供电企业的信息完全风险分析
大数据作为供电企业的管理工具是一把双刃剑，给供电企业管理提供了便利，提高供电企业的管理水平和管理能力的同时，也给供电企业带来了一定的挑战和风险因素。使得企业数据处理、收集及传输的风险等级提高。若企业内部的数据出现问题，则会使得数据在进行传输的过程中被盗取和窃听，这给企业的管理带来了很大的风险。除此之外，企业在进行数据中进行一定的储存和利用的过程中，也会由于大数据系统的内部维护不到位而带了很大的风险。若企业的数据被长时间地窃听，就会使得不法分子有机可乘，采用各种方法来对数据后台进行攻击和试探，并寻找系统的薄弱之处。最后实行致命的攻击，并造成系统的瘫痪。所以，大数据给在方便企业的信息管理的同时，也带来了一定的信息安全挑战。
2供电企业信息安全大数据所面临的数据安全的需要
传统的电力信息系统逐渐地走向了信息化处理的进程，智能化的电网模式带给了供电企业信息系统数据安全更大的要求。每次进行数据的访问时，都需要确定数据的访问权限，并核实访问者的身份，并查看是否被授权。供电企业的数据信息需要被完整地保护，并保障其不被删除或者恶意的篡改。一旦供电企业发生一定的突发事件，需要大数据平台对数据进行自动的备份，并使数据得到安全的保护。④要采取一定的措施来保证供电企业的数据在运行过程中的安全性不被破坏。⑤要切实保证整个供电企业的信息系统的网络安全，控制供电企业信息系统的基础安全信息网络和供电企业内部比较重要的业务系统的安全。
3供电企业的信息安全大数据分析思路
当前供电企业内容的安全信息系统逐渐地向着对抗型的信息安全系统方式转变，并使得电力系统的大数据网络可以积极地应对外界的攻击。并对潜在的敌人进行分析和识别，并归纳总结当前的供电企业的信息安全大数据的风险类型，从而采取相应的对策，并先发制人，提高安全大数据系统的防御能力。这就是当前供电企业的信息安全大数据的分析思路。大数据的分析和挖掘技术需要不断地融入到大数据的安全分析中去，下图是大数据的安全结构分析思路。供电企业的信息安全大数据分析思路是基于技术的安全分析和理念，是至今为止比较完善的大数据安全分析办法，是供电企业大数据的核心环节，是对相对分散的信息进行采集并实现存储，并对其进行一定的分析，最后把其分析结果进行分发，把所有的安全分析体系结合在一起，并实现安全技术的互动。
4供电企业信息安全大数据安全分析结构的数据处理
供电企业的信息安全大数据的结构具体根据业务的不同分为不同的数据库进行处理。关系数据库是当前最丰富的数据库，是进行供电企业信息安全处理的主要形式。而数据仓库属于一种多维的数据结构，可以允许用户进行汇总级别的计算，并对数据进行观察。事务数据库中记录了每一个事务，并同时附带了一些相互关联的附加表。文本数据库是对图象进行描述的数据库，文本数据库与图书馆数据库类似。而多媒体数据库则是对图像以及音频和视频的存储，并用于存放内容的检索。供电企业的信息安全大数据的存储往往需要先确定好处理的目标，并对数据进行量化的处理，最后对数据进行一定的评估，最后进行结果的展示。将大量的数据进行集中化的处理可以切实地反映出安全数据的指标，并根据指标对安全数据进行相应的评估。
5供电企业信息安全大数据安全分析方法
当前，进行供电企业信息安全大数据安全分析的方法有很多，随着大数据的技术体系逐渐成熟，目前对安全数据的分析算法也变得多样化，很多分析方法比如分类技术方法、序列分析方法等等对大量的数据的分析具有很好的效果。而对于不同的数据库可以采用不同的分析算法进行分析。比如，当利用关系数据库和事务数据库时，就可以利用序列分析的办法进行数据的挖掘和统计；而数据仓库除了需要进行联机处理以外，还需要进行数据的挖掘；文本数据库则是利用模式匹配以及关联分析等方法相互结合来进行数据的挖掘分析。
6结论
针对供电企业的信息安全的大数据分析有很多的途径，在进行供电企业信息安全的大数据分析时，需要对供电企业的安全数据信息进行全面预测，并利用多种分析办法综合处理。随着当前大数据网络技术的不断发展，根据大数据的分析特点进行安全分析的办法也在不断地完善。基于信息安全的大数据分析方法和思路具有很大的发展前景，安全大数据技术的不断革新，使得供电企业的防护网络更加地发达，并逐渐实现了供电企业的大数据信息安全的评估系统的完善，使得供电企业的信息安全大数据发展更为迅速。
参考文献
[1]钟志琛.电力大数据信息安全分析技术研究[J].电力信息与通信技术,2015(9):45-46.
数据分析方法精选篇8
关键词：大坝 安全监测 数据 分析
中图分类号：P2 文献标识码：A 文章编号：1672-3791（2012）12（b）-0053-02
1 大坝安全监测的意义
大坝所具有的潜在安全问题既是一个复杂的技术问题，也是一个日益突出的公共安全问题，因此，我国对大坝安全越来越重视。随着坝工理论和技术的不断发展与完善，为了更好地实现水资源的进一步开发利用，我国的大坝建设正向着更高更大方向发展，如三峡重力坝、小湾拱坝（最大坝高294.5 m）、拉西瓦拱坝（最大坝高250 m）、溪洛渡拱坝（最大坝高285.5 m）等，这些工程的建设将为我国的经济发展做出巨大贡献，也将推动我国的坝工理论和技术水平上升到一个新的高度。但是，这些工程一旦失事，将是不可想象的毁灭性灾难，因此，大坝安全问题就显得日益突出和重要。保证大坝安全的措施可分为工程措施和非工程措施两种，两者相互依存，缺一不可。
回顾大坝安全监测的发展历史，最早可追溯到19世纪90年代，1891年德国的挨施巴赫重力坝开展了大坝位移观测，随后于1903年美国新泽西州Boont。n重力坝开展了温度观测，1908年澳大利亚新南威尔士州巴伦杰克溪薄拱坝开展了变形观测，1925年美国爱达荷州亚美尼加一佛尔兹坝开展了扬压力观测，1826年美国垦务局在Stevenson一creek试验拱坝上开展了应力及应变观测，这是最早开展安全监测的几个实例。我国从20世纪50年代开始进行安全监测工作，大坝安全监测的作用是逐渐被人们认识的，赵志仁将大坝安全监测的发展历程划分为以下3个阶段。
（1）1891年至1964年，原型观测阶段，原型观测的主要目的是研究大坝设计计算方法，检验设计，改进坝工理论。（2）1964年至1985年，由原型观测向安全监测的过度阶段，接连发生的大坝失事，让人们逐渐认识到大坝安全的重要性，逐步把保证大坝安全运行作为主要目的。（3）1985年至今，安全监测阶段，此阶段，大坝安全监测已经成为人们的共识，随着监测仪器、监测技术和资料分析方法的不断进步、发展与完善，将逐步实现大坝的安全监控。
2 大坝安全监测数据分析概述
大坝安全监测取得的大量数据为评价大坝运行状态提供了基础，但是，原始观测数据往往不能直观清晰地展示大坝性态，需要对观测数据进行分辨、解析、提炼和概括，从繁多的观测资料中找出关键问题，深刻地揭示规律并作出判断，这就需要进行监测数据分析。
2.1 监测数据分析的意义
大坝监测数据分析可以从原始数据中提取包含的信息，为大坝的建设和运行管理提供有价值的科学依据。大量工程实践表明：大坝监测数据中蕴藏了丰富的反映坝体结构性态的信息，做好观测资料分析工作既有工程应用价值又有科学研究意义。大坝安全监测数据分析的意义表现在如下几方面：（1）原始观测数据本身既包含着大坝实际运行状态的信息，又带有观测误差及外界随机因素所造成的干扰。必须经过误差分析及干扰辨析，才能揭示出真实的信息。（2）观测值是影响坝体状态的多种内外因素交织在一起的综合效应，也必须对测值作分解和剖析，将影响因素加以分解，找出主要因素及各个因素的影响程度。（3）只有将多测点的多测次的多种观测量放在一起综合考察，相互补充和验证，才能全面了解测值在空间分布上和时间发展上的相互联系，了解大坝的变化过程和发展趋势，发现变动特殊的部位和薄弱环节。（4）为了对大坝监测数据作出合理的物理解释，为了预测大坝未来的变化趋势，也都离不开监测数据分析工作。因此，大坝监测资料分析是实现大坝安全监测最终目的的一个重要环节。
2.2 监测数据分析的内容
监测资料分析的内容通常包括：认识规律、查找问题、预测变化、判断安全。
（1）认识规律：分析测值的发展过程以了解其随时间而变化的情况，如周期性、趋势、变化类型、发展速度、变动幅度等；分析测值的空间分布以了解它在不同部位的特点和差异，掌握它的分布特点及代表性测点的位置；分析测值的影响因素以了解各种外界条件及内部因素对所测物理量的作用程度、主次关系。通过这些分析，掌握坝的运行状况，认识坝的各个部位上各种测值的变化规律。（2）查找问题：对监测变量在发展过程和分布关系上发现的特殊或突出测值，联系荷载条件及结构因素进行考查，了解其是否符合正常变化规律或是否在正常变化范围之内，分析原因，找出问题。（3）预测变化：根据所掌握的规律，预测未来一定条件下测值的变化范围或取值；对于发现的问题，估计其发展趋势、变化速度和可能后果。（4）判断安全：基于对测值的分析，判断过去一段时期内坝的运行状态是否安全并对今后可能出现的最不利条件组合下坝的安全作出预先判断。
一般来讲，大坝监测资料分析可分为正分析和反演分析两个方面。正分析是指由实测资料建立原型物理观测量的数学模型，并应用这些模型监控大坝的运行。反演分析是仿效系统识别的思想，以正分析成果为依据，通过相应的理论分析，反求大坝材料的物理力学参数和项源（如坝体混凝土温度、拱坝实际梁荷载等）。吴中如院士提到通过大坝监测资料分析可以实现反馈设计，即“综合原型观测资料正分析和反演分析的成果，通过理论分析计算或归纳总结，从中寻找某些规律和信息，及时反馈到设计、施工和运行中去，从而达到优化设计、施工和运行的目的，并补充和完善现行水工设计和施工规范”。综上所述，大坝监测资料正分析中数学模型的研究与应用是实现大坝安全监测及资料分析的目的和意义的基础与根本。
3 监测数据分析方法
大坝安全监测数据分析涉及到多学科交叉的许多方法和理论，目前，常用的大坝监测数据分析方法主要有如下几种：多元回归分析、时间序列分析、灰色理论分析、频谱分析、Kalman滤波法、有限元法、人工神经网络法、小波分析法、系统论方法等等。（图1）
3.1 多元回归分析
多元回归分析方法是大坝监测数据分析中应用最为广泛的方法之一，最常用的方法就是逐步回归分析方法，基于该方法的回归统计模型广泛应用于各类监测变量的分析建模工作。以大坝变形监测的分析为例，取变形（如各种位移值）为因变量（又称效应量），取环境量（如水压、温度等）为自变量（又称影响因子），根据数理统计理论建立多元线性回归模型，用逐步回归分析方法就可以得到效应量与环境量之间的函数模型，然后就可以进行变形的物理解释和预报。由于它是一种统计分析方法，需要因变量和自变量具有较长且一致性较好的观测值序列。如果回归模型的环境变量之间存在多重共线性，可能会引起回归模型参数估计的不正确；如果观测数据序列长度不足且数据中所含随机噪声偏大，则可能会引起回归模型的过拟合现象，而破坏模型的稳健性。
在回归分析法中，当环境量之间相关性较大时，可采用主成分分析或岭回归分析，为了解决和改善回归模型中因子多重相关性和欠拟合问题，则可采用偏回归模型，该模型具有多元线性回归、相关分析和主成分分析的性能，在某些情况下甚至优于常用的逐步线性回归模型，例如王小军、杨杰、邓念武等在应用偏回归模型进行大坝监测数据分析时，还采用遗传算法进行模型的参数估计，取得了较好的效果。
3.2 时间序列分析
大坝安全监测过程中，各监测变量的实测数据自然组成了一个离散随机时间序列，因此，可以用时间序列分析理论与方法建立模型。一般认为时间序列分析方法是一种动态数据的参数化时域分析方法，它通过对动态数据进行模型阶次和参数估计建立相应的数学模型，以了解这些数据的内在结构和特性，从而对数据变化趋势做出判断和预测，具有良好的短期预测效果。进行时间序列分析时一般要求数据为平稳随机过程，否则，需要进行协整分析，对数据进行差分处理，或者采用误差修正模型。例如，徐培亮利用时间序列分析方法，对大坝变形观测资料进行分析建模得到一个AR（2）模型，并对大坝变形进行了预报，结果表明具有良好的预测精度。涂克楠、张利、郑箫等也利用时间序列对大坝监测数据进行分析，有效地提高了模型对实测数据的拟合能力和预测能力。
3.3 灰色理论分析
当观测数据的样本数不多时，不能满足时间序列分析或者回归分析模型对于数据长度的要求，此时，可采用灰色系统理论建模。该理论于20世纪80年代由邓聚龙首次提出，该方法通过将原始数列利用累加生成法变换为生成数列，从而减弱数据序列的随机性，增强规律性。例如，在大坝变形监测数据分析时，也可以大坝变形的灰微分方程来提取趋势项后建立组合模型。一般时间序列分析都是针对单测点的数据序列，如果考虑各测点之间的相关性而进行多测点的关联分析，有可能会取得更好的效果。1991年，熊支荣等人详述了灰色系统理论在水工观测资料分析中的应用情况，并对其应用时的检验标准等问题进行了探讨。同年，刘观标利用灰色系统模型对某重力坝的实测应力分析证明了灰色模型具有理论合理、严谨、成果精度较高的特点。
3.4 频谱分析
大坝监测数据的处理和分析主要在时域内进行，利用Fourier变换将监测数据序列由时域信号转换为频域信号进行分析，通过计算各谐波频率的振幅，最大振幅所对应的主频可以揭示监测量的变化周期，这样，有时在时域内看不清的数据信息在频域内可以很容易看清楚。例如，将测点的变形量作为输出，相关的环境因子作为输入，通过估计相干函数、频率响应函数和响应谱函数，就可以通过分析输入输出之间的相关性进行变形的物理解释，确定输入的贡献和影响变形的主要因子。将大坝监测数据由时域信号转换到频域信号进行分析的研究应用并不多，主要是由于该方法在应用时要求样本数量要足够多，而且要求数据是平稳的，系统是线性的，频谱分析从整个频域上对信号进行考虑，局部化性能差。
参考文献
数据分析方法精选篇9
基于理念分析和比较研究方法，对大数据的分析方法和传统统计学分析方法的关联性和差异进行了对比分析，从方法的基本思想、量化形式、数据来源、分析范式、分析方法、分析视角等角度揭示了两种社会科学分析方法存在的联系与差异。
关键词：
大数据；统计学；研究方法
中图分类号：
F27
文献标识码：A
文章编号：16723198（2015）11005201
随着信息技术的日益发展与普及，信息以及数据在社会经济发展过程中发挥的作用越来越重要。现如今，“大数据”时代已经来临，于是如何更有效地利用数据快速做出科学决策也已成为众多企业甚至是国家所共同关注的焦点问题。在数据处理和分析方法方面，《统计学》以及在其基础上发展而来的实证统计方法是当前的主流，这些方法可以帮助数据持有者从大量的数据中挖掘有价值的信息，并为其相关决策提供理论支撑和方法支持。然而，传统的实证统计方法在最新出现的大数据情境下，却呈现出了诸多缺陷，例如传统数据收集方法无法实现大规模（甚至是总体）数据的收集，传统统计方法和分析软件无法处理大规模数据，等等。于是，在将传统统计学方法应用于最新的大数据情境和问题之前，需要首先明确大数据所要求的处理方法与传统的统计学处理方法存在哪些关联和区别，然后才能够决定是否可以应用既有统计学理论和方法来处理某些大数据问题。
1大数据的界定
根据一位美国学者的研究，大数据可以被定义为：it means data that’s too big， too fast， or too hard for existing tools to process。也就是说，该学者认为：在关于大数据的所有定义中，他倾向于将之定义为那类“太大”、“太快”，或现存工具“太难”处理的数据。一般而言，大数据的特征可以概括为四个V：一是量大（Volume）；二是流动性大（Velocity），典型的如微博；三是种类多（Variety），多样性，有结构化数据，也有半结构化和非结构化数据；四是价值大（Value），这些大规模数据可以为持有企业或者组织创造出巨大的商业或社会价值。
Victor在其最新著作《大数据时代――生活、工作与思维的大变革》中指出，大数据时代，思维方式要发生3个变革：第一，要分析与事物相关的所有数据，而不是依靠分析少量数据样本；要总体，不要样本。第二，要乐于接受数据的纷繁复杂，而不再追求精确性。第三，不再探求难以捉摸的因果关系，应该更加注重相关关系。这些变革反映出了大数据处理方式与传统统计学分析方法的很多关联以及主要不同。因此，下面我们分别针对两者的联系和区别进行讨论。
2大数据与统计学分析方法的联系
从18世纪中叶至今，统计学已经经历了两百多年的发展历程，不论是基础理论还是社会应用都极其坚实而丰富。大数据作为一种新兴的事物规律认知和挖掘思维，也将会对人类的价值体系、知识体系和生活方式产生重要影响，甚至引发重大改变。作为两种认知世界和事物规律的基本方法，它们在以下两个方面存在紧密关联。
（1）挖掘事物规律的基本思想一致。统计学（statistics）探索事物规律的基本方法是：通过利用概率论建立数学模型，收集所观察系统的数据，进行量化分析和总结，做出推断和预测，为相关决策提供依据和参考。对于大数据，维克托指出，大数据思维的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识。通过这两个定义可以看出，不论是传统的统计学方法还是新兴的大数据分析方法，都是以数据为基础来揭示事物特征以及发展趋势的。
（2）均采用量化分析方式。大数据分析的基础是数据化，也就是一种把各种各样现象转变为可制表分析的量化形式的过程。不论是传统统计学中所应用的数据（定性和定量数据），还是大数据时代即将被转化和采用其他形式数据（如文字、图像等），最终都是通过量化分析方法来揭示数据中所蕴含的事物特征与发展趋势。
3大数据与统计学分析方法的区别
（1）基础数据不同。在大数据时代，我们可以获得和分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机抽样。这意味着，与传统统计学数据相比，大数据不仅规模大，变化速度快，而且数据来源、类型、收集方法都有根本性变化。
①在数据来源方面，在大数据背景下，我们需要的纷繁多样的数据可以分布于全球多个服务器上，因此我们可以获得体量巨大的数据，甚至是关于总体的所有数据。而统计学中的数据多是经由抽样调查而获得的局部数据，因此我们能够掌握的事“小数据量”。这种情况下，因为需要分析的数据很少，所以必须尽可能精确的量化我们的数据。综上，大数据情况下，分析人员可以拥有大量数据，因而不需要对一个现象刨根问底，只需要掌握事物大体的发展方向即可；然而传统的小数据情况下则需要十分注意所获得数据的精确度。
②在数据类型与收集方面，在既往模式下，数据的收集是耗时且耗力的，大数据时代所提出的“数据化”方式，将使得对所需数据的收集变得更加容易和高效。除了传统的数字化数据，就连图像、方位、文本的字、词、句、段落等等，世间万物都可以成为大数据范畴下的数据。届时，一切自然或者社会现象的事件都可以被转化为数据，我们会意识到本质上整个世界都是由信息构成的。
（2）分析范式不同。在小数据时代，我们往往是假想世界是如何运行的，然后通过收集和分析数据来验证这种假想。也就是说，传统统计实证分析的基本范式为：（基于文献）提出理论假设-收集相关数据并进行统计分析-验证理论假设的真伪。然而，在不久的将来，我们将会在大数据背景下探索世界，不再受限制于传统的思维模式和特定领域里隐含的固有偏见，我们对事物的研究始于数据，并可以发现以前不曾发现的联系。换言之，大数据背景下，探索事物规律的范式可以概括为：数据观察与收集――数据分析――描述事物特征/关系。
（3）数据分析方法不同。传统统计学主要是基于样本的“推断分析”，而大数据情境下则是基于总体数据的“实际分析”，即直接得出总体特征，并可以分析出这些特征出现的概率。
（4）分析视角不同。传统的实证统计意在弄清事物之间的内在联系和作用机制，但大数据思维模式认为因果关系是没有办法验证的，因此需要关注的是事物之间的相关关系。大数据并没有改变因果关系，但使因果关系变得意义不大，因而大数据的思维是告诉我们“是什么”而不是“为什么”。换言之，大数据思维认为相关关系尽管不能准确地告知我们某事件为何会发生，但是它会提醒我们这件事情正在发生，因此相关关系的发现就可以产生经济和社会价值了。
4结语
综上，相对于传统而言，大数据思维主要包括三个重大转变。首先，要分析与某事物相关的所有数据，而不是依靠分析捎来能够的数据样本；其次，研究人员应乐于接受数据的纷繁复杂，而不再追求精确性；最后，认知世界的思想发生了转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。以上三个转变构成了大数据思维的核心。在统计学的进一步应用和发展完善过程中，需要结合以上转变所产生的挑战，思考有效的统计学发展对策。
参考文献
[1]孟小峰，慈祥.大数据管理：概念，技术与挑战[J].计算机研究与发展，2013，50（1）：146169.
数据分析方法精选篇10
关键词: 数据挖掘；数据仓库；相关分析
中图分类号:TP 311.3 文献标志码:A 文章编号:1672-8513(2011)03-0182-03
The Application of Correlation Analysis Algorithms in the Data Invites Chien
ZHANG Hanyun,DUAN Peng
(School of Mathematics and Computer Science,Yunnan University of Nationalities,Kunming 650031,China)
Abstract: The data warehouse was constructed by using the mass data of computer science majors’ scores generated during the past three years in thirteen classes of four grades, we analyze the corresponding degree of different courses in the database using corresponding analyzing techniques, and condense the attributes in database according to corresponding factors, An example is given to illustrate the application of the proposed method. The analysis introduced in the paper has provided a scientific basis for improving the teaching quality .Then it is prepare for the Association rules mined of different courses.
Key words: data mining;data warehouse; correlation analysis
相关分析法是在分析某个问题或指标时，将与该问题或指标相关的其他问题或指标进行对比，分析其相互关系或相关程度的一种分析方法，用少数几对综合变量来反映2组变量间的线性相关性质.目前它已经在众多领域的相关分析和预测分析中得到广泛应用.本文主要研究如何利用相关分析技术产生计算机专业课之间的相关系数，发现专业课程之间的相关度，对数据仓库中的数据进行约简［1］.
1 相关分析
1.1 相关分析概述［2］
相关分析（Correlation Analysis）是研究随机变量之间的相关关系的一种统计方法.相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系.例如，教育投资与教育发展速度的关系、教师教学水平和学生的学习效果之间的关系等［3］.
相关系数值为-1（完全负相关关系）～+1（完全正相关关系）之间，相关系数为0时，表示不存在相关关系.例：
正相关：学生的学习能力与学习成绩的关系；
负相关：教师的身体状况与缺勤率的关系；
零相关：教师的身高与教学能力的关系.
Pearson相关用于双变量正态分布的资料，其相关系数称为积矩相关系数（Coefficient of Product-Moment Correlation）.进行相关分析时，我们一般会同时对2变量绘制散点图，以更直观地考察2变量之间的相互变化关系［4］.
用Flag Significant Correlations 进行显著性检验，标出有显著性意义的相关系数，用一个星号“*”标记在α=0.05水平上有显著性意义的相关系数；用2个星号“**”标记在α=0.01水平上有显著性意义的相关系数［5］.
1.2 相关分析的表示方法
进行相关分析的主要方法有图示法和计算法.图示法是通过绘制相关散点图来进行相关分析，计算法则是根据不同类型的数据，选择不同的计算方法求出相关系数来进行相关分析.
1.2.1 图示法
图示法的具体做法就是绘制相关散点图.相关散点图是观察2个变量之间关系的一种非常直观的方法.具体绘制的方法是：以横轴表示2个变量中的1个变量（作为自变量），以纵轴表示另一个变量（作为因变量）.将2个变量之间相对应的变量值以坐标点的形式逐一标在直角坐标系中，通过点的分布形状和疏密程度来形象描述2个变量之间的相关关系.
相关散点图可以通过手工绘制而得到.但如果面对的变量值比较多，手工绘制的过程既费时，又不够精确.
1.2.2 计算法
相关系数也称为相关量，是用来描述变量之间变化方向和密切程度的数字特征量，一般用r表示.它的数值范围在－1到+1之间，它的正负号反映变量之间变化的方向；它的绝对值的大小反映变量之间关系的密切程度.
根据2个变量变化的密切程度，我们把相关关系分为完全相关、高度相关、中度相关、低度相关、零相关［6］.
完全相关：│r│=1的相关；
高度相关或强相关：0.7≤│r│＜1的相关；
中度相关：0.4≤│r│＜0.7的相关；
低度相关或弱相关：│r│＜0.4的相关.
1.3 Pearson相关
Pearson相关也称积差相关，积差相关也称积矩相关，是英国统计学家Rearson提出的一种计算直线相关的方法，因而又称为Rearson相关［6-7］.
积差相关系数是2列成对观测值中各对观测值的标准分数乘积之和除以观测值对数所得之商［8］.
1.3.1 Pearson相关的使用条件
1) 2个变量之间是线性关系，都是连续数据；
2) 2个变量的总体是正态分布，或接近正态的单峰分布；
3) 2个变量的观测值是成对的，每对观测值之间相互独立.
1.3.2 Pearson相关的计算公式
r=∑ZXZYn=∑X－Y－nσXσY.
式中，[ZK（]n表示数据的对数；σX，σY分别表示X和Y变量的样本标准差；[JP]，分别表示X和Y变量的样本平均数.[ZK）]
对于学生成绩，其课程总体分布接近正态分布，满足Pearson相关的使用条件.在统计软件SPSS中，可以很方便地得出2变量之间的Pearson相关系数.[JP]
2 用相关分析法进行数据约简
2.1 学生成绩数据仓库的建立
数据选择上，主要选择了作者所在学校计算机专业3年来产生的专业基础课成绩，收集并整理了包含高等数学、C语言、数据结构和数据库系统原理的504条学生成绩数据.并将具体的成绩数据离散化为4个等级［9］，即：
成绩>=80“A”; 70=
2.2 用相关分析法进行数据约简
对大规模数据库内容进行复杂的数据分析通常需要耗费大量的时间，这就常常使得这样分析变得不现实和不可行，尤其是需要交互式数据挖掘时.数据约简技术正是用于帮助从原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性，这样在精简数据集上进行数据挖掘，显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果基本相同［10］.
数据约简并不是一个新的领域，现在已经提出了很多理论和方法，如：层次分析法，主成分分析法，随机抽样、免疫算法等.本研究根据实际需要，提出将相关分析方法应用于学生成绩的属性约简，即方便快捷又不失理论性.
在SPSS软件中，画出计算机专业课高等数学成绩的直方图，如图1.
用同样的方法，可以画出其他计算机专业课如C语言、数据结构等的直方图，可以看出，我们所建立的数据仓库中，学生计算机专业课程成绩基本上符合正态分布，满足Pearson相关的使用条件.
我们用双变量相关分析技术来分析相关课程之间的关联程度，并做出统计学推断，以最少的数据量反映最大的信息量，进而对数据库的属性进行约简.通过相关分析约简相关性较弱的属性，选择相关性强的属性而不直接利用数据库中的所有属性，从而减少大量冗余属性，以提高算法的效率.
在SPSS中进行课程间Pearson相关系数分析，得到计算机专业课程相关系数分析表如表1.
1：表中数值为4门课程进行相关分析得到的皮尔逊相关系数(Pearson Correlation)、相伴概率（Sig.(2-tailed)）、样本个数（N）.“*”标记在α=0.05水平上有显著性意义的相关系数；用两个星号“**”标记在α=0.01水平上有显著性意义的相关系数；
2：相伴概率用来判断求解线性关系的两变量之间是否有明显的线性关系.一般将这个Sig值与0.05相比较，如果它大于0.05，说明平均值在大于5%的几率上是相等的，而在小于95%的几率上不相等；如果它小于0.05，说明平均值在小于5%的几率上是相等的，而在大于95%的几率上不相等；如C语言与数据结构的Sig是0，此数值说明C语言与数据结构有显著的线性关系（因为Sig0.05，则说明两变量之间没有明显的线性关系）.
由表1可以看出，同一门课程之间的Pearson相关系数为1，是完全相关关系.高等数学与C语言之间的Pearson相关系数为0.283，C语言与数据结构之间的Pearson相关系数为0.281，数据结构与数据库系统原理之间的Pearson相关系数为0.565，并且都有“*”标记，由此可以推断这4组课程之间有显著性意义的相关性.
3 结语
用相关分析技术对数据库进行约简，结果表明：线性代数、计算机导论及Pascal语言等多个因素相关性较弱；而C语言、数据结构、高等数学及数据库系统原理之间相关性较强，根据数据库约简原则，可将线性代数、计算机导论及Pascal语言等多个属性项从数据库中删除，以便提高数据挖掘效率.
参考文献:
［1］段西凌，甘开鹏.数据挖掘在人口普查信息系统中的应用［J］.云南民族大学学报：自然科学版，2006,15（2）：170-172.
［2］茆诗松．统计手册［M］．北京：科学出版社，2003.
［3］TANG Zhaohui,MACLENNAN J.数据挖掘原理与应用［M］. 邝祝芳，焦贤龙，高升，译.北京：清华大学出版社，2007.
［4］王艳.数据挖掘中关联规则的探讨［J］.成都信息工程学院学报，2004，19（2）：173.
［5］张儒良，王翰虎.论数据挖掘优化教学管理［J］.贵州民族学院学报，2004：133.
［6］赵辉.数据挖掘技术在学生成绩中分析中的应用［D］.大连：大连海事大学，2007.
［7］王月敏.基于遗传算法的智能组卷系统研究［J］.云南民族大学学报：自然科学版，2009，18（2）：173-176.
［8］刘利锋，吴孟达. 关联规则的快速提取算法 ［J］.计算机工程.2008，34(5)：63-65.
［9］李萍，段富.数据挖掘中数据约简的研究与应用［J］.微计算机应用.2009，25（2）：58-60.[ZK)]
［10］[ZK(#]蔡勇，韩永国，刘自伟.数据挖掘技术在生源分析中的应用研究［J］.计算机应用研究.2004，32（6）：48-51.
收稿日期:2010-09-06.
数据分析方法精选篇11
我们在教学的过程中，也比较比较注重案例教学。例如，在讲授神经网络时，我们可以用上海证券交易所中股市中股票随时间变化的数据为例，让学生讨论如何应用神经网络对股票价格进行预测。人工神经网络是一种模仿自然界动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，能够较好地处理具有一定复杂性的数据，在预测、拟合等方面取得了很好的应用效果。让学生采用神经网络进行实际数据分析和处理，可以增强他们学习的积极性，更主动地投入到学习中去。我们也要求他们使用回归分析的方法对股票价格进行预测，然后和神经网络预测的结果进行比较。通过这个过程，可以使学生们不但了解了神经网络与回归分析算法的异同，加深他们对神经网络的认识。
加强实验教学，增强学生动手能力
信息与计算科学专业是以信息领域为背景，数学与信息、管理相结合的交叉学科专业。该专业培养的学生具有良好的数学基础，能熟练地使用计算机，初步具备在信息与计算科学领域的某个方向上从事科学研究，解决实际问题，设计开发有关软件的能力。毕业生适合到企事业单位、高科技部门、高等院校、行政管理和经济管理部门，从事科研、教学和计算机应用软件的开发和管理工作，也可以继续攻读信息与计算科学及相关学科的硕士学位。从信息与计算科学专业的培养目标可以看出信息与计算科学专业的本科生不但需要掌握理论知识，还需要具有将所学知识用来解决实际问题的能力。数据挖掘作为一门应用性较强的课程，需要学生能够运用数据挖掘知识分析和解决实际问题，要求学生能够熟练掌握数据挖掘的程序设计，以便在将来的就业中具有更好的适应性，因此实验环节的教学有着其必要性。基于这些原因，我们在这门课中引入实验环节，并将其纳入考核要求。我们实验所用的基本软件是SAS统计分析软件。SAS软件是一个集统计分析、报表图形、信息系统开发和大型数据库管理等多种强大功能为一体的大型软件系统，是目前国际上主流的统计分析软件之一。我们信息专业在大三时开设这门课程，之前已经学过C语言和JAVA等程序设计方法，有了一定的编程基础，因此学习使用SAS软件并不是特别困难。而且，在SAS软件中，系统自带了许多数据挖掘函数，这方便了同学们的使用。我们在平时的学习中，将一些SAS软件的基本程序设计基础知识先发给同学们，让他们利用课后时间自己在个人电脑上进行熟悉，从而使得他们熟悉基本SAS程序设计方法，这样可以在实验课上直接运用SAS软件进行数据挖掘程序的编写。在实验课上，我们主要将要实验的内容和相关数据资料提供给同学，要求同学自己用数据挖掘的知识和SAS软件进行编程实现，并写出实验分析和小结。另外，在实验中，我们也要求学生尽可能将一些实验结果用图表的形式如崖底碎石图等表示出来，以利于进一步分析。对于少部分学有余力的同学，我们也引导他们自编相关的程序。比如说在SAS软件中进行K－均值聚类用fastclus这个函数就可以了，但是学生对程序具体实现过程可能不是很清楚。如果学生能够将程序K－均值聚类详细程序步骤自己编写出来，就可以表明学生对所K－均值聚类算法也有了较清楚的认识。另外，对于属于数学建模协会的同学，我们也引导他们将数据挖掘的知识和数学建模中某些问题相结合起来，对于以往出现的一些可以利用数据挖掘知识分析的问题让他们利用相关的数据挖掘知识对其进行分析和求解，通过这样的方式，可以这样拓展这些同学的思路，也为数学建模培养了人才。
灵活的课后作业形式，提高学生的综合能力
数据分析方法精选篇12
关键词：数据分析应用率；分析应用点；四个层次；数据中心；仪表盘
中图分类号：N37 文献标识码：B 文章编号：1009-9166（2009）02（c）-0063-02
现代企业的决策往往是在整合大量信息资料的基础上制定出来的，对数据的理解和应用将是企业决策的基石。与传统的操作型应用相比，数据利用的应用建设难度更大，它是随着管理水平而发展，同时又取决于业务人员的主观意识，这就决定了以数据利用为核心的应用建设不可能一蹴而就，而是一个长期迭展的建设过程。从2003年起工厂开始全面推进数据分析应用工作，经历过曲折，同时也有收获。经过多年的努力，工厂的数据分析应用工作开始进入良性发展阶段，笔者认为有必要对工厂目前数据分析应用工作作一总结和思考。
一、工厂数据分析应用工作开展现状
工厂数据分析应用工作推进至今已有四五年的时间，从最初全面调研工厂数据量和数据分析应用状况，将数据分析应用率指标作为方针目标定量指标来考核，到后来将数据分析应用工作的推进重心从量向质转移，采用以项目为载体进行管理，着重体现数据分析应用的实效性，再到目前以分析应用的需求为导向，以分析应用点为载体，分层次进行策划。经过上述三个阶段，工厂数据分析应用工作推进机制得到了逐步的完善，形成了广度深度协同发展的信息资源利用管理框架。截止到目前，工厂数据分析应用率达到96%，四个层次的分析应用点共计100多个，数据分析应用工作在生产、质量、成本、物耗、能源等条线得到广泛开展，有效推动了工厂管理数字化和精细化。2007年，工厂开始探索细化四个应用层次的推进脉络，进一步丰富工厂信息资源利用框架，形成层次清晰、脉络鲜明、职责分明的信息资源利用立体化的推进思路。
1、第一层次现场监控层。第一层次现场监控层，应用主体是一线工人和三班管理干部，应用对象是生产过程实时数据，应用目标是通过加强生产过程控制，辅助一线及时发现生产过程中的异常情况，提高生产稳定性。例如制丝车间掺配工段的生产报警，通过对生产过程中叶丝配比、膨丝配比、梗丝配比、薄片配比、加香配比等信息进行判异操作，对异常情况通过语音报警方式提醒挡车工进行异常处理；例如卷包车间通过在机台电脑上对各生产机组的工艺、设备参数、实时产量、质量、损耗数据的监控，提高对产品质量的过程控制能力。第一层次应用以上位机和机台电脑上固化的监控模型为主，制丝车间每个工序、卷包车间每种机型的应用点都有所不同，为此我们建立了制丝车间以工序为脉络，卷包车间以机种为脉络的应用点列表，围绕脉络对第一层次应用点进行梳理，形成第一层次应用的规范化模板。制丝车间第一层次应用点模板包括工序名称、应用点名称、应用模型描述、应用对象、应用平台、异常处置路径等基本要素。卷包车间应用点模板横向根据机种分，纵向按上班及交接班、上班生产过程中、下班及交接班三个时间段分，通过调研分别列出挡车工针对每个机种在三个时间段分别要查看的数据和进行的操作。随着模板的扩充和完善，一线职工的知识、经验不断充实其中，第一层次应用点模板将成为一线工人和三班管理干部日常应用监控的标准，同时可以规避人员退休或调动带来的经验、知识流失的风险。2、第二层次日常管理分析层。第二层次日常管理分析层，应用主体是一般管理干部，应用对象是产质损、设备、动能等指标，应用目标是通过加强对各类考核指标的监控和分析，提高工厂整体的关键绩效指标水平。例如制丝车间的劣质成本数据汇总和分析，通过对车间内各类废物料、劣质成本的数据进行汇总、对比和分析，寻找其中规律及薄弱环节，并寻根溯源，采取措施，降低劣质成本。例如卷包车间的产量分析，通过对产量数据、工作日安排、计划产量进行统计和汇总，结合车间定额计划、作业计划和实际产量进行分析，寻找实际生产情况与计划间的差异，并分析原因。第二层次应用以管理人员个性化的分析为主，呈现出分析方法多样化、应用工具多样化的特点。但是万变不离其中的是每个管理岗位的管理目标以及围绕管理目标开展的分析应用是相对固定的，至少在短期内不会有太大的变化。为此我们建立了一份以重点岗位为脉络的应用点列表，围绕脉络对第二层次应用点进行梳理，形成第二层次应用的规范化模板。模板包括岗位名称、管理目标、应用点名称、应用描述、涉及主要考核指标、应用平台、应用频次、分析去向等基本要素。通过构建第二层次应用点模板，明确了每个管理岗位应用信息资源支撑管理目标的内容和职责。随着新的管理目标的不断提出以及应用的逐步深入，模板每年都会有更新和扩充。3、第三层次针对性分析应用层。第三层次针对性分析应用层，应用主体是项目实施者，应用对象是各类项目的实施过程，例如QC项目、六西格玛项目、质量改进项目，或针对生产中的特定事件进行的分析和研究。应用目标是通过应用数据资源和统计方法开展现状调查、因果分析、效果验证等工作，提高各类项目实施的严密性和科学性。第三层次的应用工具在使用初级统计方法的基础上会大量应用包括方差分析、回归分析、正交试验、假设检验、流程图等在内的中级统计方法。以QC活动为例，我们可以看出其实施过程无一不与数据应用之间有密切的联系[1]。近年来，在质量改进项目和QC项目的评审工作中已逐步将“应用数据说话、运用用正确合理的统计方法，提高解决问题的科学性”作为项目质量考核标准之一。而六西格玛项目实施的核心思想更是强调“以数据和事实驱动管理”，其五个阶段[2]D（定义）、M（测量）、A（分析）、I（改善）、C（控制），每个阶段都要求结合如FMEA（失效模式后果分析），SPC（统计流程控制），MSA（测量系统分析），ANOVE（方差分析），DOE（实验设计）等统计方法和统计工具的应用。4、第四层次主题性应用层。第四层次主题性应用层，应用主体是中层管理者，应用对象是专业性或综合性的分析主题，应用目标是通过专业科室设计的专题性分析模型或综合性分析模型，为中层管理层提供决策依据。工厂在实施了业务流程“自动化”之后，产生了大量的数据和报表。如何将工厂的业务信息及时、精炼、明确地陈述给中层管理层，以此来正确地判断工厂的生产经营状况，是摆在我们眼前的一个突出问题。大家都有开车的经验，司机在驾驶车辆的时候，他所掌握的车况基本上是来自汽车的仪表盘，在车辆行使的过程中，仪表盘指针的变化，告知汽车的车速、油料、水温等的状况，驾驶员只要有效地控制这些指标在安全范围之内，车子就能正常地运行。我们不妨将仪表盘的理念移植于工厂，建立工厂关键指标及运行管理仪表盘，将工厂的关键信息直观地列在上面，及时提醒各级管理人员工厂生产运营是否正常。
⑴关键绩效指标监控系统。对分布在各处的当前及历史数据进行统一展示，以工厂关键绩效指标为中心，支持统计分析和挖掘，可为中层管理者提供工厂关键绩效指标一门式的查询服务，使各业务部门寻找、阐释问题产生的原因，以有效监控各类关键绩效指标，及时采取改进措施，提高生产经营目标完成质量。⑵系统运行状态监控系统。通过数据采集、手工录入等各种渠道收集各类系统的运行状态，及时掌握故障情况，采取措施加以闭环，将因系统故障造成对用户的影响减至最小，确保各类系统的稳定运行和有效应用。通过建立系统运行状态监控系统，中层管理人员上班一打开电脑进入系统，就能了解到当天及上一天各类系统的运转情况，发生了什么异常，哪些故障已经得到解决，哪些故障还未解决。⑶第四层次主题性分析应用。在展示关键绩效指标和系统运行状态的基础上，由各专业科室思考专业条线上的分析主题，采用先进科学的理念和方法对数据进行分析和挖掘。近两年来，工厂充分发挥专业科室的优势和力量，相继设计和开发了工艺质量条线的六西格玛测评系统，设备条线的设备效能分析系统，还有质量成本核算与分析系统。通过这些分析主题的支持，工厂管理人员可以更方便快捷地了解质量、设备、成本等条线上的关键信息，及时采取相应措施，从而提升管理效率。
二、数据分析应用工作存在的不足及思考
工厂数据分析应用工作的推进方法从最初的采用数据分析应用率单个指标进行推进发展到目前按上文所述的四个层次进行推进，每个层次的推进脉络已经逐步清晰和明朗，但事物发展到一定的阶段总会达到一个瓶颈口，目前工厂数据分析应用工作存在的问题及措施思考如下：
1、从推进手段上要突破信息条线，充分发挥专业条线的力量。信息条线作为推进工厂数据分析应用的主管条线，其作用往往局限在技术层面上的支撑。虽然信息条线每年都会规划形成工厂数据分析应用整体的工作思路和具体的实施计划，但是无论从工厂层面还是从车间层面来讲，单纯依靠信息条线从侧面加以引导和推进，使得数据分析应用工作始终在业务条线的边缘徘徊，与产量、质量、设备、消耗、成本、动能等各个条线本身工作的结合度有一定的距离。所以工厂要进一步推进数据分析应用工作，调动起业务人员的积极性和主动性，突破现有的瓶颈，应该考虑如何调动起专业条线的力量。一是可以在年初策划应用点的时候要加强专业条线对车间业务自上而下的指导，引导管理人员加强对缺少数据分析支撑的工序、岗位/管理目标的思考；二是建立平台加强各车间同性质岗位之间的沟通与交流，均衡各个车间的数据分析应用水平和能力；三是对车间提交的分析报告给出专业性的指导意见。2、要加强对数据中心的应用。数据中心的建立可以使业务系统从报表制作、数据导出等功能中解放出来，专注于事务处理，将数据应用方面的功能完全交给数据中心来解决。目前，数据中心已建立了涉及产量、质量、消耗等各个条线的Universe模型，并对全厂管理干部进行了普及性的培训。但是从目前应用情况来看，还比较局限于个别管理人员，追寻原因如下：一是业务系统开发根据用户需求定制开发报表，业务人员通常习惯于从现成的报表中获取信息。如果要求业务人员使用数据中心工具自行制作报表模板，甚至可能需要将其导出再作二次处理，那么业务人员一定更倾向于选择第一种方式。二是近几年来人员更替较多，新进管理人员不熟悉数据中心应用，导致数据中心应用面受到限制。随着今后MES的建设，业务系统中的数据、报表、台帐和分析功能将有可能由业务用户自行通过集成在MES中的数据中心前端开发工具来访问和灵活定制。因此，要尽快培养工厂业务人员数据中心的应用能力，包括数据获取以及报表定制方面的技能。笔者认为应对方法如下：一是对于岗位人员变更做好新老人员之间一传一的交接和培训；二是适时针对新进管理人员开展集中培训；三是通过采用一定的考核方法。3、提高新增应用点的质量。工厂每年都会组织各部门审视第一、第二层次应用点列表，围绕重点工序和重点管理岗位调研有哪些应用上的空白点是需要重点思考的，以新增分析应用点的方式进行申报和实施。同时针对第三层次针对性分析应用，工厂也会要求部门以新增分析应用点的方式将需要数据支撑的项目进行申报。作为一项常规性工作，工厂每年都会组织部门进行应用点的申报，并按项目管理的思想和方法实施，事先确立各个应用点的应用层次、数据获取方式、实现平台，并对其实施计划进行事先的思考和分解，确定每一个阶段的活动目标、时间节点以及负责人员，每个季度对实施情况予以总结，并动态更新下一阶段的实施计划。该项工作从2005年起已经连续开展了三年，部门可供挖掘的应用点越来越少，如何调动部门的积极性，保持并提高应用点的实效性，我们有必要对新增分析应用点的质量和实施情况进行考评，考评标准为：一是新增分析应用点是否能体现数据应用开展的进取性、开拓性和创新性；二是新增分析应用点是否能切实提高管理的精细化和科学化水平；三是新增分析应用点是否能采用项目管理的思想和方法实施，按时间节点完成各项预定计划。
三、结束语。随着近几年来技术平台的相继成熟以及管理手段的逐步推进，工厂业务人员用数据说话的意识已经越来越强，但是要真正使工厂管理达到“三分技术、七分管理、十二分数据”的水平，还有很长的路要走，这既需要我们的业务人员从自身出发提高应用数据的水平和能力，同时也需要工厂从管理手段和管理方法上不断拓宽思路、创新手段，真正实现数据分析应用成为工厂管理的重要支撑手段。
作者单位：上海卷烟厂
参考文献：
数据分析方法精选篇13
关键词社会网络分析； 缺失数据； 缺失数据处理方法
分类号B841.2
DOI：10.16842/ki.issn2095-5588.2016.08.0021引言
“社会网络分析” （Social Network Analysis， SNA）是在人类学、社会学、心理学等众多领域中发展起来的研究个体之间关系结构的分析方法，是对社会关系进行量化分析的一门艺术和技术。SNA主要用于描述和测量个体之间的关系以及这些关系中所包含的资源、信息等，并根据这些关系建立模型，进而研究关系与行为之间的相互影响（刘军， 2004）。SNA从“关系”角度来揭示社会情境与嵌套于其中的个体的心理和行为的互动影响，即个体可以能动地构造他们的关系网络（选择效应，selection effect），同时这些关系又反过来影响个体的心理与行为（影响效应，influence effect）。因此，个体既形塑社会网络，也被社会网络形塑（刘军， 2006； 马绍奇， 2012； 马绍奇， 焦璨， 张敏强， 2011 ）。在SNA中，反映个体之间关系的数据称为关系数据（relational data），通常的数据类型是0、1二分变量数据，即1表示两个行动者之间存在关系，0表示不存在关系（马绍奇， 2012）。
SNA从嵌入社会情境的个体之间的关系出发，分析群体结构及其与心理行为的相互作用，更能反映人际交往的社会性特点。如，运用SNA方法系统研究中学生班级的学习关系、友谊关系、咨询关系、信息交流关系等，运用SNA方法研究中学生的支持网络对中学生学业和心理健康等方面的影响。这不仅有利于从社会关系的视角理解学生人际关系的形成、特征和影响因素，还能及时掌握学生的心理动态，维护学生的心理健康（唐文清等， 2014）。但是，由于SNA的应用涉及到更多的人事物，数据的缺失是必然现象。研究者在SNA中常常会遇到数据应答率在65%至90%的情况（Albrecht， 1984； Dean & Brass， 1985； Moch， 1980； Monge， Edwards， & Kirste， 1983； Roberts & O′Reilly， 1978， 1979）。此外，由于数据结构的依赖性，如果网络中的行动者或者关系存在缺失，就难以全面地描述缺失行动者及其邻近行动者的网络环境（Robins， Pattison， & Woolcock， 2004）。已有研究发现，缺失数据不仅对网络结构描述产生消极影响，还会低估关系强弱和聚类系数，并使得中心性和度数的测量出现不稳定的情况（Burt， 1987； Borgatti & Molina， 2003； Costenbader & Valente， 2003； Kossinet， 2006； Huisman， 2009）。这说明，网络结构描述和网络数据分析的结果会因为缺失数据而产生偏差。
心理技术与应用4卷
8期黄菲菲张敏强： 社会网络分析中缺失数据的处理方法
要使SNA方法得到更好的应用及认可，既要介绍理论及应用方法，同时还要解决方法使用中可能出现的各种问题。例如，在数据收集和研究结论的推广方面，如何在实际的应用分析中，完善相关的统计模型和参数估计方法的发展，如何提高数据收集的信效度，如何处理缺失值等问题（马绍奇， 焦璨， 张敏强， 2011； 焦璨， 吴换杰， 黄h娜， 黄菲菲， 张敏强， 2014）。由于社会网络数据的相互依赖性，对缺失数据的处理不能采用常规的缺失处理方法。本文就SNA中缺失数据的原因及缺失机制，比较分析了常用的四种缺失数据处理方法在实际应用中的优缺点，并就SNA中如何处理缺失数据提出建议。
2缺失数据的原因
21边界规范问题
边界规范问题指的是在网络研究中指定行动者或者关系之间包含的规则（Laumann， Marsden， & Prensky， 1983）。例如，学者在研究青少年的冒险行为过程中，想了解他们在学校里的人际关系情况。图1中的A、B、C、D是四位青少年在学校里的人际关系网络，E、F、G三位青少年虽然和A、B、C、D四位青少年的交往密切，但是学校外的人际关系与研究目的无关，因此，E、F、G三者和研究中的青少年的人际关系就容易被忽视（Valente， Fujimoto， Unger， Soto， & Meeker， 2013）。总体而言，边界规范是由研究者自行决定的。在实际包含网络的例子中，组织成员或者由位置界定的正式定义大部分取决于一个正式组织团队中成员占据的排列位置，例如一个学校最受欢迎的前10名老师或者一个班级成绩最好的前五名同学（Kossinets， 2006）。
社会网络是由行动者及行动者之间的关系组成的，因此研究者在规范网络边界时，除了需要考虑通过一组行动者来界定网络边界外，还要决定哪些关系应该纳入研究范围里。对于如何有效地规范网络边界，学者们提出了一个准则，即根据可测量行动者的交互作用确定。因此，研究中的网络边界被定义为该边界记录了在特定情境中行动者间的交互作用（Laumann， Marsden， & Prensky， 1983）。但是，无论是情景还是交互作用的设置，研究者首先需要根据研究目的给出操作性定义，然后再确定在这个情境中包含哪些存在交互作用的行动者。随着电子科技时代的发展与进步，这个准则不再仅限于小网络，因为大规模的社会网络交互作用数据可以通过邮件传递或者虚拟社区的记录得到（Newman， 2002； Ebel， Mielsch， & Bornholdt， 2002； Guimera， Danon， DiazGuilera， Giralt， & Arenas， 2003； Holme， Edling， & Lijeros， 2004）。
22固定选择的研究设计
固定选择的研究设计指的是网络中行动者和关系的缺失依赖于研究设计中提名选择的限定（Holland & Leinhard， 1973），即网络数据的偏差是由于研究设计造成的。假设图2中的行动者A属于Z团体，在这个团体中，他和其他5个行动者有关系，现研究者要求行动者A提名y个和他关系最好的行动者。如果y≤5，则行动者A和其他5个行动者之间的所有关系都包含在数据集中；如果y>5，则行动者会失去5-y个关系。例如，学者想研究班级的学业咨询网络对学生学业拖延的影响，要求学生提名2个在学习上遇到困难或疑问时会请教的同学。如果学生平时向同学请教问题的人数普遍都是3个，那么学者得到的学业咨询网络数据是有偏差的。因为在该网络中，大部分行动者（学生）都失去了1个关系。
在固定选择的研究设计中，会出现互惠提名（有关系的双方相互提名），非互惠提名（有关系的双方只有一方提名）和无提名（有关系的双方均不提名）三种情况。从本质上而言，非互惠提名和其他两种提名的情况不一样（例如：好朋友和普通朋友的区别），因此，研究者需要考虑是否将其纳入到研究范围内。固定选择的研究设计还容易使数据呈现非随机缺失的模式，如受欢迎的个体更有可能被其他行动者提名（Feld， 1991）。但是，在不同结构的网络中，这种影响会不一致（Newman， 2002； Vázquez & Moreno， 2003）。例如，在非相称混合性（即受欢迎的行动者倾向于和不受欢迎的行动者相联系）的网络中，互惠提名将会导致更多关系缺失的情况出现。
23网络调查中的无应答
网络调查中的无应答包括应答者完全缺失和特定项目的数据缺失（Stork & Richands， 1992； Rumsey， 1993）。应答者完全缺失指的是行动者没有参与到调查研究中，因此行动者的发出关系对于分析而言是无效的（如图3所示，N表示缺失数据）。特殊项目的数据缺失指的是行动者参与了调查研究，但是在特定项目上的数据缺失，因此只有行动者的部分关系对于分析而言是无效的（如图4所示，N表示缺失数据）。例如，在一个关于学生情感咨询网络对学业成绩影响的调查中，要求学生提名3个班上的好朋友。图3中的A和D两位学生因事由请假没有参与此次研究，但图3应答者完全缺失是其余的学生在提名中提及到了A和D，所以A和D的无应答属于应答者完全缺失。如果A和D参与了调查研究（如图4），但是在提名中他们忽略了被提及的学生，即B提名了A，A没有提名B，则A和D的无应答属于特殊项目的数据缺失。对于1-模网络而言，即由一个行动者集合内部各个行动者之间的关系构成的网络（刘军， 2009），无应答对网络结构及统计指标的影响不大，但是对于存在多元交互作用情景的网络（例如，二元网络）而言，无应答可能会造成特定的影响（Robins， Pattison， & Woolcock， 2004）。例如，在一个隶属网络的调查研究中，假设研究者没有其他途径可以了解团队的任何信息，只能要求行动者报告他们隶属于哪个团队。如果任何一个行动者出现无应答的情况，那么可能会出现这个无应答行动者所隶属的团队缺失的情况。Huisman（2009）通过模拟研究发现，忽视网络调查中的无应答数据对社会网络的描述分析会造成消极的影响。进一步比较分析行动者无应答和特殊项目无应答的结果发现，特殊项目的无应答可能会造成更大的统计偏差。
网络调查中的无应答易导致行动者或者关系的缺失，但是网络环境中除无应答行动者以外的不完整观察行动者的部分信息仍然是有用的，如可利用这个信息来估计缺失状态的效果和分析不完整网络（Costenbader & Valente， 2003； Robins， Pattison， & Woolcock， 2004； Gile & Handcock， 2006； Handcock & Gile， 2007）。此外，不完整观察行动者的部分信息还可用来估计行动者和网络的结构性能，并能给缺失数据机制提供参考。
和前两种缺失数据原因相比，无应答是社会网络调查中最经常出现的缺失情况。因此，有不少学者开始关注社会网络调查中无应答的缺失问题（Daniel， 1975； Stork & Richards， 1992； Butts， 2003； Kossinets， 2006； Huisman & Steglich， 2008； nidaricˇ， Ferligoj， & Doreian， 2012）。
3缺失机制
不同的缺失数据来源，还涉及一个重要的问题，数据是否系统缺失。如果数据是系统缺失，那么缺失概率是否和观察变量（性质或属性）有关。已有研究表明，在社会网络中处理不同来源的缺失数据时，应考虑缺失机制以提高处理方法的有效性（Huisman， 2009； nidaricˇ， Ferligoj， & Doreian， 2012）。
缺失机制指的是数据的缺失概率和研究变量之间的关系（Schafer & Graham， 2002）。Rubin在1976年根据缺失引起的偏差程度定义了三种类型的缺失数据：完全随机缺失（Missing Complete At Random， MCAR），随机缺失（Missing At Random， MAR）和非随机缺失（Missing Not At Random， MNAR）。假设所有变量观测值Y中，完整的变量记为Yobs，缺失的变量记为Ymis。如果缺失概率和Yobs及Ymis相互独立无关，此类缺失称为MCAR。如果缺失概率和Yobs相关，和Ymis独立无关，则为MAR。MNAR是指缺失概率依赖于Yobs和Ymis。因为Ymis的未知性，研究者常常难以判断缺失数据属于哪种类型的缺失机制。叶素静，唐文清，张敏强和曹魏聪（2014）在对追踪研究中缺失数据处理方法及应用现状的分析中综述了三种类型缺失机制的粗略判断方法。
对于社会网络数据而言，完全随机缺失是指缺失概率和缺失关系的数值及观察数据（例如，行动者的属性）无关。在这种情况下，观察数据是原始观察值的一个随机样本，因此不存在系统偏差。随机缺失是指缺失概率和观察数据有关，但是和缺失关系的数值无关。尽管在这种情况下缺失数据会呈现出系统模式，但是这些模式是可控的，因为它们和样本中的观察数据有关。非随机缺失是指缺失概率不仅和观察数据有关，还和缺失关系的数值有关，这种类型的缺失数据会对统计分析的偏差程度造成很大的影响。因为在非随机缺失的情况下，应答者和无应答者之间的差异是由系统误差造成的，关于网络结构性质的统计指标将会受到影响（Costenbader & Valente， 2003）。
4缺失数据处理方法
41完整个案法
完整个案法，即删除部分已有的数据以保证所研究对象信息的完整性。完整个案法相当于行动者的列删除法，它不仅移除不完整观察行动者的列数据且一并移除该行动者的行数据，而移除行意味着在分析中移除不完整观察行动者和完整观察行动者之间的所有关系（Huisman & Steglich， 2008）。因此，使用完整个案法后用于分析的数据集是完整的，即每一个行动者既有接收的关系也有发出的关系。例如，图5（a）是一个班级情感关系网络的例子，其中有A、D、F三个无应答行动者，每一个无应答者都没有指向外部的情感关系，在观察网络的矩阵表达式中就会有几行缺失关系数据N，对数据进行完整个案法处理后，结果就会出现如图5（b）呈现的小网络。因此，完整个案法是在可完全观察行动者的小网络基础上进行分析处理的。nidaricˇ， Ferligoj和Doreian（2012）用完整个案法等多种缺失数据处理方法对社会网络区组模型中的无应答情况进行分析，结果发现，在小规模网络中，完整个案法对区组模型结构的稳定性影响最小。Robins， Pattison和Woolcock（2004）的研究结果则表明，完整个案法重新定义了网络边界：移除无应答行动者之后相当于生成了一个更小的网络。
完整个案法是一种加权方法，它丢弃了不完整个案的数据，对完整个案和缺失个案赋予了同样的权重。在分析的统计软件包里，完整个案法通常是默认处理缺失数据的方法。它最大的一个优点就是简便，缺点则是因为忽视不完整个案而丢失了大部分信息，很可能出现模型和数据无法拟合的情况。因此，只能在缺失概率较小的网络中使用完整个案法。Schafer和Graham（2002）认为，当无应答者是完全随机缺失时，完整个案法可能是有效的。然而，如果这个前提假设不成立，统计分析结果就会有偏差，因为剩余的行动者样本可能是不具有代表性的。也有学者认为，完全个案法从系统水平而言，严重损害了所有分析（Stork & Richards， 1992），且可能会暗中破坏社会网络模型的假设（Snijders， Bunt， & Steglich， 2010）。
42有效个案法
有效个案法是指忽略缺失的数据，只使用观测到的关系变量。有效个案法是直接对不完整数据进行分析，即根据SNA需要计算的统计值选择行动者的有效数据。例如，在一元统计分析中，在计算网络的平均数和标准差时，可以选择所有变量都完整观察的个体行动者的有效数据，而在计算网络的协方差或者相关系数时，则需要选择所有变量都完整观察的配对行动者的有效数据。
Littile和Rubin（1989）在探讨社会科学领域关于缺失数据处理的分析方法时，比较了完整个案法和有效个案法对网络的均值、方差、协方差及相关系数四个统计量的参数估计影响及二者的差异。研究结果表明，和完整个案法相比，使用有效个案法后，网络的均值参数估计值是无偏的。但是，其余三个统计量的参数估计值的偏差较大。随后，Little和Su（1989）进一步对两种方法的差异进行了详细的讨论，也得出了相同的结果。
有效个案法简单易行，和完整个案法相比，它的参数估计值较为精准。但是有效个案法具有较低的统计功效，且和没有缺失数据的网络参数估计值相比，存在很大的偏差。因此，研究者较少使用有效个案法对社会网络中的缺失数据进行处理。
43重建法
重建法指的是通过互惠关系来推断缺失连接的存在与否。重建法和插补法不一样，重建法在分析的过程中没有增加新的关系，它只是通过观察到的应答者的入度关系（即行动者接收的关系）来重建网络中无应答者的出度关系（即行动者发出的关系）。从本质上而言，即用已经报告的一个关系进行测量，且重建法仅允许两个人之间的关系。重建之后的网络中应答者和无应答者之间的关系是对称的。使用重建法对SNA中的缺失数据进行处理时，必须满足两个原则： （1）相似性，即应答行动者与无应答行动者之间的作答模式应具有相似性。因为重建法是通过应答行动者所描述的关系去构建无应答行动者的关系，所以两个行动者之间的应答模式不能存在系统的偏差；（2）可靠性，即应答行动者所描述的和无应答行动者之间的关系要确认是有效、可靠的（Stork & Richards， 1992）。自重建法提出以来，不少学者将其作为社会网络缺失数据常用的处理方法。Gabbay和Zuckerman（1998）在有向网络中，通过应答行动者报告的和无应答行动者之间的关系重建了网络中行动者之间的关系。Huisman和Steglich（2008）则用重建法研究了网络面板数据中的无应答缺失数据情况，结果表明重建法在构建完整的网络数据时几乎不会出现不收敛的问题。
一般而言，针对不同类型的网络，重建法的程序如下所示：
（1）在无向网络中，通过观察到的应答者之间的关系以及部分应答者和无应答者之间的关系对网络进行重构（Stork & Richards， 1992）。
（2）在有向网络中，通过对立关系来推断缺失关系。例如，对于应答行动者i和无应答行动者j，重建法假设行动者i描述的和行动者j之间的所有关系和行动者j所描述的关系是完全一致的，即研究者可以通过应答行动者i来插补对立关系的观察值，即ximpij=xji（Huisman， 2009）。
重建法最大的优点就是允许研究者最大化地利用有效信息去构建社会网络。有研究表明，当社会网络中存在缺失数据时，仅有437%的关系能够被解释，而使用重建法后，则能够解释缺失数据网络中897%的关系数据（Neal， 2008）。但是，重建法无法构建两个无应答行动者之间的关系。如果两个无应答行动者之间存在重要关系，研究者就无法使用重建法去正确地定义网络的结构。因此，需要用其它的插补方法来重建整个网络。例如，对于无应答行动者之间的所有关系，随机插补一个和观察密度成比例的关系，使重建网络中缺失关系的比例等于网络的观察密度。
44基于指数随机图模型的多重插补法
指数随机图模型（Exponential Random Graph Model， ERGM）又称为p
瘙 模型，是用来描述x分布情况的概率质量函数，其表达式为：
其中，q是网络的实值函数，常以θTz（x）的形式出现，z是网络的向量值函数，其取值为网络统计值。这些统计值也被称为结构统计值，用来描述网络中的结构，如连接、三方关系等的数量。θ是一个维度为p×1的向量参数（θ∈），ψ（θ）是一个常数，用于将函数值标准化（Koskinen， Robins， Wang， & Pattison， 2013）。
ERGM的原理是在综合了实测网络中的多种局部结构特征情况下来计算这些网络出现的可能性。具体过程为，首先使用马尔科夫链蒙特卡洛最大似然估计法（Markov Chain Mont Carlo Maximum Likelihood Estimation， MCMCMLE）模拟出一个随机网络，然后将这个随机网络的参数与实测网络的参数进行对比，最后通过对比指标判断是否采纳结果。Robins（2009）用ERGM方法对有向社会网络数据进行分析时指出，如果模拟的随机网络不能很好地代表实测网络，那么参数将被调整并运用到下一次模拟中，且这样的循环可能至少要进行8000次，直到模拟网络能够很好地代表实测网络为止。
基于ERGM的多重插补法，指的是通过ERGM产生的多个插补值的向量代替每一个缺失数据的过程。例如，当网络数据中存在无应答的缺失数据时，基于ERGM的多重插补法则会将应答行动者和无应答行动者看作是两种不同类型的节点，然后区分应答者之间的关系以及应答者和无应答者之间的关系。最后，根据研究者的调查目的，对缺失数据进行相应的处理。如果无应答者是随机缺失，则在网络特定结构间同质性的前提下利用ERGM对缺失数据进行多重插补。如果无应答者是非随机缺失，且研究重点关注应答者的网络结构，则可以将包含无应答者相关关系的信息看作是外源变量，并使用标准的马尔科夫图模型进行分析（Koskinen， Robins， Wang， & Pattison， 2013）。
基于ERGM的多重插补法最大的优点是，不仅能有效地辨别应答者和无应答者之间的差异是由系统误差还是随机误差造成的，还可以在缺失数据是随机缺失的情况下，最大化地利用观察到的数据信息。基于ERGM的多重插补法从本质上而言是通过网络的局部结构去推断整体结构。因此，即使数据有较大的缺失概率，只要网络有足够数量的局部网络子结构，就能够通过观察到的数据进行有理的推断。Koskinen，Robins和Pattison（2010）用基于ERGM的多重插补法对一个合作关系社会网络中的缺失数据进行处理，实证及模拟研究结果表明，这种基于模型的多重插补法能够正确地解释网络中80%的关系数据及允许有三分之一数据缺失的情况。但是，这种方法最大的缺点是运算过程较复杂，耗时较长。
5问题与展望
缺失数据对社会网络数据分析造成的消极影响主要体现在以下两个方面：（1）减少的样本量大小、行动者及关系的信息易导致模型和数据出现不拟合的情况；（2）缺失数据容易造成参数估计的偏差。例如，Kossinet（2006）和Huisman（2009）的研究发现，缺失数据会使社会网络数据分析的结果产生偏差，因为缺失数据不仅对网络结构描述产生消极影响，还会低估行动者之间的关系强弱和网络的聚类系数，容易造成中心性和度数测量不稳定的情况。因此，缺失数据是SNA广泛应用面临的严峻问题。
从表1的四种缺失处理方法的适用条件比较中可看到，缺失数据处理方法的选择和缺失概率、缺失机制存在较大的关联。进一步比较四种方法的优缺点可以发现，当缺失数据是完全随机缺失时，四种方法的参数估计是无偏的。当缺失数据是非随机缺失时，完整个案法和有效个案法虽简单易行，但容易导致信息的大量流失及具有较低的统计功效和较大的参数估计偏差。其中，和完整个案法相比，有效个案法在参数分布估计方面的偏差要略小，因为有效个案法分析的是全体有效样本的数据。但在其它参数估计方面，两种方法都出现了较大的偏差（Little & Rubin， 1989）。重建法和基于ERGM的多重插补法在非随机缺失的情况下，可以忽略缺失机制的影响而直接在缺失概率较小（20～30%）的网络中应用，两种方法在参数估计方面没有表现出太大的偏差，但是如果网络中的缺失概率较大时，两种方法会受到缺失机制的影响。
当数据是随机缺失时，重建法具有较好的统计功效，对社会网络进行描述性分析时，如计算网络的平均度数、互惠性和传递性等网络统计特征值，即使缺失概率达到50%，重建法仍然能够表现良好（Huisman， 2009）。但重建法只能用于特定网络的数据缺失处理，且在某些情况下会高估连接的数量。虽然，在社会网络中的数据缺失概率不大时，重建法和基于ERGM的多重插补法均没有太大的差异，但是后者能够利用插补值间的差异来衡量估计结果中不确定性的大量信息。和重建法一样，当社会网络中的缺失数据样本量在中等范围以下时，基于ERGM的多重插补法具有较小的参数估计偏差且不会低估标准误，但这种方法唯一的缺点就是运算过程复杂，需要做大量的工作来构建插补集以便于进行结果分析，且当缺失数据样本量大时，模拟网络和实测网络可能会出现不拟合的情况。
就应用现状而言，国内目前还没有关于SNA中缺失数据的处理方法这方面的研究，而国外的应用从2003年至今稳定增长（Butts， 2003； Robins et al.， 2004； Kossinets， 2006； Gile & Handcock， 2006； Handcock & Gile， 2007； Koskinen， 2007； Smith & Moody， 2013）。
根据缺失数据处理方法的优缺点比较和应用现状的分析，对其在心理学研究中的应用提出以下建议：
（1）在数据收集期间，应报告缺失数据的原因及缺失概率（同时报告网络样本的大小）的情况，以便于为后期缺失数据处理方法的选择提供参考；
（2）在数据分析期间，缺失数据处理方法的选择应该建立在缺失机制这一前提假设基础上。当数据是完全随机缺失时，如果网络数据样本大，建议选择较为简单易行的完整个案法和有效个案法。反之，则建议选择重建法或者基于ERGM的多重插补法；当数据是非随机缺失时，如果数据的缺失概率较小，建议选择重建法或者基于ERGM的多重插补法，如果数据的缺失概率较为严重，则无论选择任何方法，参数估计都会出现较大的偏差；当数据是随机缺失时，建议选择基于ERGM的多重插补法。
参考文献
蔡亚华， 贾良定， 尤树洋， 张t， 陈艳露（2013）. 差异化变革型领导对知识分享与团队创造力的影响： 社会网络机制的解释. 心理学报， 45（5）： 585-598.
侯珂， 邹泓， 刘艳， 金灿灿， 蒋索（2014）. 同伴团体对青少年问题行为的影响： 一项基于社会网络分析的研究. 心理发展与教育，30 （3）： 259-267.
焦璨， 吴换杰， 黄h娜， 黄菲菲， 张敏强（2014）. 网络自相关模型在心理学研究中的作用――以同群效应、学习动机对青少年学业表现的影响. 心理学报， 46（12）， 1933-1945.
刘军（2004）. 社会网络分析导论. 北京： 社会科学文献出版社.
刘军（2006）.法村社会支持网――一个整体研究视角. 北京： 社会科学文献出版社.
刘军（2009）. 整体网分析讲义――UCINET软件使用指南. 上海： 格致出版社.
李永强， 黄姚（2014）. 个性特征与社会网络特征的关系及其本土化发展. 心理科学进展， 22（11）： 1801-1813.
马绍奇， 焦璨， 张敏强（2011）. 社会网络分析在心理研究中的应用. 心理科学进展， 19（5）： 755-764.
马绍奇（2012）. 班级社会网络分析及其与人格特质、心理健康的关系. 广州： 华南师范大学教育科学学院.
唐文清， 钟阳， 张敏强， 叶素静， 刘晶， 黄兆峰（2014）. 社会网络分析法在中学生班级友谊关系研究中的应用. 心理研究， 7（5）： 42-50.
徐伟， 陈光辉， 曾玉， 张文新（2011）. 关系研究的新取向： 社会网络分析. 心理科学， 34（2）： 499-504.
叶素静， 唐文清， 张敏强（2014）. 追踪研究中缺失数据处理方法及应用现状分析.心理科学进展， 22（12）： 1985-1994.
张辉华（2014）. 个体情绪智力与任务绩效： 社会网路的视角. 心理学报， 46（11）： 1691-1703.
Albrecht， T. L. （1984）. Managerial communication and work perception. In R. Bostrom（Ed.）， Communication yearbook8（pp. 538-552）. Beverly Hills： Sage.
Borgatti， S.P.， & Molina， J.L.（2003）. Ethical and strategic issues in organizational social network analysis. Journal of Applied Behavioral Science， 39（3）， 337-349.
Burt， R.S.（1987）. A note on missing network data in the general social survey. Social Networks， 9（1）， 63-73.
Butts， C.（2003）. Network inference， error， and informant（in） accuracy： a Bayesian approach. Social Networks， 25（2）， 103-140.
Costenbader， E.， & Valente， T.W.（2003）. The stability of centrality measures when networks are sampled. Social Networks， 25（4）， 283-307.
Daniel， W.W. （1975）. Nonresponse in sociological surveys： a review of some methods for handling the Problem. Sociological Methods & Research， 3（3）， 291-307
Dean， J.J.W.， & Brass， D. J.（1985）. Social interaction and the perception of job characteristics in an organization. Human Relations， 38（6）， 571-582.
Ebel， H.， Mielsch， L.I.， & Bornholdt， S.（2002）. Scalefree topology of email networks.Physical Review E 66， 035103， 1-4.
Feld， S.L.（1991）. Why your friends have more friends than you do. American Journal of Sociology， 96（6）， 1464-1477.
Gabby， S.S.， & Zuckerman， E.W. （1998）. Social capital and opportunity in corporate R&D： The contingent effect of contact density on mobility expectations. Social Science Research， 27（2）， 189-197.
Gile， K.， & Handcock， M.S.（2006）. Modelbased assessment of the impact of missing data on inference for networks. Unpublished manuscript， University of Washington， Seattle.
Guimera， R.， Danon， L.， DiazGuilera， A.， Giralt， F.， & Arenas， A.（2003）. Selfsimilar community structure in organisations. Physical Review E， 68： 065103.
Handcock， M.S.， & Gile， K.（2007）. Modeling social networks with sampled or missing data. Unpublished manuscript， University of Washington， Seattle.
Holland， P.W.， & Leinhard， S.（1973）. Structural implications of measurement error in sociometry. Journal of Mathematical Sociology， 3（1）， 85-111.
Holme， P.， Edling， C.R.， & Liljeros， F.（2004）. Structure and timeevolution of an Internet dating community. Social Networks， 26（2）， 155-174.
Huisman， M.， & Steglich， C.（2008）. Treatment of nonresponse in longitudinal network studies. Social Networks， 30（4）， 297-308.
Huisman， M.（2009）. Imputation of Missing Network Data Some Simple Procedures Journal of Social Structure， 10（1）， 1-29.
Koskinen， J.， Snijders， T.A.B.（2007）. Bayesian inference for dynamic network data.Journal of Statistical Planning and Inference， 137（12）， 3930-3938.
Koskinen， J. H.， Robins， G. L.， & Pattison， P.E.（2010）. Analysing exponential random graph（pstar） models with missing data using Bayesian data augmentation. Statistical Methodology， 7（3）， 366-384.
Koskinen， J. H.， Robins， G. L.， Wang， P.， & Pattison， P.E.（2013）. Bayesian analysis for partially observed network data， missing ties， attributes and actors. Social Networks， 35（4）， 514-527.
Kossinets， G.（2006）. Effects of missing data in social networks. Social Networks， 28（3）， 247-268.
Laumann， E.O.， Marsden， P.V.， & Prensky， D.（1983）. The boundary specification problem in network analysis. In Burt， R.S.， Minor， M.J（Eds.） （pp. 18-34）. London： Applied Network Analysis Sage Publications.
Little， R.J.A.， & Rubin， D.B.（1989）. The analysis of social science data with missing values. Sociological Methods & Research， 18（2-3）， 292-326.
Little， R.J.A.， & Su， H. L.（1989）. Item nonresponse in panel surveys. In D. Kasprzyk， G. Duncan， and M. P. Singh（Eds.）（pp.400-425）.New York： John Wiley & Sons.
Moch， M. K. （1980）. Job involvement， internal motivation， and employees integration into networks of work relationships. Organizational Behavior and Human Performance， 25（1）， 15-31.
Monge， P. R.， Edwards， J. A.， & Kirste， K. K.（1983）. Determinants of communication network involvement： Connectedness and integration.Group & Organization Management， 8（1）， 83-111.
Newman， M.E.J.（2002）. Assortative mixing in networks. Physical Review Letters， 89（20）， 1-4.
Neal， J. W.（2008）. “Kracking” the missing data problem： applying krackhardts cognitive social structures to schoolbased social networks. Sociology of Education， 81（2）， 140-162.
Robins， G.， Pattison， P.， & Woolcock， J.（2004）. Missing data in networks： exponential random graph（p*） models for networks with nonrespondents. Social Networks， 26（3）， 257-283.
Robins， G.L.， Pattison， P.E.， & Wang， P.（2009）. Closure， connectivity and degrees： new specifications for exponential random graph（p*） models for directed social networks. Social Networks， 31（2）， 105-117.
Roberts， K. H.， & OReilly， C. A.（1978）. Organizations as communication structures： an empirical approach. Human Communication Research， 4（4）， 283-293.
Roberts， K. H.， & OReilly， C. A.（1979）. Some correlations of communication roles in organizations. Academy of Management Journal， 22（1）， 42-57.
Rubin， D.B.（1976）. Inference and missing data. Biometrika， 63（3）， 581-592.
Rumsey， D.J.（1993）. Nonresponse models for social network stochastic processes. Unpublished doctorial dissertation. The Ohio State University.
Schafer， J.L.， & Graham， J.W.（2002）. Missing data： our view of the state of the art.Psychological Methods， 7（2）， 147-177.
Snijders， T.A.B.， Bunt， G.G.， & Steglich， C.E.G.（2010）. Introduction to stochastic actorbased models for network dynamics. Social Networks， 32（1）， 44-60.
Snith， J.A.， & Moddy， J. （2013）. Structural effects of network sampling coverageⅠ： nodes missing at random. Social Networks， 35（4）， 652-668.
Stork， D.， & Richards， W. D.（1992）. Nonrespondents in communication. Network Studies： Problems and Possibilities. Group & Organization Management， 17（2）， 193-209.
Valente， T.W.， Fujimoto， K.， Unger， J.B.， Soto， D.W.， & Meeker， D.（2013）. Variations in network boundary and type： a study of adolescent peer influences. Social Networks， 35（3）， 309-316.
数据分析方法精选篇14
常用处理方法是删除含资料缺失的记录，后将剩余视为完全数据。这样可能产生偏倚，甚至误导性的结论。另有两大类方法，借补法在先用一个借补值替代缺失值，得到“完全数据”后运用标准完全数据分析方法，其经历两个发展阶段：单一借补、多重借补。前者包括极大似然估计的方法，后者由前者发展而来。第二类是不处理，直接分析数据。
一、数据缺失的程度与机制
数据缺失的程度、机制均影响处理方法的选择。方法不适当也会带来有偏的参数估计M1、方差估计与统计检验，甚至影响数据分析效用。
(一）数据缺失的程度
借助某一变量上数据缺失的比率X描述数据缺失的程度。缺失比率X如何应用方面，当X<10%时应当保留这些贼并对其哳搬的舰曾建议，当X>15%时可以考虑删除采用删除法；MRaymond与Roberts则认为X>40%时才考虑删除这些数据。
(二）缺失机制
缺失数据与诸多变量等相关,处理方法的性质依赖这些相依关系的特征。为论述方便，记全部变量Y观测值中那些完整的变量为Yobs、不完整的为Ymis。如果缺失值与Y相互独立无关，则缺失数据为完全随机缺失(MACR,missingcompletelyatrandom)的，是特殊情形。此时缺失值是总体的一个简单随机抽样。如果缺失值仅与Yobs相关联、与Ymis相互独立，则是随机缺失（MAR,missingatrandom)。如果Yobs与Ymis之间存在着依赖关系，则称非随机缺失（NMAR,notmissingatrandom)，是不可忽略的。
二、单一借补
单一借补用一个借补值替代全部缺失值,后用完全数据方法分析数据。单一借补是缺失数据处理中最通用方法之一，有多种方法。
(一)推理借补与最近邻借补
根据已有信息推断缺失数值，该方法简单易行，可提供准确借补值，或者近似准确借补值，同等情况下可优先进行推理借补。例，信息收集时已提供有姐弟信息的某被试“独生子女”一项空着，可推断为“否”。最近邻借补选用与缺失数据提供者相类似的被试数据替代该缺失值。按照匹配变量找到一个以缺失数据提供者类似的被试时，可还用例如欧式距离等来度量类似程度。
(二）均值借法
均值借补用已得数据的均值替代全部缺失值。借补值易均值形成尖峰，严重扭曲数据分布。当数 据缺失非MACR时，将低估统计量方差，导致参数估计偏差，且不适用需方差的复杂分析。
(三）回归借补
回归借补可分为线性回归借补，非参数回归借补等。本文主要关注线性回归借补，用Yk关于数据完全的变量回归模型，回归值替代缺失值。建立回归方程时有一次或多次迭代之分。多次迭代中，预测变量以逐步进人模型，获得预测力最佳、最精简的变量组合；回归值替代缺失值，后建立新模型；如此，至回归系数变化不显著。是类别变量时，则考虑进行变换，进行线性回归。同时，我们还应注意到利用严格的回归方程进行预测，易人为增大变量之间的关系。多数情况下，教育学、心理学讨论的变量大多都不是相互独立的。选择该方法时，须考虑当预测变量与变量Y是否存在高度的相关关系。其构造借补值的逻辑清晰，相对客观。该方法能得到合乎逻辑的结果，尤其满足正态分布时。数据模拟实验表明,方法加精确。
三、多重借补
多重借补(multipleimputation,MI)基于缺失值的预测分布或统计模型的方法：提供多个借补值依次替代各个缺失值、构造个“完全数据”，121,191211后运用完全数据统计方法分别分析多个数据集；分别得到数个分析结果，拟合这多个结果，获得对缺失值的估计等，甚至是置信区间、P值。MI具备例如连续性的优良统计性质。
(一)回归预测法与倾向得分法
回归借补基于已有数据建立回归模型、嵌入借补值。先确定观察协变量，倾向得分法赋予一个条件概率。即对各Y产生一个观测值缺失概率，并以倾向得分表示。依据倾向得分对数据分组，组内进行近似贝叶斯Bootstrap(ABB)借补。
(二）似然的方法
1.极大似然估计
从理论上来看，极大似然法（MaximumLikelihood,ML)至今仍是参数点估计中的重要方法。既定模型下缺失值的诸多估计均可基于似然函数进行。ML利用总体数量特征的分布函数等，建立未知参数的估计量。将Y作为未知变量0，构造关于e的似然函数，后求的参数的极大似然估计量，甚至在参数空间内的置信区间，或者置信区域。
参数极大似然估计量(MLE)具有不变性，推广至多元变量时该优良性质亦成立。这恰能满足实际研究需要。基于其渐进最优性质等，ML成为参数估计的常用方法，诸如SPSS10.0、LISREL8.7等软件包均收人该方法。
2.期望极大化算法
期望极大化算法（Expectation-Maximizationalgorithm,EM)是ML有效方法，主要用来计算基于不完全数据的MLE15。当由于观测过程局限带来数据部分缺失时，或似然估计因似然函数不是解析函数而无效时可选用该方法。EM是一种迭代算法，每次迭代似然函数值都将有所增加，进而保证参数估计值收敛到一个局部极大值。此外，EM可自动实现参数约束。基于软件数据模拟表明X<30%时EM算法可得到比较好的结果。
3.MCMC方法
当缺失值分散在多个变量时，回归法基于对回归系数的估计获得借补值。复杂缺失模型中，回归系数的估算又依赖于借补值。这里似乎存在某种循环论证痕迹。此时，可考虑迭代法中马尔科夫蒙特卡洛方法（MarkovChainMonteCarloAlgorithm,MCMC)。MCMC利用马尔可夫链进行蒙特卡洛积分，可基于无后效性随机过程探讨数量关系、预测变量，还可有包括0出1?抽样等多种具体算法。基于多元抽样MCMC有诸多优点，足够长的时间使得雅过程驗时，MCMC可得卿常麵的结果。171MCMC是与具体的模型结合的，自身有不少扩展方法，且不同MCMC方法对缺失数据的参数估计之间存在差异。不过，X<30%时MCMC方法得到结果与完全数据时拟和较好。这些研究支持MCMC是处理缺失数据的有效方法，软件包SPSS17.0等均收人该方法。
四、不处理
借补值是缺失数据的主观估计值。引人的主观值可能改变原信息系统，甚至带进新噪音、导致分析错误。不处理确保了原有信息不变,并进行分析,其主要包含贝叶斯网与人工神经网络。不过，后者的具体应用仍有限、待进一步探索与实证。研究开始关注神经网络在心理学中的具体应用。
(一）贝叶斯网
贝叶斯网络(BayesianNetworks)是一个有向无圈图，W能描述不确定性因果关联的模型。该有向无圈图带有概率注解，能够表示随机变量的因果关系与概率关系，网络的拓扑结构能够表明如何从局部的概率分布获得完全的联合概率分布。分析缺失数据时，贝叶斯网将结合先验知识与样本数据对数值计算进行推理，得到最佳值。其最大程度利用数据蕴含的信息，是具有鲁棒性的方法。
缺失数据下学习贝叶斯网有各类算法，不少算法是通过对含缺失数据的信息系统完备化得到所需统计因子，最终将问题转化为完全数据下学习贝叶斯的网的问题。例如，结构EM(StructureEMAlgorithm)通过EM算法获得期望统计因子。数据非随机缺失可以通过引人隐藏变量转化为随机缺失问题，m似乎可以仅讨论随机缺失情况下算法。随着研究的推进，新的、优良的算法相继涌现，并得到模拟实验的支持。例如，数据缺失下贝叶斯网络增量学习算法IBN-M。甚至稳健的贝叶斯方法能够适用于含缺失数据的结构方程分析中，此时的结构方程模型选择固定方差。
建构贝叶斯网可由专家人工建构。其中，因果关系、网络结构是不可或缺的。这需对分析领域有相应了解，至少对变量间关系较清楚。在心理学等领域中应用尚待深入研究，该方法运用前景令人期待。
(二）贝叶斯网适用软件能够实现贝叶斯网的软件包不少。Netica是最重要软件之一，可免费下载功能有限的版本。专门进行数值计算的语言Matlab,其编程量较少、调试程序方便、呈现学习所得结构也不繁琐，国内文献也更多地涉及Matlab。BNTtolkit是基于Matlab开发的，提供不少基础函数库，能够进行参数学习与结构学习，且完全免费。缺乏图形用户界面、无法将基本函数集成相应系统是其“硬伤”。
五、结论与讨论
实际应用中，删法“浪费”不少数据，统计力低下，尽量选用其它方法。当满足MAR缺失机制且人在10%时，对删法可运用对有多个项目的量表的数据处理。当满足MAR、变量相关联，可考虑均值借补。当变量之间高相关且X>20%Ht,可考虑回归借补。
当变量多维正态分布时，可考虑稳健性较好的ML或EM。X在一定范围内时，基于似然的方法可获得良好的估计值。114121]变量间关系复杂时可考虑MCMC,入<30%时该方法所得结果与完全数据时的一样好，其可有效处理缺失数据。贝叶斯网是不确定性表达与推理最有效模型之一，缺失数据下的贝叶斯网络学习得到理论与实证支持。M71具备编程等条件时，可选用贝叶斯方法。
