大数据产品经理必备的数据挖掘知识概述（一）认识数据之数据可视化

抖音营销 2022-10-19 13:44 10123人围观数据

数据经过获得、存储、分析以后，终极目标还是为了给用户停止展现，以到达决议根据的目标。那末若何有用的将数据展现给用户呢？——数据可视化。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

1.2 数据可视化

数据经过获得、存储、分析，其终极目标是为了给用户停止展现，以到达决议根据的目标。

那末若何有用的将数据展现给用户呢？数据可视化，旨在公道操纵图形清洗有用的表达数据的寄义。

本节我们从一维到多维数据起头会商一些根基数据可视化的暗示方式，包括直方图、散点图、基于像素的技术、根基图符的技术、多少投影技术以及条理可视化和基于图形的可视化技术，以此会商复杂数据工具和关系的可视化展现。（文中常识大多摘自《数据挖掘》一书，感爱好的同学可以间接阅读此书）

1.2.1 根基的统计描写可视化

首先我们先研讨常见的根基的统计描写图形，包括分位数图、分位数-分位数图、直方图和散点图。这些图有助于可视化地审阅数据，对于数据预处置是有用的。前三种图显现一元散布（即，一个属性的数据），而散点图显现二元散布（即触及两个属性）。

分位数图，是一种观察单变量数据散布的简单有用方式。首先，它显现给定属性的所稀有据（答利用户评价总的情况和不服常的出现）；其次，它绘制分位数信息。

以下图：

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

分位数-分位数图，或q-q图对着另一个对应的分数，绘制一个单变量散布的分位数。它是一种强有力的可视化工具，使得用户可以观察从一个散布到另一个帆布能否漂移。

以下图显现给按时候段内两个分歧部分销售的商品的单价数据的分位数-分位数图。每个点对应于每个数据集的不异的分位数，并对该分位数显现部分1和部分2的销售商品单价。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

经过上图，在Q1我们看到部分1的销售的商品单价部分2低。换言之，部分1销售的商品25%低于或即是60美圆，而在部分2销售的商品50%低于或即是78美圆，而在部分2销售的商品50%低于或即是85美圆。

一般地，我们留意到部分1的散布相对于部分2的一个漂移，由于部分1的销售的商品单价趋向于部分2低。

直方图，或成频次直方图，出现久远利用普遍。不做赘述。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

虽然直方图被普遍利用，可是对于比力单变量观察组，它能够不如分位数图、q-q图和盒方图有用。

散点图，是肯定两个数值变量之间看上去能否存在联系、形式或趋向的最有用的图形方式之一。

用于观察点镞和离群点，或考查相关联系的能够性。以下图，对于两个属性X，Y，假如标绘点的形式从左下到右上倾斜，则意味X的值随Y的值增加而增加，暗示正相关，假如标绘点的形式从左上到右下倾斜，则意味X随Y值减小而增加，暗示负相关。可以画一条最好拟合的线，研讨变量之间的相关性。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

散点图可以用来发现属性之间的相关性

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

三种情况，其中每个数据集合两个属性之间都不存在观察到的相关性。

根基的数据描写图形展现（如分位数图、直方图和散点图）供给了数据整体情况的有代价的洞察，有助于识别噪声和离群点，对数据清算出格有用。

1.2.2 基于像素的可视化技术

前面会商的是单变量数据，对于一个m维数据集，基于像素的技术在屏幕上建立M个窗口，每维一个。记录的m个维值映照到这些窗口中对应位置上的m个像素。像素的色彩反应对应的值。诸如此以像素的色彩反应维值称为基于像素的可视化技术。

例如，顾客信息表，包括4个维度：in_come（支出），credit_limit（信贷额度），transaction_volume（成交量）和age（年龄）。我们可以经过可视化技术分析income与其他属性之间的相关性吗？

我们可以对一切顾客按支出的递增序排序，并利用这个序，在4个可视化窗口放置顾客数据，以下图。值越小，色彩越淡。

利用基于像素的可视化，我们可以很轻易的获得以下观察：credit_limit随income增加而增加；支出处于中部区间的顾客更能够购物；income与age之间没有明显的相关性；

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

其他形式，如空间添补曲线、圆弓朋分技术等；（感爱好的同学可以做更深入的进修）

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

一些频仍利用的二维空间添补曲线；

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

圆弓技术：a）在圆弓内暗示一个数据记录；b）在圆弓内放置像素。

1.2.3 多少投影可视化技术

对于基于像素的可视化技术存在一个弱点即他们对于我们了解的多维空间的数据散布帮助不大，不是很轻易了解。比如他们并不显现在多维子空间能否存在浓密地区。

多少投影技术可帮助用户更好的发现和了解多维数据集的风趣投影。多少投影技术的重要应战是想法处理若何在二维显现上可视化高维空间。

散点图：利用笛卡儿坐标显现二维数据点。利用分歧的色彩或外形暗示分歧的数据点，可以增加第三维。例如两个空间属性X，Y，而第三维用分歧的外形显现。经过这类可视化技术，我们可以看“+”“X”范例的点趋向于一路出现。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

二维数据集利用散点图可视化，材料来历：www.cs.sfu.ca/jpei/public-tions/rareevent-geoinformatica06.pdf

散点牟利用笛卡儿坐标系的三个坐标轴，假如也利用色彩，它可是显现4维数据点。以下图：

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

三维数据集利用散点图可视化

散点矩阵图：对于维数跨越4的数据集，散点图一般不太有用。散点图矩阵是散点图的一种扩大，供给每个维与一切其他维的可视化。

以下图显现的是一莳花的数据集。共450个样本，取自3莳花。共5个维度：萼片长度和宽度、花瓣长度和宽度，以及种属。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

散点图矩阵可视化

平行坐标：随着维数的增加，散点图矩阵变得不太有用。平行坐标可以处置更高的维度，其绘制n个等间隔、相互平行的轴，每维一个。数据记录用折线暗示，与每个轴在对应相关维值得点上订交，以下图：

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

利用平行坐标可视化，材料来历：http://support.sas.com/documentation/cdl/en/grstatproc/61948/THML/default/images/gsgscmat.gif

1.2.4 基于图符的可视化技术

基于图符的可视化技术利用少许图符暗示多维数据集。我们会商两种图符技术，切尔诺夫脸和人物线条画。

切尔诺夫脸是统计学家赫尔曼.切尔诺夫于1973年引进的。它把多达18个维的数据以卡通人脸显现，有助于揭露数据中的趋向。

维可以映照到以下面部特征：眼的大笑、两眼的间隔、鼻子长度、眼球巨细、眉毛倾斜、眼睛偏离水和蔼头部偏离水平。切尔诺夫脸操纵人的思维才能，识别面部特征的浅笑差别并立即消化了解很多面部特征。

弱点是未显现具体的数据值。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

切尔诺夫脸，每张脸暗示一个N维数据点（n<=18）

已经提出非对称的切诺夫脸作为本来技术的扩大，感爱好的同学可以深入进修。

人物线条脸是可视化技术把多维数据映照到5-段人物线条画，其中每个画都有手脚和一个躯体。两个维被映照到显现轴（x和y轴），而其他的维映照到手脚和长度。

下图显现生齿普查数据，其中age和income被银蛇到显现轴，而其他维被映照到使命线条画。假如数据项关于两个显现维度相对浓密，则成果可视化显现纹理形式，反应数据趋向。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

用人物线条画暗示的生齿统计数据，材料来历：G.Grinstein教授，马萨诸塞州大学（费弗尔）计较机科学系

1.2.5 条理可视化展现

迄今为止所会商的可视化技术都关注同时可视化多个维，但是，对于大型高纬数据集，很难同时可视化一切维，条理可视化技术把一切维分别红子集（即子空间），这些子空间按条理可视化。

“天下中的天下”又称n-Vision，是一种具有代表性的可视化方式。

假定我们想对6维数据集可视化，其中维是F，X1，….X5，我们想观察维F若何随其他维变化，我们可以把一切维牢固为某选定的值，比如C3，…C5，然后可以利用一个三维图（称做天下）对一切维停止可视化，如图，内天下的原点位于外天下的点（C3，C4，C5）处；为天下是一个三维图，利用为X3，X4，X5。

用户可以在外天下中交互地改变内天下的原点的位置，然后观察内天下的变化成果。此外，用户可以改变内天下和外天下利用的维。给定更多维，可以利用更多的天下层，这就是该方式称做“天下中的天下”的缘由。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

“天下中的天下”又称n-Vision材料来历：http://graphics.cs.columbia.edu/projects/AutoVisual/1.dipstick.5.gif

条理可视化方式的另一个例子是树图（tree-map），它把条理数据显现成嵌套矩形的调集。

例以下图，显现了对Google消息报道可视化的树图。一切的消息报道构造成7个种别，每个显现在一个维-色彩的举行中。在每个种别内（即在最顶层每个举行内），消息报道进一步分别红较小的子种别。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

消息图：利用属兔对Google消息报道题目可视化。材料来历：www.cs.umd.edu/class、spring2005/cmsc838s/viz4all/ss/newsmap.png

1.2.6 可视化复杂工具和关系

可视化技术除了对于数值数据，还包括对非数值数据的可视化技术，如文本和社会收集可视化已经成为可操纵的，且备受关注。

很多可视化技术专门用户非数值类数据，如Web上很多对诸如图片、博客和产物批评加标签。

标签云，是用户发生的标签统计量的可视化技术。在标签云中，标签凡是按字母顺序或用户指定的次数罗列。以下图，显现了一个对Web站点利用的风行标签可视化的标签云。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

利用标签云对Web站点上利用的风行标签可视化。材料来历：www.flickr.com/photos/tags/2022年1月23日快照

凡是，标签云用法有两种，一是对于单个术语，我们可以利用标签的巨细暗示该标签被分歧的用户用于该术语的次数，二是在多个术语上，可视化标签统计量时，我们可以利用标签的巨细暗示该标签利用的次数，即标签的人气。

除了复杂的数据之外，数据项之间的复杂关系也可视化提出了应战。

例如，下牟利用疾病影响图来可视化疾病之间的相关性。图中的结点是疾病，每个结点的巨细与对应疾病的风行水平成反比。假如对应的疾病具有强相关性，两个结点用一条边毗连。边的宽度与两个对应的疾病的相关水平成反比。

大数据产物司理必备的数据挖掘常识概述（一）熟悉数据之数据可视化

NHANES数据集合20岁以上的人的疾病影响图

综上所述，可视化技术为摸索数据供给了有用的工具。我们先容了一些风行的方式和他们的根基思惟。有很多现成的工具和方式。

此外，可视化可以用于数据挖掘的多少方面。除了数据可视化之外，可视化也可以用于表示挖掘进程、从挖掘方式获得的形式，以及用户与数据交互。可视化挖掘是一个重要的研讨开辟偏向。

本文由 @一毛硬币原创公布于大家都是产物司理。未经答应，制止转载

题图来自Unsplash，基于CC0协议