更多精彩内容请关注我们

大数据时代，人们可以获取和分析更多的数据，甚至是与之相关的所有数据，而不是依赖抽样，这样可以带来更全面的认识，更清晰地发现样本无法揭示的细节。越来越多的人在学习大数据相关技术，今天我们就来看看大数据环境下数据分析的基础知识。

一、数据分析的定义

数据分析是统计、高等数学、工程和商业决策相结合的技能，其中高等数学、工程和统计是硬技能，而商业决策属于软技能，数据分析师是具备这些技能的岗位。数据分析师也有一些强调。有的人生于商业，偏爱商业领域，有的人生于统计，偏爱统计领域，还有的人生于工程，偏爱it领域。企业在招聘时，会根据自己的需求选择合适的数据分析师。

很明显，我是工程领域出身，我们的课程偏向于it领域，适合在it领域发展的程序员入门，或者业务领域、统计领域的数据分析师补充自己。

二、数据分析的产生

在互联网企业发展的今天，流量的增长是一个永恒的话题。我们知道，招募新用户的成本远高于维护老客户的成本。在这种情况下，如果能让老客户产生价值，引入合适的营销策略或者像这样带来新的方案，就能以更少的成本产生更大的价值，这就是数据分析师存在的原因。

三，数据分析的发展

早期使用Excel进行数据分析，很多商业领域的数据分析师甚至到现在还在使用。此外，还有一些用于数据分析的商业软件，如tableau、spss等。使用的方式是将数据从服务器导出到软件，然后通过功能函数处理数据。比如在excel中，可以使用vlookup函数进行纵向搜索，然后进行可视化处理。显然，早期的数据分析更侧重于呈现结果，然后根据结果预测企业的发展。

具体流程如下:

分析现状——通过可视化的现状，直观地描述企业业务发展的情况

发现问题——根据呈现的结果预测可能出现问题的原因

收集处理-使用更多数据来验证问题的来源

分析策略——结合业务场景分析用户或商品的现状

提出解决方案-根据业务逻辑和分析结果提出有效的解决方案

我们可以预见的是，前期的数据量比较少，一般是在g . excel、tableau、spss等软件可以处理的数据量有限。当数据量达到T、TB甚至更多的数量级时，就无法处理。这就需要it领域的知识来处理这些海量的数据，比如使用MySQL、hlive、hbase等等。

四、数据分析VS数据挖掘

除了数据分析，你一定听说过数据挖掘。它们之间有什么异同？大多数企业已经模糊了数据分析和数据挖掘的区别，但它们仍然有一些区别，如下所示:

数据分析运用更多的统计知识，对源数据进行描述性和探索性分析，从结果中发现价值信息，对现状进行评价和修正。数据挖掘不仅使用了统计学的知识，还使用了机器学习的知识，其中涉及到模型的概念。数据挖掘有更深层次去发现未知的规律和价值。

从侧重点上来说，数据分析更依赖于业务知识，而数据挖掘更侧重于技术的实现，对业务的要求略低。

在数据量方面，数据挖掘往往需要更大的数据量，数据量越大，技术要求越高。

从技术上讲，数据挖掘对技术的要求更高，需要较强的编程能力、数学能力和机器学习能力。

在结果方面，数据分析更注重结果的呈现，需要结合业务知识进行解读。数据挖掘的结果是一个模型，可以分析整个数据的规律，一次性预测未来，比如判断用户的特征，用户适合做什么营销活动。显然，数据挖掘比数据分析更深入。

大数据分析平台表明，大数据时代的思维方式要求从自然思维向智能思维转变，不断提高机器或系统的社会计算能力和智能水平，从而获得具有洞察力和新价值的事物，甚至类似于人类的“智慧”。

结束