什么是大数据分析？
大数据分析概念：
大数据分析是指分析海量数据或大数据的策略。大数据来源丰富多样，大数据来源于社交网络、视频、数字图像、传感器以及销售交易记录。分析这些数据的目的是揭示深层隐匿的数据模式和数据间的内在联系，从而为创建这些数据的用户提供有价值的见解。有了这些深刻见解，企业可能会获得优于竞争对手的优势并做出卓越的商业决策。
大数据分析介绍：
大数据分析允许数据科学家和其他各行业的用户评估传统数据处理系统无法处理的大量交易数据和其他数据源。传统数据处理系统不达标最主要的原因是它们无法分析如此多的数据源。
为什么大数据分析如此重要？
大数据分析软件程序复杂，传统数据仓库并不适合非结构化大数据分析。大数据的处理要求之高也是传统数据仓库无法驾驭的。这样新型的、大型的数据分析环境和技术就出现了，比如Hadoop、Map Reduce和Nosql数据库。这些技术构成了一个开源软件框架，用于在集群系统上处理巨大的数据集。
如何对大数据分析？
大数据分析的流程：
大数据分析是指收集、处理、清洗和分析大型数据集来帮助运转企业大数据。
1、数据收集： 大数据分析怎么收集数据
每个企业收集的数据各不相同。凭借当今的技术，企业可以收集的结构化数据和非结构化数据来源也各不相同，有来自云存储、移动应用程序、店内物联网传感器等的数据。 一些数据会存储在数据仓库中，商业智能工具和数据解决方案会访问并处理这些数据。对数据仓库来说过于多样化或复杂的原始数据或非结构化数据会被分类为元数据并存储在数据湖中。
2、大数据的处理： 如何进行大数据处理
数据被收集和存储后要整理得当，这样才能获得分析查询后的准确结果，尤其是庞大的数据和非结构化数据。可用数据的迅速增长使得数据处理成为企业面临的挑战。
大数据分析处理方法之一是数据批处理，它会长时间搜索大型数据块。 当数据收集和数据分析之间周转时间较长时就会用到批处理。
数据流处理则快速搜索小批量数据，缩短数据收集和数据分析之间的滞后时间，以便更快地做出决策。相比批处理，流处理更复杂，也更昂贵。
3、清洗大数据 ： 大数据的清洗方法
不管是量大的数据还是量小的数据都需要清洗，这样可以提高数据质量并获得理想的结果；所有数据必须正确格式化，任何重复或不相关的数据必须被消除或作出解释，尤其是废数据，它会影响分析结果的准确性。
4、大数据分析 ： 如何对大数据分析？
大数据进入使用状态需要时间。 一旦准备就绪，高级分析过程就会将大数据转化为对企业有益的深知灼见。大数据分析的方法包括但不限于：
- 大数据挖掘分类方法：运用数据挖掘技术整理大型数据集，通过识别异常和创建数据集群来定义数据模型和关系。
- 大数据预测分析：利用企业的历史数据来预测未来发展趋势，鉴别可能面临的风险和迎来的机会。
- 大数据深度研究：模仿人类学习模式利用人工智能和机器学习对算法进行分层，从最复杂和最抽象的数据中研究出数据模型。
大数据分析工具主要有哪些？
大数据分析不是由单独的工具或单一的技术来完成，而是由几种类型的工具结合起来收集、处理、清洗和分析大数据。大数据生态系统的主要技术成分如下：
hadoop是一个开源框架，可以有效地存储和处理商品硬件集群上的大数据集。hadoop架构是免费的，用于处理大量的结构化和非结构化数据，也是任何大数据操作依赖的宝贵支柱。
NoSQL数据库是非关系型数据库管理系统，无需定义数据库表结构，NoSQL数据库是处理分析大量数据、原始数据、非结构化数据的最佳选择。Nosql代表“不仅是SQL”的意思，而且NoSQL数据库可以处理各种数据模型。
MapReduce是Hadoop架构的一个基本组件。MapReduce工作原理：它有两方面的功能：第一个是映射，它将数据发送到集群内的各个节点； 第二个是化简，它整理并化简每个节点的搜索结果以达到询问优化的效果。
YARN是“另一个资源谈判家”，它是Hadoop第二版的又一个组成部分。集群管理技术协助集群作业调度和资源管理。
Spark是一种开源的集群计算框架，它会使用具有隐式并行性和容错性的编程语言为整个集群的编程提供接口。Spark计算速度相当快，可以处理批处理和流处理。
Tableau是一个端到端的大数据分析平台，允许企业准备、分析、协作和共享大数据分析结果。Tableau的优势：擅长可视化自助分析，允许对被监管的大数据提出新问题并在企业内部轻松分享这些见解。
