大数据这个词汇火的出圈，从字面上来说“big data”意思就是大量的数据结合，而大数据技术则是采集、分析、处理这些来自海量数据内的信息，从中提取重要的内容加以利用获取价值。大数据技术早已深入我们生活的方方面面，无形中改变了我们的生活。那么大数据技术到底是什么？

对于消费者或者网民来说，大数据就是收集用户的信息进行营销、获取利润；

对于企业和投资人来说，大数据是一个热门的投资领域模式一个欣欣向荣的行业；

而对于大数据工程师来说，那就是把一大堆乱七八糟的数据通过计算使其能够便于利用。

大数据技术大致分为以下8个方面：

1. 大数据的采集

   想要利用数据第一步当然是收集数据，从数据源中把数据采集到自己的数据存储库里面。数据源主要包含Flume NG、NDC，Netease Data Canal、Logstash2、Sqoop、Strom集群结构、Zookeeper等。ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据等文件提取到临时的中转部分后进行转换、集成，加载到数据存储库里面，为之后的数据处理分析打下基础。

2. 大数据的存取

采集到大量的数据之后就要有一个适合的系统化的数据库。大数据存储，是在存储器上以数据库的形式存储采集的数据的过程，有Hadoop、HBase、Phoenix、Yarn、Mesos、Redis、Atlas、Kudu等，种类繁多，不同的存储数据库适用于不同的情境与数据类型。

3. 大数据的整理

大数据处理的任务量庞大，业务繁多，需要进行训练和清晰的数据会愈发复杂，但是有了任务调度系统就会缓解这些困难，对关键的进程进行监控和调度，比如oozie或者azkaban。

4. 大数据的处理

在将庞大的数据为我们所用之前，我们还需要将其进行一定的处理。自然语言处理是研究关于人与计算机交互的语言问题的一门学科。它关键是要让计算机“理解”自然语言，所以自然语言处理又叫做自然语言理解，也叫做计算语言学。它是语言信息处理的一个分支，也是人工智能的核心课题之一。通常企业和机构在进行信息处理时会用到Hive、Impala、Spark、Nutch、Solr、Elasticsearch等程序。

5. 大数据的分析

大数据的分析顾名思义就是分析数据，让其能够清楚的被人类看懂，借助图形等方式清楚高效的传送信息。主要应用于庞大的数据关系分析，绝对那些看似没有价值的信息进项关联性分析，得出分析图表并知道决策服务的进程。比如国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。

6. 大数据的挖掘

一般来说，创建模型的过程是类似的一开始分析用户提供的数据，然后开始查找，不一样的类型模式具有不一样的查询方式，然后分析结果并得出该模型的最佳参数，最后将这些参数都应用在整个数据集，即可提取详细的数据资源。数据挖掘的算法很多，不同的算法可以应用在不同的数据类型，得出的数据结构特点也各不相同。

7. 大数据模型预测

在数据得到采集之后，除了要进行分析处理之外，还可以通过数据计算出对应的科学模型，通过模型能够预测新的数据从而判断接下来可能会发生的事情，从而做出相应的决策。可以利用预测模型、机器学习、建模仿真等。

8. 大数据结果呈现

对数据进项了一系列繁杂的处理分析之后得出的结论再好也要想办法在人类面前具体的呈现才能发挥它最大的价值，如果不做好内容的呈现，前面的步骤做得再好也是无用功。大数据分析得出的结论和结果可以通过不同的方式呈现比如云计算、标签云等。借助这些工具可以对大数据进行统一和高效的管理分析，最大限度的挖掘数据的价值，利益最大化，是大数据技术中不可或缺的一部分。

[1]