环境准备：centOS6.5

Redis是c语言开发的。
安装redis需要c语言的编译环境。如果没有gcc需要在线安装。

数据的维度

一个数据表达一个含义
一组数据表达一个或多个含义

一维数据

一维数据由对等关系的有序或无序数据构成，采用线性方式组织，对应列表、数组和集合等概念。

列表和数组

• 列表：数据类型可以不同
• 数组：数据类型相同

从数据处理到人工智能

数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能

• 数据表示：采用合适方式用程序表达数据

• 数据清理：数据归一化、数据转换、异常值处理

• 数据统计：数据的概要理解，数量、分布、中位数等

• 数据可视化：直观展示数据内涵的方式

• 数据挖掘：从数据分析获得知识，产生数据外的价值

• 人工智能：数据/语言/图像/视觉等方面深度分析与决策

实例：体育竞技分析

高手过招，胜负只在毫厘之间

“体育竞技分析”问题分析

体育竞技分析

• 需求：毫厘是多少？如何科学分析体育竞技比赛？

• 输入：球员的水平

• 输出：可预测的比赛成绩

文件的使用

文件的类型

文件的理解

文件是数据的抽象和集合

• 文件是存储在辅助存储器上的数据序列
• 文件是数据存储的一种形式
• 文件展现形态：文本文件和二进制文件

集合类型及操作

集合类型的定义

集合类型的定义：集合是多个元素的无序组合

程序设计语言

编程语言种类很多，但生命力强劲的却不多

• 编程语言有超过600种，绝大部分都不再被使用
• C语言诞生于1972年，它是第一个被广泛使用的编程语言
• Python语言诞生于1990年，它是最流行最好用的编程语言

手动导入需要用的jars，也可以使用maven。

块大小

HDFS中存储的文件块的块大小，默认128M

参数：dfs.blocksize

默认：134217728

此参数用于客户端程序，也就是说，HDFS里面存储的文件块的块大小完全由客户端决定

Flume的配置