《大数据技术及应用》PPT课件 李雁翎 东北师范大学

 
课件内容： 
第1章大数据概述 
了解大数据的应用，掌握大数据的基本概念，了解数据处理及数据处理发展过程，掌握大数据的特征、了解大数据的关键技术，以及大数据的应用。  
1.1基本概念 
1.2 数据处理 
1.3 大数据的特征 
1.4 大数据的关键技术 
1.1 大数据的应用 
第2章 Hadoop基础 
了解 Hadoop的特点，熟悉Hadoop的组件，掌握Hadoop生态系统，熟悉HDFS分布式文件系统架构，熟悉Mapreduce的计算架构，熟悉Spark的计算架构，熟悉Hadoop应用架构。 
2.1 Hadoop概述 
2.2 Hadoop的生态系统 
2.3 Hadoop系统架构 
2.4 Hadoop应用系统体系结构 
第3章 HDFS分布式文件系统 
了解HDFS，熟悉HDFS组成、HDFS体系结构，HDFS核心功能，掌握块和节点概念，掌握HDFS写数据和HDFS读数据，熟悉数据的存储策略，熟悉数据的恢复，掌握 HDFS常用命令，掌握 HDFS常用操作，熟悉HDFS常用命令及熟悉HDFS交互方法。 
3.1 HDFS概述 
3.2 HDFS 基本组成 
3.3 HDFS数据流 
3.4 HDFS应用实例 
实验1-1：HDFS数据及文件的增删改查操作 
实验1-2：HDFS读写文件 
第4章 HBase分布式数据库 
了解HBase的特点，熟悉HBase的系统架构，熟悉HBase与Hadoop生态系统，熟悉HBase与传统的关系数据库的区别，熟悉HBase数据模型，掌握HBase Shell及HBase 交互接口命令及应用案例。 
4.1 HBase概述 
4.2 HBase数据模型 
4.3 HBase的应用实例 
实验2-1：Hbase数据仓库加载 
实验2-2：HBase数据表基本操作 
第5章 Hive数据仓库工具 
了解Hive的特点，熟悉Hive的系统架构，熟悉Hive与数据库两者之间差异，掌握Hive创建外部表、创建分区表和向分区导入数据，掌握Hive数据统计和掌握Hive数据查询。 
5.1 Hive概述 
5.2 Hive与MySQL配置 
5.3 Hive数据仓库基本操作 
5.4 Hive应用实例 
实验3-1：创建数据仓库 
实验3-2：数据仓库的数据查询与统计 
第6章 MapReduce编程框架 
了解MapReduce的特点，熟悉MapReduce基本架构，熟悉MapReduce的工作流程，了解大数据分析的数据准备工作，了解常用的大数据分析方法，掌握记录计数、数据去重、排序和表连接方法及常用算法。 
6.1 MapReduce概述 
6.2 MapReduce的工作流程 
6.3大数据分析的数据准备 
6.4 常用的大数据分析方法 
6.5 常用算法及实例 
实验4-1：基于MapReduce基本统计 
实验4-2：基于MapReduce综合统计 
第7章 Spark计算引擎 
熟悉Spark技术框架，熟悉Spark工作流程，了解Spark特点，熟悉Spark与Hadoop，熟悉RDD，掌握Spark统计计算方法，掌握Spark聚类分析方法。 
7.1 Spark概述 
7.2 RDD 
7.3 Spark编程及实例 
实验5-1：基于Spark的关联分析 
实验5-2：基于spark的偏好分析 
第8章 大数据可视化  
了解数据与可视化，了解视觉信息的科学展示，熟悉常用的图例 ，掌握大数据可视化设计方法，掌握可视化图形设计原则，熟悉大数据可视化常用工具。 
8.1 大数据可视化概述  
8.2 常用的图例  
8.3 大数据可视化设计方法 
8.4大数据可视化常用工具 
实验6-1：数据可视化实验：气泡图 
实验6-2：数据可视化实验：曲线柱状复合图