大数据平台技术架构与应用培训方案
浏览:81次 作者:小编培训简述
全面掌握大数据的理论基础和实现原理,通过具体的实操和练习让学员全面实战大数据。通过此次课程培训,可使学习者获得如下收益:
♢彻底理解Hadoop、Spark和Flink为代表的大数据处理引擎的运行机制和原理,包括:MapReduce、Spark Core、Flink Runtime
♢掌握Hadoop生态体系的海量数据存储架构(原理、安装、使用),包括:分布式文件系统HDFS、NoSQL数据库HBase、数据分析引擎:Hive
♢掌握Spark生态体系架构(原理、安装、使用),包括:Spark Core、Spark SQL、Spark Streaming、Spark Shell、Spark集群、RDD
♢掌握Spark、Hadoop、Flink协同工作,能够通过Spark、Hadoop和Flink轻松应对大数据的业务需求;
♢掌握Flink生态体系架构(原理、安装、使用),包括:Flink Standalone与Flink on Yarn、Flink DataSet与Flink DataStream、Flink Table & SQL。
培训收益
1.掌握基于大数据的体系架构、管理、部署,以及相应组件的原理和应用场景。
2.让学员具备部署基于企业大数据平台环境的能力。
日程安排
第一天(Hadoop核心原理) | |||
章节 | 学习目标 | 应用案例 | |
第一章:实验环境的准备 | 实验环境简介 Linux的准备 DK的安装 | 准备实验环境 | 基于Hadoop的大数据离线计算平台整体架构 |
第二章:大数据背景知识与起源 | Hadoop部分各章概述 实验环境简介与准备 几个基本概念 Google的低成本思想 Google的思想论文之一:GFS Google的思想论文之二:MapReduce Google的思想论文之三:BigTable | 理解并掌握大数据的底层原理 | |
第三章:搭建Hadoop环境 | Hadoop的目录结构 搭建Hadoop的本地模式 搭建Hadoop的伪分布模式 免密码登录的原理和配置 搭建Hadoop的全分布环境 | 安装和配置Hadoop环境 | |
第四章:Hadoop的体系架构 | Hadoop体系结构概述 HDFS的体系结构 ▷名称节点 ▷数据节点 ▷第二名称节点 Yarn的体系结构 ▷Yarn的体系结构和任务的调度 ▷Yarn的资源分配方式 HBase的体系结构简介 主从结构的单点故障问题及解决方案 | 理解并掌握Hadoop的体系架构 | 基于HDFS搭建电商大数据平台的数据仓库 |
第五章:HDFS | HDFS概述 ▷操作HDFS ▷通过Web Console操作HDFS ▷通过命令行操作HDFS ▷使用Java API创建目录和权限问题 ▷使用Java API上传和下载数据 ▷使用Java API获取文件信息 HDFS的原理剖析 ▷HDFS上传数据的过程和原理 ▷HDFS下载数据的过程和原理 HDFS的高级功能 ▷HDFS的回收站 ▷HDFS的快照 ▷HDFS的安全模式和权限 ▷HDFS的配额 ▷HDFS的集群简介 HDFS的底层原理 HDFS底层原理之一:代理对象 HDFS底层原理之二:什么是RPC? | 掌握HDFS |
(注:大纲还可根据需求进行调整)
推荐讲师
赵老师 清华大学计算机双学士,擅长大数据、数据库、中间件技术和Java。拥有15年IT行业经验和10年培训授课经历。现任甲骨文(中国)全球支持中心高级技术顾问。
工作亮点:
1.甲骨文、BEA系统、北电网络、摩托罗拉等公司历任高级技术职位。
2.主导多个大数据和Oracle数据库项目,涉及金融、电信、能源等行业。
3.提供Hadoop、Oracle数据库、Weblogic等培训和解决方案。
项目经验:
1.设计大数据背景下互联网企业级应用架构。
2.开发中石油油罐车辆实时监控系统。
认证:
拥有Oracle Weblogic 11g、IBM DB2、Sun SCJP、CCNA、Oracle Database OCP 11g等多项专业认证。
- 标签: 大数据平台技术架构课程 大数据平台技术架构 大数据平台技术架构培训 大数据平台技术
-
下篇: 大数据前沿技术分析培训方案