上海碧茂信息科技有限公司举办《CCA Spark and Hadoop Developer (CCA
2017年6月27日 8:00 至 2017年6月30日 18:00 ，上海碧茂信息科技有限公司在 上海·上海长阳谷·上海市杨浦区长阳路1687号举办《CCA Spark and Hadoop Developer (CCA175) 公开课》，会议大约有20人参加。
会议通知
会议内容
主办方介绍
CCA Spark and Hadoop Developer (CCA175) 公开课宣传图
课时：28h/4天
课程介绍
Hadoop 及生态系统介绍
? 传统大规模系统的问题
? Hadoop ！
? Hadoop 生态系统
Hadoop 体系结构及 HDFS
? 机群环境下的分布式处理
? 存储：HDFS 体系结构
? 存储：使用 HDFS
? 资源管理：YARN 体系结构
? 资源管理：使用 YARN
使用 Apache Sqoop 导入关系数据
? Sqoop 简介
? 数据的基本导入导出
? 减少传输的数据量
? 改善 Sqoop 性能
? Sqoop 2
Impala 及 Hive 介绍
? 简介
? 为什么使用 Impala 及 Hive
? Hive 和传统数据库的比较
? Hive 应用场景
使用 Impala 及 Hive 管理数据及建模
? 数据存储
? 创建数据库及表
? 表数据导入
? HCatalog
? Impala 元数据缓存
数据格式
? 选择文件格式
? 支持不同文件格式的工具
? Avro 数据格式定义模式
? 在 Hive 及 Sqoop 里使用 Avro
? Avro 格式数据模式变更
? 压缩 数据分区
? 分区概述
? Impala 及 Hive 里的数据分区
Apache Flume 实时数据采集
? 什么是 Apache Flume
? Flume 基本体系结构
? Flume 源
? Flume 槽
? Flume 通道
? Flume 配置
Spark 基础
? 什么是 Apache Spark
? 使用 Spark Shell
? RDDs( 可恢复的分布式数据集）
? Spark 里的函数式编程 Spark RDD
? RDD
? 键值对 RDD
? MapReduce
? 其他键值对 RDD 操作
编写和部署 Spark 应用
? Spark 应用对比 Spark Shell
? 创建 SparkContext
? 创建 Spark 应用（Scala 和 Java）
? 运行 Spark 应用
? Spark 应用 WebUI
? 配置 Spark 属性
? 运行日志
Spark 的并行处理
? 回顾：机群环境里的 Spark
? RDD 分区
? 基于文件 RDD 的分区
? HDFS 和本地化数据
? 执行并行操作
? 执行阶段及任务
Spark 缓存和持久化
? RDD 演变
? 缓存
? 分布式持久化
Spark 数据处理的常见模式
? 常见 Spark 应用案例
? 迭代式算法
? 图处理及分析
? 机器学习
? 例子：K－Means 预览：Spark SQL
? Spark SQL 和 SQL Context
? 创建 DataFrames
? 变更及查询 DataFrames
? 保存 DataFrames
? Spark SQL 对比 Impala
上海碧茂信息科技有限公司
上海茂碧信息科技有限公司2006年成立于美国硅谷，由美国知名风险投资商和战略伙伴投资成立，2007年在上海成立其分公司。茂碧创始人和管理团队来自美国贝尔实验室（Bell Laboratories）、高通（Qualcomm）、诺基亚（Nokia）等国际知名通讯企业，拥有深厚的技术背景，并在通讯和移动多媒体领域获得多项国际级技术专利。公司目前拥有员工200多人，均来自国内外各大知名院校，50%的研发人员具有博士士和硕士学历。茂碧拥有全球最为先进的移动多媒体技术，为客户在2.5G/2.75G以及 3G 移动网络上提供视音频的流畅传输和播放。我们的产品和解决方案在抗干扰能力，视音频品质和稳定性等方面远远超过传统的技术，将帮助广大手机用户随时随地享受到手机交互式多媒体的乐趣。
会议日程 （最终日程以会议现场为准）
线上：长期开课
线下北京、上海定期开课
(最近一次培训时间：北京6月22-25日Cloudera Developer training for Spark and Hadoop(CCA-175) ，上海6月27-30日Cloudera Developer training for Spark and Hadoop(CCA-175))
会议嘉宾 （最终出席嘉宾以会议现场为准）
Cloudera认证讲师
参会指南
会议门票
场馆介绍
参会费：?7360
上海长阳谷
交通指南：轨道交通12号线宁国路站2号出口；距轨道交通4号线、8号线10分钟车程；公交站：长阳路临青路、黄兴路长阳路、宁国路河间路、长阳路宁武路；公交线路：8、22、137、538、842、843、868、934、申川专线；
“长阳谷”又称上海市长阳谷五角场高新技术产业园、五角场高新技术产业园长阳谷基地，位于上海市杨浦区长阳路1687号（近黄兴路）。长阳谷一期规划总建筑面积约50000平方米，园区内有中心绿地约7000平方。整体呈现为院落式布局，由大小7幢建筑构成。园区交通便利，邻近内环，离地铁12号线车站（宁国路站）仅200米，周边有多个公交车站。长阳谷创意产业园园区建筑可根据企业办公性质自由分割，有部分办公区域为loft结构，张弛有度；底层为园区配套商业，为园区企业提供便利服务。周边成熟的环境对本园区形成辐射，带动本区域的办公氛围。
上海碧茂信息科技有限公司
最新事件
