西安NoSQL数据库开发培训 2023-03-24 17:27:45

时间

主题

内容见要

天

海量数据处理系统

的架构设计

这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。

• 海量数据处理的系统场景
• 大数据时代的数据架构解决方案
• 海量数据处理的架构汇总
• 8种海量数据处理的架构设计比较
• HBase在复杂数据体系中的位置
• HBase如何与其他海量数据处理系统协同
• 分布式系统架构的海量数据处理设计
• 海量数据处理设计

典型案例分析：结合一个500强实时数据系统的实例案例进行分析，详细分析海量数据处理的架构设计

NoSQL的实践应用

HBase与其他NoSQL的共存及其主要应用场景分析

• NoSQL综述解决的实际问题
• 关系数据库暴露的问题
• High performance并发要求
• Huge Storage的存取
• High Scalability的服务器分布要求
• High Availability的服务器健壮要求
• 关系型数据库失效的场景
• NoSQL与关系型数据库设计理念比较
• HBase与关系型数据库的协作
• HBase的优劣及其与关系型数据库的差异与区别
• NoSQL设计模型分析
• K-V模型的Column设计
• Document模型的B Tree设计
• Object模型的基于Object数据访问设计
• NoSQL实例分析
• Apache Hbase架构解析
• Facebook Cassandra架构解析
• Google BigTable架构解析
• NoSQL中Memcache与Redis的应用场景
• NoSQL中MongoDB的应用场景
• NoSQL中Hadoop, Spark的应用场景
• 主流NoSQL的产品差异比较
• 综合应用NoSQL的解决方案处理复杂环境数据高负载，高并发， 高性能的数据体系
• HBase的应用场景实践解析及其解决的业务问题
  • 海量数据写入
  • 消息类（类似Facebook的message）
  • Schema-free
  • LOG-Append类的业务
  • 大表的复杂/多维度索引
  • 分析类
  • 大批量读取
• HBase的数据场景实践解析
  • HBase表数据量的范围
  • HBase的数据操作类别
  • HBase的读写场景
  • HBase的排序场景
  • HBase不适宜的技术场景

典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析NoSQL的综合开源架构应用多种NoSQL的产品集合应用

典型案例分析：结合一个大型互联网系统的实例案例进行分析，详细分析HBase的主要应用场景及其解决的业务问题

Hadoop作为HBase的重要基石-HBase的存储架构

• 文件存储-HDFS
• HDFS-工作原理
• 分布式Hadoop HDFS的集群搭建与部署
• HDFS核心架构分析
• Hadoop HDFS读/写文件快速解析
• HBase与分布式Hadoop HDFS的关系
• 如何基于Hadoop HDFS构建HBase
• 基于Hadoop HDFS的HBase存储模型
• HBase的三层索引结构
• HBase的Row Base设计思想
• HBase存储的逻辑视图与物理视图
• HBase表的Row key键、Column Family列族、Cell qualifier列族修饰符（列）、Timestamp时间戳、Region区域、HBase锁 解析
• HBase物理存储模型的核心架构
• HRegin与HTable的关系及其核心架构分析
• HFile格式分析
• HFile的6个组成部分
• HLog 分析
• 三层B+树的扩展LSMTree
• Compact与Splite对性能的影响
• 如何优化HBase的存储

课堂演练：学员搭建一个基本的HBase通过HBase的文件体系， 了解HBase的存储过程，并针对不同业务场景尝试优化HBase存储

第二天

HBase集群架构搭建及实践案例沙盘演练

• HBase版本介绍与选择
• HBase部署实践
• 系统环境配置
• HBase进程分布规划与启动
• HBase Region Server
• 基于HBase的命令总结
• HBase高阶使用操作
• HBase集群架构搭建方法
• HBase集群架构性能管理
• 去中心化的HBase单点问题改进
• HBase的调优和节点扩展实践
• 主要调优工具和性能监控工具
• HBase集群对于硬件的要求和选型
• HBase集群中对硬件、操作系统的调优方法
• 实际案例分析
• ZooKeeper与HBase
• HBase Master与Region Server
• ZooKeeper在HBase集群中的应用方式
• 基于HBase的集群解决方案
• 典型案例分析：结合一个大型商业系统的实例案例分析及演练HBase集群架构搭建过程
• 课堂演练：学员搭建一个HBase与ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之间的关系， 及HBase的高阶操作与优化

HBase架构及实践案例沙盘演练

• 为什么实用Hadoop/HBase
• Hadoop的架构体系与HBase的应用关系
• HBase的核心设计机制
• HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值
• 开发环境准备
• Eclipse与HBase的集成
• HBase进行数据读、写操作
• 基于的API编程模型及其开发演练
• 关系型数据库与HBase
• HBase的Client端
• HBase架构分析
• 基于HBase项目架构设计
• 入库和查询的设计与实现
• 髙实时性，大并发下HBase的数据处理解决方案
• 案例演练HBase的主体特性
• Features:Scalability实现
• HBaseFeatures:Column-Oriented实现
• High Performance Random R/W实现
• HBase Features: Scan Search实现
• HBase Features: High‐Availability实现

典型案例分析：结合一个500强实时数据采集系统的实例案例进行分析，详细分析HBase的开源架构应用及其使用场景与整体系统架构的结合

典型案例分析：通过HBase API完成一个复杂数据系统的操作过程

课堂演练：学员通过HBase API完成一个消息系统的HBase代码

第三天

HBase 的表结构设计

• 依据于业务的HBase表结构设计的基本思想
• 基于星核结构的思想进行的HBase表结构设计
• 数据双写的设计
• 索引表的设计
• Rowkey的设计建议
• Rowkey非单一ID
• Rowkey为组合性
• 如何通过Rowkey覆盖查询场景
• 创建分词索引表
• 交互性应用消息的表结构设计
• 无结构化数据的表结构设计
• Column Family的设计
• 缓存表的设计

典型案例分析：结合一个大型互联网电商系统的实例案例进行分析，详细分析HBase的表结构设计

课堂演练：学员通过HBase API完成一个类似于滴滴打车的高并发系统的HBase表结构设计

HBase DB性能优化

• 基于HBase的ZooKeeper优化
• HBase的Region Server优化
• HBase的存储文件优化
• HBase的缓存优化
• HTablePool的设计
• HBase写速度优化的7个实践
• HBase读速度优化的6个实践
• HBase客户端的读写优化
• 如何调整业务访问HBase的方式，从而整体优化HBase的应用性能
• HBase的表结构设计优化

典型案例分析：结合一个500强实时数据采集系统的应用数据， 对HBase进行性能测试， 演示不同优化对于HBase性能的影响

HBase综合案例演练

一个大型的实例大数据项目：

具备掌握HBase大数据应用系统的完整 架构设计，具备项目的分析、开发、部署的全过程的能力，贯穿前面课程的主要内容，使大家熟悉一个完整大数据项目的分析、架构设计、开发、优化、部署的全过程。