西安大数据培训 2021-01-13 13:20:59
课程介绍
发布日期：2021-01-13 13:20:59
西安IT培训为学员设置大数据培训班，玩转大数据全栈研发、二次开发，解决企业疑难杂症，好程序员大数据+人工智能授课技术点广而全、深而精，全面掌握任务调度，解决几乎任何形式数据的存储，高级数仓工程师、架构师必备技能。
无人驾驶技术：如何实现在车水马龙中自由行驶？
应用原理：大数据进行数据的基础性分析、集成系统、专家系统、机器学习及深度学习，包括自然语言处理、语音识别、人机交互等
大数据+人工智能应用案例：人脸识别到底是怎么工作的？
应用原理：基于大数据Spark的特征选取，人脸特征的分类模式，同时是机器学习CV方向的一个重要应用。
大数据+人工智能应用案例
AlphaGo为何能在：围棋人机大战中打败李世石？
应用原理：大数据分析—>数据清洗、AI—>机器学习及深度学习、人机交互
大数据+人工智能应用案例
滴滴出行打车APP：如何实现智能派单？
应用原理：大数据计算框架—>Spark技术、Storm实时计算
项目库项目数量：20个
业务线：30条
课程项目：
伴我汽车(电商平台-离线)
共享汽车（共享平台-离线）
某省交通平台(交通行业-实时数仓)
某牛旅游平台(旅游平台-综合)
某广告投放(广告平台)
某p2p平台(理财平台)
数据地图项目(数据治理平台)
物流平台(某高效运营支撑分析平台)
通信行业(中国移动)
1.1.1班主任讲话1.1.2负责人讲话1.1.3讲师讲话1.1.4摸底考试...
1.3-流程控制
1.3.1分支流程控制-if 1.3.2分支流程控制-switch 1.3.3循环流程控制-while...
1.5-数组
1.5.1数组的定义与元素访问1.5.2数组的内存分析1.5.3数组的常见操作...
1.7-面向对象进阶
1.7.1包(package)的创建与使用1.7.2构造方法1.7.3代码块...
1.9-多态
1.9.1对象的转型1.9.2 instanceof关键字1.9.3抽象类与抽象方法...
1.11-包装类型与常用类
1.11.1包装类型1.11.2常用类1.11.3枚举...
1.13–字符串
1.13.1 String类常用方法1.13.2 StringBuffer/StringBuffer的常用方法1.13.3正则表达式...
1.15–多线程基础
1.15.1多线程概念1.15.2并发与并行1.15.3创建线程的方式...
1.17–IO流
1.17.1流的基础1.17.2流的分类1.17.3字节流...
1.19-反射
1.19.1 Class类1.19.2 Class获取对象的三种方式1.19.3 Constructor构造方法...
1.21-MySql
1.21.1 SQL简介1.21.2 SQL表的概念1.21.3数据库的安装卸载...
1.23阶段考试
1.25 linux中软件安装
1.25.1软件安装介绍1.25.2二进制安装1.25.3 rpm安装...
1.27 awk
1.27.1 awk简介1.27.2使用方法1.27.3入门实例...
1.2-基础语法
1.2.1计算机理论介绍1.2.2编程基础--进制分类，进制转换等1.2.3什么是Java 1.2.4常用DOS命令...
1.4-方法
1.4.1方法的定义与调用1.4.2方法的参数与返回值1.4.3方法的重载...
1.6-面向对象入门
1.6.1面向对象与面向过程1.6.2类的设计1.6.3对象的实例化...
1.8-继承
1.8.1继承基本的概念1.8.2继承中的特点1.8.3继承中的构造方法...
1.10-设计模式
1.10.1单例设计模式1.10.2工厂设计模式1.10.3 Lambda表达式...
1.12–异常
1.12.1异常定义1.12.2常用结构.1.12.3 finally关键的应用...
1.14-集合框架
1.14.1集合框架Collection 1.14.2集合中元素排序1.14.3 Collections工具类...
1.16-线程高级
1.16.1线程生命周期1.16.2临界资源问题1.16.3同步代码段synchronized关键字...
1.18-Socket网络编程
1.18.1 TCP 1.18.2 Socket 1.18.3 ServerSocket...
1.20–其他
1.20.1代理模式1.20.2注解1.20.3 Junit...
1.22-JDBC
1.22.1 JDBC概述1.22.2 JDBC原理1.22.3 JDBC的实现...
1.24 linux的基础
1.24.1 linux的主要特性1.24.2常用的linux版本1.24.3 Vmvare的安装...
1.26 shell脚本
1.26.1 Shell介绍1.26.2 Shell运行环境和运行方式1.26.3变量...
2.1.1 Consistency一致性2.1.2 Availability可用性2.1.3 Partition tolerance分区容忍性2.2.4数据量分布
2.3一致性、2PC和3PC
2.3.1一致性2.3.2 2PC流程2.3.3 3PC流程2.3.4一致性算法
2.2数据分布方式
2.2.1哈希方式2.2.2一致性哈希2.2.3范围分布2.2.4数据量分布
2.4大数据集成架构概述
2.4.1大数据架构简介
3.1.1 zk的概念3.1.2 zk架构3.1.3 zk读写...
3.3数据存储alluxio(1T)
3.3.1 alluxio应用场景及架构组成3.3.2 alluxio存储管理3.3.3 alluxio with spark...
3.5数据采集logstash
3.5.1 Logstash介绍3.5.2 Input组件介绍3.5.3 Filter组件介绍...
3.7数据同步datax(0.5T)
3.7.1 datax简介3.7.2 datax核心架构3.7.3 datax插件介绍...
3.9计算模型MR与DAG(1T)
3.9.1 MR计算模型及流程3.9.2 DAG计算模型流程3.9.3 MR过程及调优...
3.11 Impala(1T)
3.11.1 impala简介3.11.2 impala架构3.11.3 impala工作原理...
3.13任务调度airflow
3.13.1 airflow简介3.13.2执行器3.13.3架构...
3.2数据存储hdfs(2T)
3.2.1 hdfs应用场景与架构组成3.2.2 hdfs HA环境搭建3.2.3 hdfs元数据瓶颈及解决...
3.4数据采集flume(1T)
3.4.1 flume简介-基础知识3.4.2 flume安装与测试3.4.3 flume部署方式...
3.6数据同步Sqoop(0.5T)
3.6.1 Sqoop简介以及使用3.6.2 Sqoop shell使用3.6.3 Sqoop-import...
3.8数据同步mysql-binlog(1T)
3.8.1 mysql-binlog简介3.8.2启停binlog 3.8.3常用binlog日志操作命令...
3.10 hive(5T)
3.10.1 Hive是什么3.10.2 Hive的特点3.10.3 Hive架构简述...
3.12任务调度Azkaban(1T)
3.12.1 Azkaban简介3.12.2 Azkaban和oozie的对比3.12.3 Azkaban server安装配置...
4.1.1数仓的历史4.1.2数仓的背景4.1.3数仓的定义...
4.3多维数据模型处理kylin(3.5T)
4.3.1 kylin的概览4.3.2安装部署4.3.3集群模式部署...
4.2离线数仓项目-伴我汽车(5T)
4.2.1项目业务描述4.2.2项目技术4.2.3项目架构...
4.4离线数仓项目-伴我汽车升级
4.4.1加入kylin进行多维分析3.7.2 datax核心架构3.7.3 datax插件介绍...
5.1.1计算引擎介绍5.1.2计算引擎分类...
5.3 spark
5.3.1大数据架构体系5.3.2架构详解5.3.3 Spark集群介绍...
5.5数据存储redis
5.5.1什么是NoSQL 5.5.2 NoSQL数据库的分类5.5.2 NoSQL数据库的分类...
5.7离线项目-某p2p平台
5.7.1项目描述5.7.2项目技术5.7.3 spark多数据源读写...
5.2 scala语言(4T)
5.2.1变量的声明5.2.2数据类型和操作符5.2.3 if流程控制...
5.4数据存储hbase
5.4.1 Hbase来源5.4.2 Hbase的架构5.4.3 Hbase集群搭建...
5.6 Kudu
5.6.1 kudu简介5.6.2 kudu架构/原理5.6.3 kudu底层数据模型...
5.8第二阶段考试
6.1.1 Kafka的基本概念6.1.2 Kafka的发展历史6.1.3 Kafka的应用背景...
6.3流式数据处理flink(6T)
6.3.1 flink应用场景及架构组成6.3.2 flink流式处理6.3.3 flink sql...
6.5流式处理项目-某交通大数据平台(5T)
6.5.1实时场景处理业务数据6.5.2可以进行数据明细的全文查询6.5.3实时累计业务统计...
6.2实时数仓druid(5T)
6.2.1 druid应用场景及架构组成6.2.2 druid内部流程6.2.3 druid数据摄取...
6.4 SparkStreaming(2T)
6.4.1 Spark Streaming概述6.4.2 Spark Streaming的原理介绍6.4.3 Spark Streaming与Storm对比...
6.6第三阶段考试
7.1.1全文检索技术简介7.1.2 ES安装配置入门7.1.3 ES插件安装7.1.4 ES基本操作
7.1 elasticsearch
7.1.9 CURL操作REST命令7.1.10 Windows安装CURL 7.1.11创建索引7.1.12 RestApi：练习
7.1 elasticsearch
7.1.17更新文档数据7.1.18删除文档数据7.1.19条件查询QueryBuilder 7.1.20 queryStringQuery搜索内容查询
7.1 elasticsearch
7.1.25 regexpQuery正则表达式查询7.1.26 matchAllQuery查询所有数据7.1.27 K分词器集成ES 7.1.28 ES常用编程操作
7.1 elasticsearch
7.1.33查询文档分页操作7.1.34得分（加权）7.1.35在Query的查询中定义加权7.1.36在Field字段的映射中定义加权
7.1 elasticsearch
7.1.5 Index的概念7.1.6 Document的概念7.1.7 Type的概念7.1.8 map映射的概念
7.1 elasticsearch
7.1.13使用Java操作客户端7.1.14新建文档（自动创建索引和映射）7.1.15搜索文档数据（单个索引）7.1.16搜索文档数据（多个索引）
7.1 elasticsearch
7.1.21 wildcardQuery通配符查询7.1.22 termQuery词条查询7.1.23 boolQuery布尔查询7.1.24 fuzzyQuery模糊查询
7.1 elasticsearch
7.1.29索引相关操作7.1.30映射相关操作7.1.31文档相关操作7.1.32 IK分词器自定义词库
7.1 elasticsearch
7.1.37过滤器7.1.38范围过滤器7.1.39布尔过滤器
8.1.1数据标准8.1.2数据分类8.1.3数据建模...
8.3元数据、血缘及数据质量
8.3.1元数据及血缘构建8.3.2基于Hive Hook的元数据及血缘构建8.3.3 Apache Atlas开源元数据及血缘管理框架介绍...
8.4 Hive Hook
8.5 Spark Listener...
8.6 JanusGraph
8.7数据治理项目-数据地图(5T)
8.7.1项目描述8.7.2项目选型8.7.3项目实现...
9.1.1 Superset简介9.1.2 Superset编译9.1.3 Superset安装9.1.4创建数据源9.1.5添加数据表9.1.6表操作9.1.7数据探索分析9.1.8数据可视化9.1.9可视化图表类型选择9.1.10数据时间范围9.1.11自定义
9.2 Graphna(RealTime)
9.2.1 grafana简介9.2.2 grafana安装部署9.2.3 grafana特征9.2.4数据源9.2.5快捷键9.2.6插件9.2.7 http的api
10.1.1微分学与梯度下降10.1.2数学分析与概率论10.1.3数理统计与参数估计10.1.4线性代数与信息论10.1.5凸优化...
10.2 Spark MLlib机器学习算法库
10.2.1机器学习框架—假设函数、目标函数和最优函数10.2.2特征工程—数值型特征、类别型特征和有序特征10.2.3离散化处理10.2.4读热向量编码10.2.5 TF-IDF权重...
10.3 Python scikit-learn机器学习算法库
10.3.1回归与分类算法(理论上)10.3.2回归与分类算法(代码实战下)10.3.3支持向量机(理论上)10.3.4支持向量机(实战下)10.3.5决策树(Decision Tree)—>ID3、C4.5、Gini系数(理论上)...
10.4机器学习结合大数据项目
10.4.1《金融风控领域用户贷款信用评分预测》10.4.2《搜狗知识图谱》...
项目介绍：伴我汽车是一个汽车买卖、租赁和保养相关服务综合性服务平台，综合分析用户对汽车各项服务需求。对整个平台买卖业务、租赁业务、保养业务等进行统计，将统计结果供运营和分析团队，最终促进整个平台良好发展。
项目架构：·数据采集：flume·数据同步：sqoop/datax·数据存储：hdfs·数据计算：hive·任务调度：azkaban
共享平台离线：
项目介绍：监控用户出行用车情况，实时计算停车位、待服务车辆数、报修车辆数、违规次数等，为用户提供更加高效和优质的用车体检。
项目架构：·数据采集：flume·数据同步：sqoop/datax·数据存储：hdfs·数据计算：hive·任务调度：azkaban·多维分析：kylin
交通行业-实时数仓：
项目介绍：通过交通出行记录和卡口实时数据，监控全省内车辆、道路通行和事故等状况，避免拥堵、避免交通事故、精准测速、防止套牌和提供便捷出行方案，预测拥堵系数，为全省各级提供最优道路规划方案。
项目架构：·数据采集：flume/kafka·数据存储：hdfs·数据计算：druid·任务调度：airflow·实时展示：Superset
旅游平台综合：
项目介绍：某牛旅游平台，以旅游为主，集成酒店、交通、景区、保险等信息资源。通过对各业务进行统计分析，充分了解用户，了解各服务，从而更好服务于用户。
项目架构：·数据采集：flume/kafka/canal·数据存储：hdfs·数据计算：hive/spark/druid·任务调度：azkaban·数据服务：spring boot·数据展示：echarts
数据治理平台：
项目介绍：随着网络和智能终端的普及带来了海量人群的上网行为数据，大数据技术的发展让细分人群的特性成为可能。为高效将海量的数据呈现在不同人群面前，广告投放数据的分析变得越来越普及。
项目架构：·数据采集：flume/kafka·数据存储：hdfs/ElasticSearch·数据计算：spark·任务调度：azkaban·数据服务：spring boot·数据展示：echarts
广告平台：
项目介绍：个人和企事业资金需求，催生联网金融迅猛发展，而国家金融体现管监待待成熟，企业需要自主把控风险，并通过有效的营销和切实的安全保障机制，不断吸引投资，优化借贷，提升盈利能力。
项目架构：·数据采集：flume/kafka·数据存储：hdfs·数据计算：hive/spark streaming·任务调度：airflow·实时展示：Superset
理财平台：
项目介绍：数据激增，各企事业单位大数据项目落地，但大数据项目中所涉及数据质量、元数据管理越来越成为企业焦点，
数据地图项目旨在二次开和借助现有开源软件共同去管理大数据项目中数据质量和元数据。
项目架构：·数据来源：mysql·数据存储：hdfs/neo4j/janusgraph·数据计算：hive hook/griffin·实时展示：Graphana
某高效运营支撑分析平台：
项目介绍：网购成熟，更加离不开物流，但是物流企业众多，根据物流数据合理选择配送物流，物流业务进行合理的配送，这将会大大降低物流成本，从而降低整个购物成本，为企业获取更高利益。
项目架构：·数据采集：flume·数据同步：sqoop·数据存储：hdfs·数据计算：hive/spark·任务调度：azkaban·数据服务：spring boot·数据展示：echarts
中国移动：
项目介绍：通信让世界变得触手可及，充值是通信行业一大业务，充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用，接口故障监控也成为了重点监控的内容之一。为此建设一个能够实时监控全国的充值情况的平台，掌控全网的实时充值，各接口调用情况意义重大。
项目架构：·数据采集：kafka·数据存储：hdfs/redis·数据计算：hive/spark streaming/flink·任务调度：azkaban·数据服务：spring boot·数据展示：echarts
上一篇:物联网培训
下一篇:软件测试培训
