飞雪团队

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 11801|回复: 14

Spark企业级项目实战:实时流量监控系统

[复制链接]

4095

主题

4183

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
14535
发表于 2019-5-24 19:53:11 | 显示全部楼层 |阅读模式
下载地址
下载地址: 加入VIP查看下载地址!

本项目主要采用目前大数据领域最成熟的实时计算框架Spark,它是目前主流企业在实时计算方向采用的主流框架。本项目使用了Spark技术生态栈中的三个技术框架:SparkCore、SparkStreaming和SparkMLlib,进行道路交通实时流量监控预测系统的开发。业务实现包括数据产生模块、数据实时收集处理模块、特征数据提取模块、模型预测模块、数据存储模块。

陶睿,大讲台大数据特聘讲师|国有企业智能交通大数据高级工程师,在国有企业以及一线互联网公司从事过大数据开发和架构工作,负责过多个大型大数据系统的架构和开发。精通Hadoop、Storm、Spark等大数据技术。有丰富的企业内部技术分享、技术培训和技术讲座的经验。

大讲台spark培训课程大纲之Spark企业级项目实战之交通实时流量监控

需求分析

1、项目背景

2、总体业务要求

3、难点分析

数据收集

1、数据采集阶段技术对比

2、项目中数据采集技术Kafka

3、Kafka安装及基本操作

4、Kafka的API操作及项目中应用

数据流处理

1、数据实时处理阶段技术拓展Storm

2、SparkStreaming实用项目解决方案

3、SparkStreaming项目中性能调优

数据快速存取

1、项目存储工具Redis

2、Redis部署、基本操作及项目中使用

模型建立

1、项目机器学习算法库Mllib

2、Mllib基本数据格式

3、项目中实际模型选择

整体解决方案设计

1、产品功能的简单介绍

2、架构设计

3、技术选型

4、部署方案

5、模块设计划分

部署及代码实现

1、测试环境介绍

2、分析模块实现1--数据产生

3、分析模块实现2--数据实时收集处理模块

4、分析模块实现3--特征数据提取及模型预测

5、分析模块实现4--模型预测

6、项目调优

项目总结


下载地址:
游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

0

主题

210

帖子

1446

积分

VIP会员

积分
1446
发表于 2019-5-25 10:34:12 | 显示全部楼层
回复 支持 反对

使用道具 举报

0

主题

995

帖子

3805

积分

VIP会员

积分
3805
发表于 2019-5-26 14:08:45 | 显示全部楼层
Spark企业级项目实战:实时流量监控系统
回复 支持 反对

使用道具 举报

0

主题

218

帖子

541

积分

VIP会员

积分
541
发表于 2019-5-26 18:17:13 | 显示全部楼层
回复 支持 反对

使用道具 举报

0

主题

191

帖子

1359

积分

VIP会员

积分
1359
发表于 2019-6-2 10:34:03 | 显示全部楼层
回复

使用道具 举报

0

主题

195

帖子

515

积分

VIP会员

积分
515
发表于 2019-6-8 12:26:45 | 显示全部楼层
       
参与/回复主题关闭
RE: Spark企业级项目实战:实时流
回复 支持 反对

使用道具 举报

0

主题

140

帖子

1386

积分

VIP会员

积分
1386
发表于 2019-6-9 09:47:21 | 显示全部楼层
回复 支持 反对

使用道具 举报

0

主题

148

帖子

1257

积分

VIP会员

积分
1257
发表于 2019-6-16 23:37:09 | 显示全部楼层
回复 支持 反对

使用道具 举报

0

主题

143

帖子

1187

积分

VIP会员

积分
1187
发表于 2019-8-15 12:15:32 | 显示全部楼层
66666666666666666666666666666666
回复 支持 反对

使用道具 举报

0

主题

101

帖子

215

积分

VIP会员

积分
215
发表于 2019-9-23 02:16:39 | 显示全部楼层
park企业级项目实战:实时流量监控系统 [
回复 支持 反对

使用道具 举报

懒得打字嘛,点击右侧快捷回复 【右侧内容,后台自定义】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|飞雪团队

GMT+8, 2022-5-29 19:16 , Processed in 0.069825 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表