密码保护:(2016年) 华阳公司大数据架构设计

2016-11-18

华阳信通大数据架构图展示 一、服务器抽取mysql数据源的shell脚本 抽取mysql数据库源数据准备 Shell yestoday=`date -d "1 day ago" +"%Y-%m-%d"` year=`date -d "now" +"%Y"` echo '' > /apps...

密码保护:(十月公司大数据架构设计)成熟性

2016-02-26

Hadoop三期报表后台详细流程 说明:Hadoop报表后台使用5台liunx服务器1台MySQL服务器,源数据通过mycollect接口每天凌晨写文件到10.3.1.4、8、10、25、26服务器上,Hadoop集群是每天凌晨25分执行定时脚本, 一、在hadoop服务器上通过...

密码保护:(七月)公司大数据架构设计 进阶性

2015-09-11

hadoop集群报表分析项目 原始流程: 通过SDK包将用户的数据(包括游戏行为、支付、时长数据等)调用相关接口上传至服务器并保存至数据库(oracle),在数据库中采用定时存储过程的方式每天凌晨之后根据特定条件分析(清洗数据),分析...

密码保护:(六月)公司大数据架构设计初始性

2015-08-18

hadoop集群报表分析项目 关键字解释: 原始表: 保存通过客户端上传数据的表,原始表中保存的数据称为原始数据 结果表: 保存原始数据根据特定条件分析后得出的数据的表。 原始流程: 通过SDK包将用户的数据(包括游戏行为、支付、时...