博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据架构分析
阅读量:2200 次
发布时间:2019-05-03

本文共 790 字,大约阅读时间需要 2 分钟。

1.典型应用

   * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节

    见个人日记 http://www.cnblogs.com/fei33423/diary/2017/07/13/7160903.html

   * 监控统计

   * 报表展现

   * 异常检测 余弦定理 ,Apollo采用箱线图(Boxplot)

2. cboard 前端展现平台, 拖拽

 

维度就是 mysql 里的 group by

 

类比:

谈谈互联网后端基础设施

www.rowkey.me/blog/2016/08/27/server-basic-tech-stack/

 

文件系统:

    hdfs

数据库:

   hbase phoenix 提供 sql 操作, join 缺失 https://github.com/forcedotcom/phoenix

计算系统:

   hive

sql管理和定时执行平台:

      阿里宙斯zeus.(自称调度,并没有资源协调功能,有hive本身完成.. )  查询数据,插入到数据库中. 数据库本身提供变动发送mq.

统计分析和展现平台:

      大数据分析神兽麒麟(Apache Kylin) -- 全套. 含数据抽取 .全量数据统计, 各个维度都帮你计算好 .维度就是 mysql 的 groupby

      CBoard 展现. 各种图表 CBoard 前端.

      zeppeline 类似cbord.

     cboard 只是展示, 没有环比,同比监控.  

     open-falcon  cboard

    Tableau 大数据分析 druid  dataiku 很方便进行数据分析,筛选. 自动化报表查询,可视化. 分布饼图.

转载于:https://www.cnblogs.com/fei33423/p/7160943.html

你可能感兴趣的文章
Intellij IDEA使用(十四)—— 在IDEA中创建包(package)的问题
查看>>
FastDFS集群架构配置搭建(转载)
查看>>
HTM+CSS实现立方体图片旋转展示效果
查看>>
FFmpeg 命令操作音视频
查看>>
问题:Opencv(3.1.0/3.4)找不到 /opencv2/gpu/gpu.hpp 问题
查看>>
目的:使用CUDA环境变量CUDA_VISIBLE_DEVICES来限定CUDA程序所能使用的GPU设备
查看>>
问题:Mysql中字段类型为text的值, java使用selectByExample查询为null
查看>>
程序员--学习之路--技巧
查看>>
解决问题之 MySQL慢查询日志设置
查看>>
contOS6 部署 lnmp、FTP、composer、ThinkPHP5、docker详细步骤
查看>>
TP5.1模板布局中遇到的坑,配置完不生效解决办法
查看>>
PHPstudy中遇到的坑No input file specified,以及传到linux环境下遇到的坑,模板文件不存在
查看>>
TP5.1事务操作和TP5事务回滚操作多表
查看>>
composer install或composer update 或 composer require phpoffice/phpexcel 失败解决办法
查看>>
TP5.1项目从windows的Apache服务迁移到linux的Nginx服务需要注意几点。
查看>>
win10安装软件 打开时报错 找不到 msvcp120.dll
查看>>
PHPunit+Xdebug代码覆盖率以及遇到的问题汇总
查看>>
PHPUnit安装及使用
查看>>
PHP项目用xhprof性能分析(安装及应用实例)
查看>>
composer安装YII
查看>>