陌陌聊天数据案例分析

🕗 发布于 2024-07-24 03:50 hadoop hive mysql

背景介绍和需求分析

陌陌是一个聊天平台，每天都会产生大量大聊天数据，通过对聊天数据的统计分析，可以更好的构建用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的决策提供精准的数据支撑。
基于Hadoop和hive实现聊天数据统计分析，构建聊天数据分析报表。
统计今日总消息量、每小时消息量、发送和接受用户数、各地区发送消息数据量、发送消息和接收消息的用户数、发送消息最多的top10用户、接收消息最多的top10用户、发送人手机型号的分布情况、发送人的设备操作系统的分布情况。

基于hive数仓实现需求开发

根据聊天数据建库建表

-- 建立数据库
create database db_msg;
-- 使用数据库
use db_msg;
-- 查看已有数据库
show databases;
-- 建表
create table db_msg.tb_msg_source(
    msg_time string comment '消息发送时间',
    sender_name string comment '发送人昵称',
    sender_account string comment '发送人账号',
    sender_sex string comment '发送人性别',
    sender_ip string comment '发送人ip地址',
    sender_os string comment '发送人操作系统',
    sender_phonetype string comment '发送人手机型号',
    sender_network string comment '发送人网络类型',
    sender_gps string comment '发送人gps定位',
    receiver_name      string  comment "接收人昵称",
    receiver_ip        string  comment "接收人IP",
    receiver_account   string  comment "接收人账号",
    receiver_os        string  comment "接收人操作系统",
    receiver_phonetype string  comment "接收人手机型号",
    receiver_network   string  comment "接收人网络类型",
    receiver_gps       string  comment "接收人的GPS定位",
    receiver_sex       string  comment "接收人性别",
    msg_type           string  comment "消息类型",
    distance           string  comment "双方距离",
    message            string  comment "消息内容"
)
-- 指定分隔符为制表符
row format delimited fields terminated by '\t';

加载数据

从本地文件系统加载数据到表中

-- 从本地文件系统加载数据到表中
load data local inpath '/root/hivedata/data1.tsv' into table db_msg.tb_msg_source;
load data local inpath '/root/hivedata/data2.tsv' into table db_msg.tb_msg_source;

-- 查询表 验证数据文件是否映射成功
select *
from tb_msg_source limit 10;
-- 统计行数
select count(*) as cnt from tb_msg_source;

ETL数据清洗

背景

在使用原始数据做分析时，有些数据的格式等规范对我们的分析不友好。为了让数据对分析具有更强的支撑作用，出现了数据清晰流程。
ETL数据清洗，即数据的抽取、转换、加载。抽取有效合法的数据、把格式调整转换一下。
ETL数据清洗是针对原始数据中出现的一些问题进行针对性的操作。
数据转换的标准：向支撑数据分析的方向调整。

分析原始数据出现的问题

---- ETL数据清洗
-- 问题1：当前数据中有一些数据的字段为空，不是合法数据
select msg_time,sender_name,sender_gps from tb_msg_source where length(sender_gps) = 0 limit 10;

-- 问题2：需求中需要统计每天、每小时的数据量，但是数据中没有天和小时的字段，只有整体时间字段，不好处理
select msg_time
from tb_msg_source limit 10;

-- 问题3：需求中需要精度和维度构建可视化地图，但是数据中只有经纬度一个字段，不好处理
select sender_gps from tb_msg_source limit 10;

ETL实现

-- ETl实现
-- 将select语句的结果保存到新表中
create table tb_msg_etl as
select
       *,
       substr(msg_time,0,10) as dayinfo, --获取天
       substr(msg_time,10,2) as hourinfo, --获取小时
       split(sender_gps,',')[0] as sender_lng, --获取精度
       split(sender_gps,',')[1] as sender_lat --获取纬度
from tb_msg_source
-- 过滤字段值为空的数据
where length(sender_gps) > 0;

-- 验证ETL处理之后的结果
select dayinfo,hourinfo,sender_lng,sender_lat from tb_msg_etl limit 10;

需求指标统计

思路

正确解读需求
确定要查询的表——>from 表
找出分析的维度——>group by 分组的字段
找出计算的指标——>聚合的字段
其他细节点(过滤、排序等)

需求开发

------需求指标统计分析
-- 需求1：统计今日总消息量
create table if not exists tb_rs_total_msg_cnt
comment '每日消息总量'
as -- 以查询结果建表
select
    dayinfo,
    count(*) as total_msg_cnt -- 指标
from tb_msg_etl -- 表
group by dayinfo; -- 维度分组，每天

select * from tb_rs_total_msg_cnt; -- 结果验证

-- 需求2：统计今日每小时消息量、发送和接收用户数
create table if not exists tb_rs_hour_msg_cnt
comment '每小时消息量'
as --以查询结果建表
select
    dayinfo,
    hourinfo,
    count(*) as total_msg_cnt,  -- 每小时消息量
    count(distinct sender_account) as sender_user_cnt, -- 每小时发送用户数
    count(distinct receiver_account) as receiver_user_cnt--每小时接收用户数
from tb_msg_etl -- 表
group by dayinfo,hourinfo; -- 维度，每小时

select * from tb_rs_hour_msg_cnt; -- 结果验证

-- 需求3：统计今日各地区发送消息数据量
create table if not exists tb_rs_loc_cnt
comment '今日各地区发送消息总量'
as
select
    dayinfo, -- 今日
    sender_gps, -- 地区
    cast(sender_lng as double) as longitude,
    cast(sender_lat as double) as latitude,
    count(*)
from tb_msg_etl
group by dayinfo, sender_gps, cast(sender_lng as double), cast(sender_lat as double); -- 维度：今日、地区、经纬度

select * from tb_rs_loc_cnt; -- 结果验证

-- 需求4：统计今日发送消息和接收消息的用户数
create table if not exists tb_rs_usr_cnt
comment '今日发送消息人数、接收消息人数'
as
select
    dayinfo,
    count(distinct sender_account) as sender_usr_cnt,
    count(distinct receiver_account) as receiver_usr_cnt
from tb_msg_etl
group by dayinfo;

select * from tb_rs_usr_cnt;

-- 需求5：统计今日发送消息最多的Top10用户
create table if not exists tb_rs_usr_top10
comment '今日发送消息最多的top10用户'
as
select
    dayinfo,
    sender_name as username,
    count(*) as sender_msg_cnt
from tb_msg_etl
group by dayinfo, sender_name
order by sender_msg_cnt desc --按发送消息降序的顺序排列
limit 10;

select * from tb_rs_usr_top10;

-- 需求6：统计今日接收消息最多的Top10用户
create table if not exists tb_rs_rusr_top10
comment '今日接收消息最多的top10用户'
as
select
    dayinfo,
    receiver_name as username,
    count(*) as receiver_msg_cnt
from tb_msg_etl
group by dayinfo, receiver_name
order by receiver_msg_cnt desc --按发送消息降序的顺序排列
limit 10;

select * from tb_rs_rusr_top10;

-- 需求7：统计发送人的手机型号分布情况
create table if not exists tb_rs_sender_phone
comment '发送人的手机型号分布情况'
as
select
    dayinfo,
    sender_phonetype,
    count(distinct sender_account) as cnt
from tb_msg_etl
group by dayinfo,sender_phonetype;

select * from tb_rs_sender_phone;

-- 需求8：统计发送人的设备操作系统分布情况
create table if not exists tb_rs_sender_os
comment '发送人设备操作系统分布情况'
as
select
    dayinfo,
    sender_os,
    count(distinct sender_account) cnt
from tb_msg_etl
group by dayinfo, sender_os;

select * from tb_rs_sender_os;

基于FineBI实现可视化报表

配置流程

官网下载、注册用户、获取激活码
给Fine BI添加驱动、并安装hive隔离插件隔离驱动
添加数据连接
数据准备，添加分组和业务包
使用仪表板构建可视化报表

构建可视化报表

制作方法：选定图标类型后，把指定的维度和指标拖入指定的位置即可
最多使用：图标类型、图标属性、组件样式、维度、指标

总结

一些基础：
到这里初步学习了大数据的一部分技术栈：Hadoop的HDFS、Yarn、MapReduce，Hive，了解了这些组件的原理和安装配置。
在这之前，也大致熟悉了一些基础知识：Linux操作系统的一些指令、sql语言的一些语法。
业务场景中的重点
在Hive中写一些sql的建库、建表、查询语句
数据的可视化
使用Fine BI进行了数据的可视化，将hive中统计好的数据制作成可视化的报表。

原文地址：https://blog.csdn.net/m0_73755059/article/details/140609259

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：数据结构2—顺序表（附源码）
下一篇：React中的无状态组件：简约之美

推荐系统与大模型
目前大模型在推荐系统取得巨大进展的同时也上主要一些的问题。主要有以下三点。1. Position Bias.在推荐系统的生成语言建模范式中，用户行为序列和推荐候选序列等各种信息以文本序列描述的形式输入
阅读更多2024-11-19
element-ui】使用el_upload上传文件无法动态修改action
问题：最近在使用el_upload上传文件时，发现无法动态修改action的值，进行提交时，caseId2还是默认值null。原因：el-upload的先执行上传，后执行action里的响应，也就是赋
阅读更多2024-11-19
JavaScript 如何获取本机IP地址
获取本机IP地址是前端工程师经常需要处理的问题。JavaScript 有几种方法可以获取客户端的IP地址。下面是三种获取本机IP的方法。
阅读更多2024-11-19
如何用 JavaScript 复制到剪贴板
以上就是几种在 JavaScript 中实现文本复制到剪贴板的方法。随着技术的发展，建议尽量使用最新的异步剪贴板 API，但为了兼容性，可以结合使用方法。希望本文能够帮助你更好地理解和应用这些 API
阅读更多2024-11-19
【第29章】MyBatis-Plus之分页插件
的分页插件提供了强大的分页功能，支持多种数据库，使得分页查询变得简单高效。属性名类型默认值描述overflowbooleanfalse溢出总页数后是否进行处理maxLimitLong单页分页条数限制d
阅读更多2024-11-19
weixin-java-miniapp 微信小程序登陆
1. 用户在小程序中选择使用微信授权登录功能。2. 小程序调用 `` 接口，向发起登录请求。3. 微信服务器验证小程序的合法性，如果合法，会返回一个。4. 小程序。5. 后台服务器接收到 **code
阅读更多2024-11-19
都2023年了，Servlet还有必要学习吗？一文带你快速了解Servlet
不得不说，Servlet 确实是一门古老的技术了，现在很少有公司直接使用 Servlet 来写项目了，大家都在用 SpringMVC-Spring-MyBatis / SpringBoot 做开发了，
阅读更多2024-11-19
掌握Java中集合的交集与并集操作
本文还有配套的精品资源，点击获取简介：集合操作是编程中的基础任务，涉及找出多个集合的共有元素（交集）和所有不同元素的总和（并集）。本文介绍如何在Java中利用 HashSet 和 St
阅读更多2024-11-19
Java 环境配置——Java 语言的安装、配置、编译与运行
正确配置 Java 开发环境是进行 Java 开发的第一步。通过本文的详细介绍，读者应能够在不同操作系统上安装和配置 JDK，并熟练编写、编译和运行 Java 程序。随着技术的发展，Java 生态系统
阅读更多2024-11-19
java 配置多数据源
mysql和clickhouse多数据源配置。
阅读更多2024-11-19