热搜:NVER node 开发 php

如何对大批量用户日志数据统计筛选啊

2024-09-04 11:20:01
如何对大批量用户日志数据统计筛选啊

比如 100W用户

现在表是这样设计的:
表a  是100W用户基本信息(uid唯一)
uid,name,地区,服务商....


表b 每个用户有100条左右数据,即100W*100=1亿数据。每条数据内容包括(用户ID,打开时间,关闭时间)
uid,time1,time2
uid,time1,time2
...

需求:统计24小时段用户数  并且可 根据某地区 and 某服务商 统计


回复讨论(解决方案)

24小时段用户数 是指什么,举例说明一下。

1亿数据不算多,但是要建立合理的索引。

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。

   

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。

建立索引和将数据缓存起来都是个优化方法

24小时段用户数 是指什么,举例说明一下。
如:1.txt
uid     打开时间   关闭时间
1       00:00      10:00
1       16:00      16:30
1       17:20      17:10
...
2.txt
uid     打开时间   关闭时间
2        01:01      01:26
...
1个文件代表1个用户,每个文件大概有100行的数据。根据开关时间来统计24小时段的在线用户数啊


1亿数据不算多,但是要建立合理的索引。
索引是指什么索引啊?表字段索引吗?我现在将数据分表存储,每个表上加上字段索引,不知道是否合理

每日做一次,然后将统计结果放入一个表记录,下次直接重表中读取,不用每次都统计。
哦,谢谢!我现在将分表内容存入一个表中,下次直接读这个统计表数据。