分享一份采集了一年的数据

1次阅读

共计 1510 个字符,预计需要花费 4 分钟才能阅读完成。

背景

每天摸鱼就是刷刷知乎还有微博,但是随着国内内容站的质量下滑,以及作恶,强制下载客户端查看,所以渐渐的不想打开这些软件,慢慢的每天就只看一下热榜,追一下热点新闻,所以就想提升效率,做个页面直接查看微博和知乎的热榜。市场上现有的热榜网页有很多,但是都没有符合我的需求:

  1. 可以一个页面查看我需要站点的热门榜单
  2. 可以看到热门的趋势图
  3. 有极速上升的热点,能主动及时通知我
  4. 可以对每日、每周、每月的热点自定义生成总结报告
  5. 手机端友好

所以我自己写了个网页:

https://huoju.info/

但是,近一年工作、生活上有很多事情,上面的需求基本没有完成,不过数据已经采集了近一年了,不想让这数据浪费,所以分享出来。

数据应用

目前只是做了趋势的展示

比如今天知乎关于大 A 的提问 https://www.zhihu.com/question/788585736

查看热点趋势:
https://huoju.info/hot/zhihu/788585736

可以看到 12:30 左右有一个明显的断崖,这种就是被限流的问题。

还有很多有意思的使用方式,但是个人精力有限,所以一直没有搞。

想交流的伙伴可以邮箱 [email protected] 联系

Release

https://github.com/zzjcool/huoju-data/releases

数据库文档

表: HotType

用途 : 存储热榜类型的基本信息。

字段名 数据类型 索引 注释
id bigint primary key 主键
type_name varchar(16) unique index 站点名称
refresh_time int 刷新时间

表: Hot

用途 : 存储具体的热榜条目。

字段名 数据类型 索引 注释
id bigint primary key 主键
type_id int unique index (type_key) 热榜类型
unique_key varchar(64) unique index (type_key) 唯一标识
title varchar(255) index (idx_title) 标题
content text 内容
link varchar(255) 链接
image_link varchar(255) 图片链接

表: Rank

用途 : 存储热榜条目的排名和热度指标。

字段名 数据类型 索引 注释
id bigint primary key 主键
type_id int index (idx_typename_timestamp) 站点名称
unique_key varchar(64) index 唯一标识
rank tinyint 排名
metric int 热度指标
timestamp int index (idx_typename_timestamp) 时间戳

详细说明

  • HotType 表

    • id: 主键,自动生成。
    • type_name: 站点名称,长度为 16 个字符,唯一索引。
    • refresh_time: 刷新时间,整数类型。
  • Hot 表

    • id: 主键,自动生成。
    • type_id: 热榜类型,整数类型,和 unique_key 组成唯一索引。
    • unique_key: 唯一标识,长度为 64 个字符,和 type_id 组成唯一索引。
    • title: 标题,长度为 255 个字符,索引 idx_title
    • content: 内容,文本类型。
    • link: 链接,长度为 255 个字符。
    • image_link: 图片链接,长度为 255 个字符。
  • Rank 表

    • id: 主键,自动生成。
    • type_id: 站点名称,整数类型,索引 idx_typename_timestamp
    • unique_key: 唯一标识,长度为 64 个字符,索引。
    • rank: 排名,tinyint 类型。
    • metric: 热度指标,整数类型。
    • timestamp: 时间戳,整数类型,索引 idx_typename_timestamp
正文完
 0