我用 PHP 爬了清水河畔30w数据
in 工匠篇九木侃 with 6 comments and 1159 views

我用 PHP 爬了清水河畔30w数据

in 工匠篇九木侃 with 6 comments

题外话

首先要跟大家道个歉,之前说好的周更一不小心就变成月更。当然了,之所以变成这样,肯定是有原因的啦。比如工作日里公司的事情太多,周末又要奔波于成都各大建材家居市场,所以公众号的推送就被一而再、再而三的搁置了。
不过虽然公众号没有更新,我还是偷偷写了一篇博客,另外还开始维护一个邮箱订阅:

订阅地址:[https://tinyletter.com/luxaole]
为什么还要单独维护一个邮箱订阅呢?其实原因很简单,毕竟不是所有的话题都适合放在具有普适性的公众号或者博客上讲。通过邮箱订阅这个简单的门槛,可以很有效地过滤掉绝大部分非目标读者。另外一方面,邮件可以满足点对点的深入沟通,适合讨论更多有趣的或者隐私性的话题。如果你想订阅,同时也想互动,欢迎复制上面的链接到浏览器中打开。

一个意外

其实另外一个不更新的原因就是前几天我的 MBP 一直被拿来当服务器使,24h 不间断地跑着一个爬虫程序。最终爬了清水河畔378692条数据。
1.jpeg
那另外的30w条数据怎么不爬了呢?不好意思,因为被系统更新打断了。愚蠢的我之前并没有考虑到这种情况,所以没有自动标记中断位置,无法接着之前的进度继续执行。考虑到我这老年机的健康情况,我只好勉强用这已有的37w数据来做做文章了。

话不多书,先看结果

电子科大的同学应该对清水河畔都不陌生,一个具有官方血统的校内 BBS。时政评论、曝光吐槽、二手交易、知识交流、文化娱乐,方方面面应有尽有。
2.jpeg
首先我们得到了2011-2016年的月活跃度统计图。从图中可以看到,每年的2月份和7、8月份的发帖量相对较小。毕竟这段时间大家都忙着宅在家里长膘,哪有时间来水河畔呢。每年的5、6、9、10月是发帖大月。要成为发帖大月需满足以下条件之一:

640.jpeg
说实话,得到这个图表的时候我是有点惊讶的。作为一个平时不怎么水河畔的 UESTCer,我无法解释为什么从2011年开始河畔的发帖量逐年下降,在2014年达到历史低谷。好在从2015年开始又出现回暖迹象,今年的数据还没有统计完整,不过前10个月的发帖量已经超过去年。
Anyway,还是挺希望河畔越来越好的。毕竟我还一心想给河畔做一个 iOS 客户端的。

640-2.jpeg
看到这里我想说你们这样起早贪黑的水河畔,家里人知道吗?
每天的白天时段有三个小高峰,分别是10点过、12点过和16点过,刚好是三个下课的时间点。晚上十点之后则迎来了当天的最高峰,估计很多人都是抱着上来水一发睡觉的心态吧。所以这也告诉我们,如果你想在河畔上搞个大新闻,晚上十点发帖是个不错的选择。科大的惯例是晚上十一点断电,虽说11点后的发帖量明显下降,但直到凌晨一两点,这之间还是维持着一个不错的活跃度。
来来来,老司机们,你们出来解释下,为什么断电了还这么多人在水。(这是不是说明手机端的需求还是很大的?

5.jpeg
6.jpeg
虽说每年的五一节和国庆节都是小长假,但是由于五一的时候天气刚好转暖,用赵老师的话说就是,“春天到了,又到了动物门交配的季节”,所以,嗯,出去旅游的和讨论情感话题的人特别多。再看国庆节就不太一样了,刚入学的小朋友们还处于跟他们的小老婆磨合期,而即将毕业的师兄们则满脑子都是找工作,所以毫无疑问,就业版块和电脑版块比较热门。

7.jpeg
8.jpeg
最后附上河畔上的评论最多的热门帖 Top20 和最能发帖的 ID 的 Top20。
然而,这些热门帖我一个都没有参与过;这些热门 ID 我也一个都不认识。
看来我的确是一个不怎么水河畔的人呢。

代码相关

为什么要用 PHP 来爬取数据呢?

因为 PHP 是世界上最好的编程语言啊。

在这个问题上,谁不承认就是不客观。(逃

实际原因是我个人觉得 PHPSpider 这个框架简单易用,所以一时兴起就用 PHP 来做了。具体的代码可以到我 Github 上去找(直接 clone 我的代码是运行不起来的,需要先配置好 PHPSpider 这个框架)。

PHPSpider 框架链接:[https://github.com/owner888/phpspider]
河畔爬取代码链接:[https://github.com/Cubernet/spider_qingshuihepan]

「一键投喂 肥宅快乐水🥤!」

Xiaolei.Tech

谢谢老板,老板大气~

使用微信扫描二维码完成支付

Responses
  1. Dongyin

    我觉得从2011年开始减少的原因有两个(我乱说的哈!):1. 2007-2011是第一波去清水河的人,07年也应该是河畔公开开放的年份(我记不得了),这些人是对河畔最有情怀的人。2.那是个论坛贴吧当道的年代,随后微博出现了,互动性的东西多了,微信也开始出现了。大家觉得河畔这种东西有点无聊了。。我也不怎么耍河畔!但是现在回头看好怀旧!

    Reply
    1. @Dongyin

      正在通宵做河畔客户端的我,看到这条评论感觉好穿越😂~虽说现在到处都是各种社交媒体,不过还是觉得河畔有它自身的价值和意义,尽管我也不怎么玩河畔😂

      Reply
      1. Dongyin
        @Cubernet

        我在美国,我是正常时间,你保重身体!!!!为啥你们码农喜欢熬夜!!!白天6点起来,晚上6点收工不是更好嘛!!!!!!给你看个好耍的http://bbs.uestc.edu.cn/forum.php?mod=viewthread&tid=672035&extra=&page=4

        你博客有点高级给~

        Reply
        1. @Dongyin

          因为最近劲头比较足,这个周末两天除了今天晚上陪我女朋友去群光君悦吃了顿饭,其他时间基本都在写,没日没夜写,白天6点到第二天白天6点😂

          Reply
          1. Dongyin
            @Cubernet

            赶忙表态你有女友,生怕我勾搭你,坏笑:)做这个没有必要不睡觉撒,又不赶时间,不会因为你发布晚了就被其他人抢了生意,不睡觉脑子根本转不动,我觉得效率很低。

            Reply
            1. @Dongyin

              哈哈蠢钝的我竟然没注意到你是妹子=。=所以没有那个意思啦~

              Reply