9号彩票开户

关注微信  |  微博  |  腾讯微博  |  RSS订阅
读者QQ群③:168129342,投稿请发dashuju36@qq.com
我要投稿

爬取简书和数据分析

大数据

作者:sexycoder

最近入门了一下scrapy,找了一个网站练手,半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着,想做一些有意思的数据统计和社交关系分析。

最受欢迎的作者

我统计了简书上面粉丝数最多和被喜欢次数最多的用户,简书上最受欢迎的作者,如下图所示:

大数据

我把最受欢迎的作者的放到一张图上面,横坐标表示粉丝数,纵坐标表示被喜欢的次数,如下图所示。可以很明显的看出来,这些最受欢迎的作者里面,大多数的作者还是聚集在图的左下角,but,还有几个超级受欢迎的,他们分别分布在图的右侧和上侧。他们分别是,刘淼,彭小六,简黛玉。很可惜,截图上不能附上作者的名字。

大数据

这是同济最受欢迎的作者的原始数据,我也贴在这里,如下图所示,数据爬取的时间是 2017年10月20日左右。下图的这四列分别是,uid,昵称,粉丝数,被喜欢数。

大数据

最能写的作者

统计了发表文章数最多的top20作者,如下图所示:

大数据

排名第一的这位孤鸟差鱼 ( http://www.jianshu.com/u/a4bb86f4ba07),写了1799篇文章啊!我的天!但是这里有一个bug,这位作者虽然能写,但是每篇文章被喜欢的次数很低,基本上是个位数。可能是一位孤独but高产的作者。

平均每个字被喜欢次数坐高的作者

从上面的一个统计里面吸取到的一个灵感,虽然上面的作者很能写,但是被喜欢的次数却很低,这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示:

大数据

这个结果就更加意外了,排在前面的这几个大哥,就写了一个字,but 收获了48个喜欢!!!!每个字被喜欢的比例是1:48!!!于是,很好奇这位大哥,这一个字写得是什么,跑去围观。。

大数据

用户的粉丝数分布的比例

分析了一下每个用户的粉丝数,绝大多数用户的粉丝数只有10人以下,而粉丝数分布在[10,20]之间的用户明显少了很多,简直是锐减!!!这也基本上符合一个社交网络的结果,绝大多数的人都是围观者,都是内容或者是消息的的接收者。拥有大量粉丝的人,往往很少,这一部分的人是这个社交网络的核心,是信息或者是消息的创造者,拥有更加强大的话语权。

大数据

End.

转载请注明来自36大数据(36dsj.com):36大数据 » 爬取简书和数据分析

36大数据   除非特别注明,本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性,宽容,换位思考的原则。

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
友情链接:9号彩票  9号彩票平台  北京赛车pk拾遗漏  幸运农场  创元彩票  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!