爬取盗版某趣阁小说,python爬虫,异步爬取软件平均不到0.1秒一章
某乎可以搜到这个新闻:
~趣阁成立于2012年,是由几个热爱文学的书友创建的。热爱文学,以文学来交友。网站是以提供小说搜索,在线阅读,创作文学,开放应用,以及提供下载的网站。现在已被关闭。
但是,一个倒了千千万万个笔趣阁站起来。真的太多了盗版~趣阁网站。
这依然是学习中的一个demo,有不足的地方还请大家指出,或者提出意见
随便找了一个盗版的某趣阁,url为:https://www.biquge2.com/,进行了爬取,并采用协程,一秒可发起几百上千条请求,访问该网址,我测试了一中午没给我封ip,应该是他足以接受这么多的访问量。
下面是程序测试图和教程
测试图:访问加保存平均不到0.1秒就可保存一章的内容
教程:复制小说主页链接到软件粘贴,等待爬取完成即可