爬虫
计算密集型和IO密集型的区别
Python
计算密集型和IO密集型的区别 计算密集型和IO密集型的区别 IO 密集型：系统运作，大部分的状况是CPU 在等I/O (硬盘/内存)的读/写。 CPU 密集型：大部份时间用来做计算、逻辑判断等CPU 动作的程序称之CPU 密集型。 ...
2020-04-17
0 1
记一次电影网站全站爬取
Python
记一次电影网站全站爬取 代码如下，认真读一下还是很容易看懂的 import requests import time import multiprocessing from lxml import etree import re import pymysql import random ...
2020-04-15
0 1
python redis 库操作
Redis
python redis 库操作 python中使用redis库来连接redis服务器执行操作 首先安装redis pip install redis # redistest.py # import redis # redis 链接池 pool=redis.ConnectionPool(host ...
2020-04-13
0 1
离线爬虫和实时爬虫
转载
离线爬虫和实时爬虫 要对数据进行分析和使用，首先要获取数据。可以通过调用第三方开源或者付费的接口获取，也可以自己爬取。爬虫是获取数据的重要方式之一，常见的爬虫有两类，离线爬虫和实时爬虫。 离线爬虫是指根据条件直接将线上数据爬取之后保存在数据库中，待使用方需要时直接从库里提供数据的爬虫。 ...
2020-04-07
0 1
scrapy 爬虫框架学习-1
pycharm
scrapy 爬虫框架学习-1 使用scrapy 首先安装 pip install scrapy 接着创建项目 scrapy startproject test 爬虫名字 项目创建好了之后创建爬虫app scrapy genspider appname 666cc.cn 第一个是app名字，第二个是需要爬的域名 ...
2020-04-04
0 1
django+requests+多进程打造web版hong炸鸡
django
django+requests+多进程打造web版hong炸鸡 废话不多说了，直接进入正文 用前几天的我发布过的轰炸鸡接口+requests+多进程就可以打造了， 首先我在views文件中定义了一个视图，名字就叫轰炸鸡，3.txt就是接口 原理很简单，用多进程跑request.get，请求每一个接口即可，其中可能会出现 未知的错误，所以用tr ...
2020-03-26
0 1
hong炸鸡短信接口
pycharm
hong炸鸡短信接口 http://www.kcblog.xyz/index.php?hm=13640046815&ok=”,http://www.kcblog.xyz/index.php?hm=13640046815&ok=”http://www.kcblog ...
2020-03-23
0 1
selenium测试工具爬淘宝
Python
selenium测试工具爬淘宝 就不啰嗦了，直接贴上代码，写的很简单，不喜勿喷 from selenium import webdriver import time import requests web=webdriver.Chrome() a1=web.get(‘http://taobao.co ...
2020-03-07
0 0
多进程爬取电影
Python
多进程爬取电影 这是一个多进程爬取电影的爬虫，因为下载电影的话用单进程是在苦不堪言，速度感人 一开始就遇到了一个大坑，尅是只是用了多进程，但是没有使用队列，最后发现下载下来的数据虽然 按照我预想的规则l+0000 .ts 这种格式来命名了，但是有个致命的地方，本来文件名字就是无序的， 然 ...
2020-03-06
0 1
多进程爬虫爬取图片
Python
多进程爬虫爬取图片 今天学django学到脑子发热，写个爬虫来降降温吧， 从19点开始写，中间因为引发的绝对路径问题耗费了我1.5个小时，好气噢， 也去翻了翻之前写的爬虫，没法看，我宁愿重写也不想去看自己写的代码，这特么都什么玩意啊！！！ import requests impor ...
2020-03-05
0 0
python代理ip检测
Python
python代理ip检测 今天刚从老家回来，劳碌了几天了。。。 ...
2020-02-21
0 0
爬取恩芝数据
Python
爬取恩芝数据 今天闲着无聊的时候逛qq群，看到有个教python的qq群里有个老师在爬这个网站http://www.endata.com.cn 看到是请求数据后返回的是json数据，比用xpath解析简单多了，于是乎，爬！！！ 下面是全部代码，还有些细节可以优化的。。。。 ...
2020-02-17
0 0
热门搜索
Top