爬虫
麒麟博客开放免费ip代理池
Python
麒麟博客开放免费ip代理池 最近在做爬虫项目，顺便收集了一手免费的代理ip，它们来自4-9个免费的代理ip网站，待源码完善之后将会在github上开源 访问地址做的很简单 http://ip.666cc.cn （阿里小鸡，勿压）返回ip列表 大概每30分钟会更新一波ip，经过一段时间的测试，大概每天会在线2 ...
2021-04-25
0 0
python的lxml模块解析xml
Python
python的lxml模块解析xml xml内容如下： E. F. Codd IBM Research Report, San Jose, California RJ909 August 1971 E. F. Codd IBM Research Report, San Jose, California RJ909 ...
2021-03-30
0 0
python request 保存cookie
Python
python request 保存cookie import requests import json login_url = ‘http://www.xxxxxx.com/wp-login.php’ def get_cookie(account, password): s = requests.Ses ...
2021-03-12
0 0
python 写文件刷新缓存
Python
python 写文件刷新缓存 搞爬虫的时候，结果是通过file.write(strs)写入文件的。 带来的问题是，进程如果是被杀死的时候，最后一条结果总是缺损的，因为缓存的部分还未写入文件。 ...
2021-03-09
0 0
闯越顶岗实习app自动签到小脚本 python
Python
闯越顶岗实习app自动签到小脚本 python 今天下午摸鱼的时候突发奇想搞个顶岗实习签到小脚本玩玩，说干就干，造就完了 下面是完整的代码，基本改改就能用了，需要在同级目录下准备一个1.txt文件，存放用户名和密码， 用空格分隔 账号和密码 例子如下 username password 如果不需要邮件通知可以 ...
2020-12-04
0 1
python RequestsCookieJar 与 字典 相互转换
Python
python RequestsCookieJar 与 字典 相互转换 #将CookieJar转为字典： cookies = requests.utils.dict_from_cookiejar(r.cookies) #将字典转为CookieJar： cookies = requests.utils.cookiejar_from_dict(cooki ...
2020-12-01
0 0
（火狐）Selenium WebDriver测试 NotADirectoryError: [WinError 267] 目录名称无效。
pycharm
（火狐）Selenium WebDriver测试 NotADirectoryError: [WinError 267] 目录名称无效。 驱动下载地址：https://github.com/mozilla/geckodriver/releases/tag/v0.26.0 http://ftp.mozilla.org/pub/firefox/releases/ 查看版本号： 火狐驱动提示：NotADirectory ...
2020-10-09
0 0
计算密集型和IO密集型的区别
Python
计算密集型和IO密集型的区别 计算密集型和IO密集型的区别 IO 密集型：系统运作，大部分的状况是CPU 在等I/O (硬盘/内存)的读/写。 CPU 密集型：大部份时间用来做计算、逻辑判断等CPU 动作的程序称之CPU 密集型。 ...
2020-04-17
0 1
记一次电影网站全站爬取
Python
记一次电影网站全站爬取 代码如下，认真读一下还是很容易看懂的 import requests import time import multiprocessing from lxml import etree import re import pymysql import random ...
2020-04-15
0 1
python redis 库操作
Redis
python redis 库操作 python中使用redis库来连接redis服务器执行操作 首先安装redis pip install redis # redistest.py # import redis # redis 链接池 pool=redis.ConnectionPool(host ...
2020-04-13
0 1
离线爬虫和实时爬虫
转载
离线爬虫和实时爬虫 要对数据进行分析和使用，首先要获取数据。可以通过调用第三方开源或者付费的接口获取，也可以自己爬取。爬虫是获取数据的重要方式之一，常见的爬虫有两类，离线爬虫和实时爬虫。 离线爬虫是指根据条件直接将线上数据爬取之后保存在数据库中，待使用方需要时直接从库里提供数据的爬虫。 ...
2020-04-07
0 1
scrapy 爬虫框架学习-1
pycharm
scrapy 爬虫框架学习-1 使用scrapy 首先安装 pip install scrapy 接着创建项目 scrapy startproject test 爬虫名字 项目创建好了之后创建爬虫app scrapy genspider appname 666cc.cn 第一个是app名字，第二个是需要爬的域名 ...
2020-04-04
0 1
热门搜索
Top