麒麟影院
在线记事本
Python
django
框架
部署
爬虫
pycharm
技术类
转载
最近浏览记录
登录
麒麟影院
在线记事本
Python
技术类
转载
最近浏览记录
爬虫
Python
闯越顶岗实习app自动签到小脚本 python
今天下午摸鱼的时候突发奇想搞个顶岗实习签到小脚本玩玩,说干就干,造就完了 下面是完整的代码,基本改改就能用了,需要在同级目录下准备一个1.txt文件,存放用户名和密码, 用空格分隔 账号和密码 例子如下 username password 如果不需要邮件通知可以 ...
Python
python RequestsCookieJar 与 字典 相互转换
#将CookieJar转为字典: cookies = requests.utils.dict_from_cookiejar(r.cookies) #将字典转为CookieJar: cookies = requests.utils.cookiejar_from_dict(cooki ...
pycharm
(火狐)Selenium WebDriver测试 NotADirectoryError: [WinError 267] 目录名称无效。
驱动下载地址:https://github.com/mozilla/geckodriver/releases/tag/v0.26.0 http://ftp.mozilla.org/pub/firefox/releases/ 查看版本号: 火狐驱动提示:NotADirectory ...
Python
计算密集型和IO密集型的区别
计算密集型和IO密集型的区别 IO 密集型:系统运作,大部分的状况是CPU 在等I/O (硬盘/内存)的读/写。 CPU 密集型:大部份时间用来做计算、逻辑判断等CPU 动作的程序称之CPU 密集型。 ...
Python
记一次电影网站全站爬取
代码如下,认真读一下还是很容易看懂的 import requests import time import multiprocessing from lxml import etree import re import pymysql import random ...
Redis
python redis 库操作
python中使用redis库来连接redis服务器执行操作 首先安装redis pip install redis # redistest.py # import redis # redis 链接池 pool=redis.ConnectionPool(host ...
转载
离线爬虫和实时爬虫
要对数据进行分析和使用,首先要获取数据。可以通过调用第三方开源或者付费的接口获取,也可以自己爬取。爬虫是获取数据的重要方式之一,常见的爬虫有两类,离线爬虫和实时爬虫。 离线爬虫是指根据条件直接将线上数据爬取之后保存在数据库中,待使用方需要时直接从库里提供数据的爬虫。 ...
pycharm
scrapy 爬虫框架学习-1
使用scrapy 首先安装 pip install scrapy 接着创建项目 scrapy startproject test 爬虫名字 项目创建好了之后创建爬虫app scrapy genspider appname 666cc.cn 第一个是app名字,第二个是需要爬的域名 ...
django
django+requests+多进程打造web版hong炸鸡
废话不多说了,直接进入正文 用前几天的我发布过的轰炸鸡接口+requests+多进程就可以打造了, 首先我在views文件中定义了一个视图,名字就叫轰炸鸡,3.txt就是接口 原理很简单,用多进程跑request.get,请求每一个接口即可,其中可能会出现 未知的错误,所以用tr ...
pycharm
hong炸鸡短信接口
http://www.kcblog.xyz/index.php?hm=13640046815&ok=”,http://www.kcblog.xyz/index.php?hm=13640046815&ok=”http://www.kcblog ...
Python
selenium测试工具爬淘宝
就不啰嗦了,直接贴上代码,写的很简单,不喜勿喷 from selenium import webdriver import time import requests web=webdriver.Chrome() a1=web.get(‘http://taobao.co ...
Python
多进程爬取电影
这是一个多进程爬取电影的爬虫,因为下载电影的话用单进程是在苦不堪言,速度感人 一开始就遇到了一个大坑,尅是只是用了多进程,但是没有使用队列,最后发现下载下来的数据虽然 按照我预想的规则l+0000 .ts 这种格式来命名了,但是有个致命的地方,本来文件名字就是无序的, 然 ...
Posts Navigation
1
2
热门搜索
转载
前端
Vue
django
python
linux
框架
技术类
mysql
Java
js
项目
部署
爬虫
杂谈
pycharm
网课
Api
Top