公告
欢迎来到麒麟博客
学习 scrapy 爬虫框架
! 创建项目,
scrapy startproject xxx(项目名字)
2 创建爬虫
scrapy genspider 爬虫名字 网址域名
#scrapy genspider spider xicidaili.com
# 注意事项,爬虫名字和项目名字不要重复,
今天买了一个测试服务器,一天都在搞这个服务器了。。。
<img src="http://www.666cc.cn/blog/admin/editor/plugins/emoticons/images/15.gif" alt="" border="0" data-ke-src="http://www.666cc.cn/blog/admin/editor/
python 爬虫之搭建代理ip池--测试代理ip可用性
有一个自己的代理ip池,并且经常去维护它的话,自身的ip就没那么容易被封掉,
下面是检测代理ip是否可用的方法,</p
python 下 pymssql 上传中文字符串导致数据库查看乱码解决方案
其实就一句代码的事。。。。。
# -*- coding: gb2312 -*- 折腾了我好久。我丢
python-multiprocessing-Pool进程池----多进程
进程池是用来创建和管理进程的一个池子,池子里面可以有很多的进程,它是进程工作的容器
它的工作方式有两种,一种是同步pool.apply()一个进程执行完毕后在轮到下一个进程执行
一种是异步方式,apply.async()所有进程都会一起执行,当有新的任务加入的时候,由空闲下来的池子里面的