今天又是做了一天的咸鱼,啥也没干

emmm今天上午学到python的面向对象的魔法方法,还有各种内置的高级操作方法,强制访问私有属性啥的,emm感觉最近学习的兴趣不够强烈了,可能学累了,得休息一整子了,总结了一下,从1月15号回家到现在,一个月左右吧,在家里学习了python的面向对象,爬虫,其实面向对象在学校就开始学了点,回到家里来之后又加深了,在一个月里面,收货还是不少的,起码看到普通的网页能通过自己学习的东西给他巴拉下来了,加密的话还不行,还得继续加油呀,学会了怎么去模拟ajax请求,以及实现爬虫翻页爬取数据,爬取数据之后通过xpath解析然后存储到sqlserver里面,或者写到本地存储为txt,又或者存储为csv,,pandas这个第三方库还没有接触,,,,本来是想着学习一下的,后来有了csv这个东东,然后就没有去学了,以后用到的话就在学吧,emmm还有的话就是接触了scrapy这个爬虫框架,了解了一下它的工作原理,5大块10个步骤,连入门都算不上吧,。。。。只用它爬过一个网页,然后就没在用过了,东西是好东西,可惜我现在还不会用,主要是用来爬简单的网页的话还是requests 加xpath自己解析更快捷方便些,用scrapy的话有点大材小用的感觉了,主要是他启动的界面真心不喜欢。。个人感觉。。收货最大的话还是属于爬虫,因为有一个星期左右,天天都在爬网页,从什么也不会,到现在有了自己的ip代理池,虽然我没有去维护它,因为维护起来太耗费时间了,跑的都是单线程,一个ip需要3s去验证,数据库了存了大概有1.2w个ip左右,以后慢慢验证吧,反正随时都能够抓的东西,因为一直写的都是面向过程,现在开始就开始用面向对象的方式来写一下爬虫,还是非常的不习惯,因为没有接触过,。。。。基本类的调用什么能搞清楚但是代码一冗长起来就容易混乱,而我自己又不爱写备注(这是一个非常不好的习惯),以后继续努力吧,现在写的爬虫代码看都不想看,不知道为什么,写出来的代码跑了之后就连看都不想看了。。。。我也不知道这是什么毛病。。。。哎,今天就到这吧,继续写爬虫去了。
搜索