学习爬虫的感想和心得

写爬虫真不是件简单的事

　　学习了大概两个月的爬虫，渐渐感觉到写爬虫并不是件简单的事，有诸多的考虑，先简单的记录一下，有时间分部分做示例

 

一、学习爬虫知识

　　我是从python3开始做爬虫的，首先，python3的语法必须知道，不过python3并不难，语法也非常简洁。但是，写着发现有个毛病，就是比如一个形参，由于不确定类型，.无法像java那样补全，导致你如果忘了一个函数，必须查看代码或手册。。。不过这也是动态语言都有的问题，但好的IDE会帮你记录，所以使用好的编译器很有必要。。哈哈。

　　然后是学习python的各种库，为了打好基础，从基础的库开始学习会比较好，比如urlib，然后学习requests，这种是用来发请求的。返回的数据又是各种各样的类型，有html，js，json，字符串等，针对每种格式，当然都需要合适的解析器，当然，正则都能做。。。