python网络爬虫虽然应该是一个用python开发的程序，爬虫就是说蜘蛛一样的沿着那条蜘蛛网到达网的每个地方。在互联网上确实是同样的道理，再则一个网站，网站里边分布的位置了很多页面链接，鼠标点击是可以ftp访问到下一层的内容，而网络爬虫就仿真的人们访问网页那样的话，一个一个的先打开连接到进行访问并明确的旗下设置的规则抓取信息的这么说一个过程。
而python的语法简单啊、学成本比较低，有众多的开源代码类库与框架可以不不使用，以至于开发完毕难度与时间大大被缩减，得到了大多数人的青睐，特别是在数据处理方面。
在这里帮我推荐几个应该重点关注的同步异步爬虫库，给你做下做个参考。
scrapy是一个为了爬取网站数据，再提取结构性数据而编译程序的应用框架。这个可以应用形式在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是目的是页面直接抓取(更详细来说,网络抓取)所啊,设计的，也是可以应用方法在资源api所直接返回的数据(比如amazonassociateswebservices)或者通用的网络爬虫。
pyspider：一个国人编写的强大的网络爬虫系统并内带强横的webui。采用python语言编译程序，分布式架构，允许多种数据库后端，强大无比的webui允许脚本编辑器，任务监视器，项目管理器在内结果查看器。
crawley也可以西下高速爬取对应网站的内容，接受关系和非关系数据库，数据可以文件导入为json、xml等。
4.portia
portia是一个开源代码可视化爬虫工具，可让您在不需要任何编程知识的情况下抓取内容网站！简单的地注释您感兴趣的页面，portia将修改一个蜘蛛来从相似的页面其他提取数据。
newspaper可以不为了提取新闻、文章和内容分析什么。在用多线程，接受10多种语言等。作者从requests库的以简洁与强大换取灵感，不使用python开发的可主要是用于提纯文章内容的程序。支持10多种语言但是所有的也是gb2312编码。
soup
beautifulsoup是两个可以不从html或xml文件中分离提取数据的python库.它能够实际你喜欢的转换器实现最擅长的文档导航,查找,改文档的.lovelysoup会帮你节约时间数小时甚至连数天的工作时间。这个我是使用的不光频繁的。在获取html元素，大都tm4完成的。
selenium是测试自动化工具。它支持什么各种浏览器，以及chrome，safari，firefox等主流界面式浏览器，如果在这些浏览器里面安装一个selenium的插件，是可以方便些地实现方法web界面的测试.selenium接受浏览器驱程。selenium允许多种语言的新，比如java，c，ruby等等，phantomjs用处渲出解析js，selenium用来驱动在内与python的对接，python通过后期的处理。
下面是网络爬虫工作的大概情况流程图
selenium驱动网页是需要上网下载按浏览器的驱动程序，如chrome浏览器必须可以下载不对应版本的chromedriver
