style="text-indent:2em;">这篇文章给大家聊聊关于为什么不建议用scrapy，以及不建议做爬虫对应的知识点，希望对各位有所帮助，不要忘了收藏本站哦。
本文目录
为什么php不适合做计算密集型业务
PHP即“超文本预处理器”，是一种通用开源脚本语言。PHP是在服务器端执行的脚本语言，与C语言类似，是常用的网站编程语言。PHP独特的语法混合了C、Java、Perl以及PHP自创的语法。利于学习，使用广泛，主要适用于Web开发领域。
1.优点：开源免费性快捷性[程序开发快，运行快，技术本身学习快]
1)跨平台，性能优越，跟Linux/Unix结合别跟Windows结合性能强45%，并且和很多免费的平台结合非常省钱，比如LAMP(Linux/Apache/Mysql/PHP)或者FAMP(FreeBSD/Apache/Mysql/PHP)结合，或者数据应用够大可以考虑换PostgreSQL或者Oracle，支持N种数据库。(N>=10)
2)语法简单，如果有学习C和Perl的很容易上手，并且跟ASP有部分类似。有成熟的开发工具，比如NuPHPed，或者ZendStudio等等，再Linux平台下可以使用Eclipse等等。
3)目前主流技术都支持，比如WebService、Ajax、XML等等，足够应用。
4)有比较完整的支持，比如使用ADODB或者PEAR::DB做数据库抽象层，用Smarty或者smarttemplate做模板层，如果是PHP5.1的话，还能够使用PDO(PHPDataObject)来访问数据库。
5)有很多成熟的框架，比如支持MVC的框架：phpMVC，支持类似ASP.net的事件驱动的框架：Prado，支持类似RubyOnRails的快速开发的框架：Cake等等，足够满足你的应用需求。
6)PHP5已经有成熟的面向对象体系，能够适应基本的面向对象要求。适合开发大型项目。
7)有成熟的社区来支持PHP的开发。
8)目前已经很多大型应用都是使用PHP，比如淘宝网、Yahoo、163、Sina等等大型门户，很多选用PHP来作为他们的开发语言，所以大型门户都能够选用它，我想足够能够你的使用了。
9)有很多开源的框架或开源的系统可以使用，比如比较知名的开源框架有ZendFramework、CakePHP、CodeIgniter、symfony等，开源论坛有Discuz!、Phpwind等，开源博客WordPress，开源网店系统如Ecshop、ShopEx等，开源的SNS系统如UCHome、ThinkSNS等。
10)使用成本低（linuxapachemysqlphp内核）
2.缺点
1)函数命名不规范驼峰法和下滑线，传参位置不一你知道的
2)单线程；PHP本身，一直以来php就是个单进程的程序；虽然php的pthreads扩展早就有了。但是它不够稳定，运行运行着就会莫名其妙的自己挂掉；php的扩展都是C写的，这也就意味着任何一个扩展出现线程竞争资源控制问题都能让整个挂掉
3）核心异步网络不支持（当然在linux只有同步非阻塞网络模型）。却少了这个使得很难开发一个能够承受大并发的网络应用。传统的网络模型和io都阻塞的。这样基本的编程的做法就是一个进程（或者线程）响应一个用户链接请求。因此无法完成像实时网游那样需要成千上万网络连接的任务。尽管php也有Libevent、eio扩展对此算是某种程度上面的弥补，但是感觉都不是那么完善
4）只支持web开发，不方便做.exe文件,不方便做桌面应用程序.不方便做手机程序.
5）不适合做爬虫、自动运行脚本.科学运算项目,这语言基本构架就不适合，虽然有很多方法实现。
6)后期维护困难。后期提速空间局限性较大。
在对PHP有一个大致的认识以后，我们来了解一下为什么说PHP慢？
PHP的慢是相对于C/C++级别的语言来说，事实上，PHP语言最初的设计，就不是用来解决计算密集型的应用场景。我们可以这样粗略理解为，PHP为了提升开发效率，而牺牲了执行效率。
我们知道PHP一个很大的特点，就是弱类型特性，也就是说，我可以随意定义一个变量，然后给它随意赋值为各种类型的数据。以一个int整型数字为例子，在C语言中：
intnum=200;//通常是4字节
但是，如果是PHP定义了一个同样的变量，实际对应的存储结构则是：
这个结构体将会占据远比C变量多得多的内存，PHP中定义方式如下：
$a=200;//这变量将实际占用对比C变量很多倍的存储空间。
其实对PHP来说，无论存储什么类型的数据，都是用上述“通杀”的结构体实现。为了兼容PHP程序员的变量类型“乱入”，PHP做到了对开发者的友好，但是对执行引擎很残酷。单个变量内存消耗可能还不明显，一旦用到PHP的数组等，则复杂度指数上升（数组的实现是HashTable）。然后，Zend引擎执行时，将这些PHP代码编译为opcode（PHP的中间字节码，格式有点类似于汇编），由Zend引擎逐行解释执行。
无论是字符串的连接操作，还是数组的简单修改等，几乎都是“PHP程序员一句话，Zend引擎跑断腿”的节奏。因此，同样的操作，对比C来说，PHP消耗了更多的CPU和内存等系统资源。除此之外，还有内存自动回收、变量类型判断等等，都会增加系统资源的消耗。
例如，我用纯PHP实现的快速排序函数和原生sort函数，排序10000个整型数字，来做一个耗时对比，结果如下：
原生的sort耗时3.44ms，而我们自己实现的PHP函数sort则是68.79ms。我们发现，两者执行效率差距巨大。我的测试方式，是计算函数执行前后的时间间隔，而不是整个PHP脚本从启动到结束的时间。PHP脚本启动和关闭过程，本身有着一系列的初始化和清理工作，也会占据不少的耗时。
通常情况下，PHP执行效率的排行是：
最快的是PHP语言结构（isset、echo等），PHP语言的一部分（它们根本不是函数）。
然后比较快的就是PHP的原生和拓展函数。PHP拓展，基于ZendAPI之上，用C实现的功能，执行效率和C/Java是属于同一个数量级的。
真正慢的就是，我们通过PHP自己写的代码和函数。例如，假如我们使用的比较重的纯PHP实现的框架，因为框架本身的模块很多，所以，会明显拖累语言层面的执行效率，同时占据更多的内存。（国内的Yaf框架，以拓展的方式实现，因此执行效率远快于纯PHP写的框架。
在一般情况下，我们并不推荐用过PHP实现逻辑复杂计算类型的功能，尤其是Web系统流量比较大的场景下。因此，PHP程序员应该对PHP的各种原生函数和各类拓展有一个比较广泛的了解，在具体的功能实现场景中，寻求更原生的解决方案（原生接口或者拓展），而不是自己写一堆复杂的PHP代码来实现这类型功能。
如果有足够的PHP拓展开发实力，将这类型业务功能重写为一个PHP拓展，也会大幅提升代码的执行效率。这是一个非常不错的方式，也被广泛应用PHP优化中。但是，自己编写的PHP业务拓展的缺点也很明显：
拓展开发耗时比较长，需求变更的时候修改也复杂，写得不好可能会影响Web服务稳定性。（例如，在Apache的worker模式下，多线程场景下挂掉，会影响同一个进程下的其他正常子线程。如果是多线程的Web模式，编写拓展还需要支持线程安全）
拓展在PHP版本升级的时候，可能需要做额外的兼容工作。
人员变动后的维护和接手成本也比较高。
实际上，在互联网一线企业中，更常见的解决方案，并非增加PHP拓展，而用C/C独立写一个服务server，然后PHP通过socket和服务server通信来完成业务处理，并不将PHP本身和业务耦合在一起。
不过，Web服务大部分的性能瓶颈都在网络传输和其他服务server的耗时上（例如MySQL等），PHP执行的耗时在整体耗时的占用比例非常小，所以从业务角度来说，影响可能并不明显。
开源爬虫框架各有什么优缺点
首先爬虫框架有三种
分布式爬虫：Nutch
JAVA单机爬虫：Crawler4j，WebMagic，WebCollector
非JAVA单机爬虫：scrapy
第一类:分布式爬虫优点：
海量URL管理
网速快
缺点：
Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取（精抽取）的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的。对精抽取没有太大的意义。
用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非。
Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫。
Nutch虽然有一套插件机制，而且作为亮点宣传。可以看到一些开源的Nutch插件，提供精抽取的功能。但是开发过Nutch插件的人都知道，Nutch的插件系统有多蹩脚。利用反射的机制来加载和调用插件，使得程序的编写和调试都变得异常困难，更别说在上面开发一套复杂的精抽取系统了。
Nutch并没有为精抽取提供相应的插件挂载点。Nutch的插件有只有五六个挂载点，而这五六个挂载点都是为了搜索引擎服务的，并没有为精抽取提供挂载点。大多数Nutch的精抽取插件，都是挂载在“页面解析”(parser)这个挂载点的，这个挂载点其实是为了解析链接（为后续爬取提供URL），以及为搜索引擎提供一些易抽取的网页信息(网页的meta信息、text)
用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，何况是要让一个团队的人都读懂Nutch源码。调试过程中会出现除程序本身之外的各种问题(hadoop的问题、hbase的问题)。
Nutch2的版本目前并不适合开发。官方现在稳定的Nutch版本是nutch2.2.1，但是这个版本绑定了gora-0.3。Nutch2.3之前、Nutch2.2.1之后的一个版本，这个版本在官方的SVN中不断更新。而且非常不稳定（一直在修改）。
第二类:JAVA单机爬虫优点：
支持多线程。
支持代理。
能过滤重复URL的。
负责遍历网站和下载页面。爬js生成的信息和网页信息抽取模块有关，往往需要通过模拟浏览器(htmlunit,selenium)来完成。
缺点：设计模式对软件开发没有指导性作用。用设计模式来设计爬虫，只会使得爬虫的设计更加臃肿。第三类:非JAVA单机爬虫优点：
先说python爬虫，python可以用30行代码，完成JAVA
50行代码干的任务。python写代码的确快，但是在调试代码的阶段，python代码的调试往往会耗费远远多于编码阶段省下的时间。
使用python开发，要保证程序的正确性和稳定性，就需要写更多的测试模块。当然如果爬取规模不大、爬取业务不复杂，使用scrapy这种爬虫也是蛮不错的，可以轻松完成爬取任务。
缺点：
bug较多，不稳定。
爬虫可以爬取ajax信息么？
网页上有一些异步加载的数据，爬取这些数据有两种方法：使用模拟浏览器（问题1中描述过了），或者分析ajax的http请求，自己生成ajax请求的url，获取返回的数据。如果是自己生成ajax请求，使用开源爬虫的意义在哪里？其实是要用开源爬虫的线程池和URL管理功能（比如断点爬取）。
如果我已经可以生成我所需要的ajax请求（列表），如何用这些爬虫来对这些请求进行爬取？
爬虫往往都是设计成广度遍历或者深度遍历的模式，去遍历静态或者动态页面。爬取ajax信息属于deepweb（深网）的范畴，虽然大多数爬虫都不直接支持。但是也可以通过一些方法来完成。比如WebCollector使用广度遍历来遍历网站。爬虫的第一轮爬取就是爬取种子集合(seeds)中的所有url。简单来说，就是将生成的ajax请求作为种子，放入爬虫。用爬虫对这些种子，进行深度为1的广度遍历（默认就是广度遍历）。
爬虫怎么爬取要登陆的网站？
这些开源爬虫都支持在爬取时指定cookies，模拟登陆主要是靠cookies。至于cookies怎么获取，不是爬虫管的事情。你可以手动获取、用http请求模拟登陆或者用模拟浏览器自动登陆获取cookie。
爬虫怎么抽取网页的信息？
开源爬虫一般都会集成网页抽取工具。主要支持两种规范：CSSSELECTOR和XPATH。
网页可以调用爬虫么？
爬虫的调用是在Web的服务端调用的，平时怎么用就怎么用，这些爬虫都可以使用。
爬虫速度怎么样？
单机开源爬虫的速度，基本都可以讲本机的网速用到极限。爬虫的速度慢，往往是因为用户把线程数开少了、网速慢，或者在数据持久化时，和数据库的交互速度慢。而这些东西，往往都是用户的机器和二次开发的代码决定的。这些开源爬虫的速度，都很可以。
为什么不建议用scrapy
scrapy提高了自己的并发能力，但是这对于一般的爬虫工作是无效的，你的并发量上去，人家的网站服务压力暴增服务挂掉，要不你拿不到任何数据，要不就是拿不到数据。而且现在的反爬机制也让这些高并发特性显得不那么突出。
听说过这个框架的人都有了解，这个框架对于开发人员来说是没有主动权的，引擎自动的帮开发者调用着一切，再给我们便利的同时也给我们带上了一条枷锁，让我们收到限制。
做爬虫适合女生吗
说实话，python虽然是语言中比较简单的那一类，但编程个人觉得不大适合女生来做，一个是体力脑力跟不上，容易掉头发，二是编程作息混乱，女生很难扛得住
关于为什么不建议用scrapy，不建议做爬虫的介绍到此结束，希望对大家有所帮助。
