“Big toy for boy!” 的评论 http://bigtoy4boy.com/blog 一个有关一些个人兴趣爱好的博客 Sun, 23 Aug 2009 05:04:26 +0000 http://wordpress.org/?v=2.9.1 hourly 1 tinsgao 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-228 tinsgao Sun, 23 Aug 2009 05:04:26 +0000 http://bigtoy4boy.com/blog/?p=200#comment-228 受用了..正在查找大并发量的相关应用 受用了..正在查找大并发量的相关应用

]]> 羽高 关于 Hadoop!分布式文件系统+MapReduce+… 的评论 http://bigtoy4boy.com/blog/2009/02/hadoop-distributed-file-system-mapreduce/comment-page-1/#comment-227 羽高 Tue, 21 Jul 2009 00:19:43 +0000 http://www.bigtoy4boy.com/blog/?p=158#comment-227 是呀，我知道第二次，那天我正好有事情没去成。听说第三次也在筹划中，期待... 是呀，我知道第二次，那天我正好有事情没去成。听说第三次也在筹划中，期待…

]]> 羽高 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-226 羽高 Tue, 21 Jul 2009 00:19:06 +0000 http://bigtoy4boy.com/blog/?p=200#comment-226 twisted里面好几个reactor，每个工作原理都不太一样。但一个重点的工作是管理消息队列，目标是将消息传递到指定的线程上。你说的连接应该是分在不同的线程上的，但我认为reactor只负责创建和销毁还有传递消息。 suggestThreadPoolSize()在reactor上设置，文档里有介绍，默认值不大，所以高并发的时候会有连接等待、滞后的现象 twisted里面好几个reactor，每个工作原理都不太一样。但一个重点的工作是管理消息队列，目标是将消息传递到指定的线程上。你说的连接应该是分在不同的线程上的，但我认为reactor只负责创建和销毁还有传递消息。

suggestThreadPoolSize()在reactor上设置，文档里有介绍，默认值不大，所以高并发的时候会有连接等待、滞后的现象

]]> Yongqiang He 关于 Hadoop!分布式文件系统+MapReduce+… 的评论 http://bigtoy4boy.com/blog/2009/02/hadoop-distributed-file-system-mapreduce/comment-page-1/#comment-225 Yongqiang He Sat, 18 Jul 2009 14:54:01 +0000 http://www.bigtoy4boy.com/blog/?p=158#comment-225 呵呵 非常高兴你能参加第一次的沙龙。后来在物理所又举办了第二次。 呵呵 非常高兴你能参加第一次的沙龙。后来在物理所又举办了第二次。

]]> andy 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-222 andy Fri, 26 Jun 2009 09:59:02 +0000 http://bigtoy4boy.com/blog/?p=200#comment-222 版主的文章对我来说意义太重大了！ 我也是写了个类似httpserver的server，但是我除了保持连接还要分析数据包，写数据库 我不明白的是 默认的reactor是在一个线程里维持N个连接么？还是说它会按照suggestThreadPoolSize()去生新线程？ 另外就是suggestThreadPoolSize()在哪里啊？？：）默认的reactor有这个属性么？ 版主的文章对我来说意义太重大了！
我也是写了个类似httpserver的server，但是我除了保持连接还要分析数据包，写数据库
我不明白的是 默认的reactor是在一个线程里维持N个连接么？还是说它会按照suggestThreadPoolSize()去生新线程？

另外就是suggestThreadPoolSize()在哪里啊？？：）默认的reactor有这个属性么？

]]> moatlzy 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-219 moatlzy Mon, 22 Jun 2009 02:34:25 +0000 http://bigtoy4boy.com/blog/?p=200#comment-219 非常感谢指点,我再仔细看看这方面的内容! 非常感谢指点,我再仔细看看这方面的内容!

]]> 羽高 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-218 羽高 Sat, 20 Jun 2009 06:16:04 +0000 http://bigtoy4boy.com/blog/?p=200#comment-218 我没有在windows下跑过，主要在那个上面不能用epoll。你的这个情况可以测试一下，是否twisted的缓存池没有设置参数。我以前遇到过这样慢的情况，实际上服务器端程序在排队，后来使用reactor.suggestThreadPoolSize()加大了进程池的数量就提高了并发的效率。 所以你可以试验一下，如果不行只能再细化、分解测试获取一些数据才能进行判断了。 我没有在windows下跑过，主要在那个上面不能用epoll。你的这个情况可以测试一下，是否twisted的缓存池没有设置参数。我以前遇到过这样慢的情况，实际上服务器端程序在排队，后来使用reactor.suggestThreadPoolSize()加大了进程池的数量就提高了并发的效率。

所以你可以试验一下，如果不行只能再细化、分解测试获取一些数据才能进行判断了。

]]> moatlzy 关于 性能是压出来的 的评论 http://bigtoy4boy.com/blog/2009/05/performance-tuning-of-nignx-and-twisted/comment-page-1/#comment-217 moatlzy Fri, 19 Jun 2009 08:24:44 +0000 http://bigtoy4boy.com/blog/?p=200#comment-217 谢谢版主,受教了!最近我也在学习使用twisted[不好意思,水平太菜!],我想请教一下!是这样的,我是在windows下做的twisted8.2.0+python2.54+mysql,twisted的反应器使用的是iocpreactor,并发连接数是可以连接不少,但随着并发数的增加,客户端取得结果的效率会大幅下降,100线时得到数据的结果大概在0.2秒左右,400线时就4秒多了,1000线时要14秒才有返回.由于服务端不知如何使用多线程,就让twisted自己处理了(从任务管理器里看,只有一个线程在处理),测试时从服务端看来,随并发的增加,每个请求的处理的速度并没有多大变化,并且如果服务端有一个处理的时间显著增长,并发的客户端好象都会相应增长取得结果的时间,而不是只那一个增长! 不知版主有没有好的建议?谢谢了! 谢谢版主,受教了!最近我也在学习使用twisted[不好意思,水平太菜!],我想请教一下!是这样的,我是在windows下做的twisted8.2.0+python2.54+mysql,twisted的反应器使用的是iocpreactor,并发连接数是可以连接不少,但随着并发数的增加,客户端取得结果的效率会大幅下降,100线时得到数据的结果大概在0.2秒左右,400线时就4秒多了,1000线时要14秒才有返回.由于服务端不知如何使用多线程,就让twisted自己处理了(从任务管理器里看,只有一个线程在处理),测试时从服务端看来,随并发的增加,每个请求的处理的速度并没有多大变化,并且如果服务端有一个处理的时间显著增长,并发的客户端好象都会相应增长取得结果的时间,而不是只那一个增长!
不知版主有没有好的建议?谢谢了!

]]> 天空 关于 QConBeijing归来 的评论 http://bigtoy4boy.com/blog/2009/04/review-of-qcon-beijing-2009/comment-page-1/#comment-210 天空 Wed, 27 May 2009 02:05:50 +0000 http://www.bigtoy4boy.com/blog/?p=175#comment-210 偶尔停下你手头救火的任务，跳出烦恼的圈子，仔细思考一下 不错，赞一个 偶尔停下你手头救火的任务，跳出烦恼的圈子，仔细思考一下

不错，赞一个

]]> 羽高 关于 QConBeijing归来 的评论 http://bigtoy4boy.com/blog/2009/04/review-of-qcon-beijing-2009/comment-page-1/#comment-209 羽高 Fri, 17 Apr 2009 15:01:55 +0000 http://www.bigtoy4boy.com/blog/?p=175#comment-209 呵呵，fenng我在会上见到了，稍后传给你一些录音资料吧 呵呵，fenng我在会上见到了，稍后传给你一些录音资料吧

]]>