ProxyPool

应用场景

爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉，或者有些网站对我们的Ip有限制，一个IP之能操作一次，这个时候就需要设置代理了。这方面需求还是很大的，有专门的服务商提供代理，没钱的自己动手打造一个代理池吧。

所用的工具

  * Redis的C#驱动-ServiceStack.Redis
  * Html解析-HtmlAgilityPack
  * 任务调度-Quartz.NET

基本思路

  部分网站上有免费的代理IP信息，比如xicidaili.com，proxy360.cn。这些网站有很多免费代理IP，然而有些质量不好，需要程序及时从代理池中删掉质量低的代理，不断加入优质代理。

原理图

备注

思路来自知乎
博客地址
我的知乎爬虫