mirror of
https://github.com/wangqifan/ProxyPool.git
synced 2026-10-16 20:50:32 +08:00
王起帆
31 lines
1.1 KiB
Markdown
31 lines
1.1 KiB
Markdown
ProxyPool
|
||
======
|
||
|
||
应用场景
|
||
----
|
||
爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉，或者有些网站对我们的Ip有限制，一个IP之能操作一次，这个时候就需要设置代理了。这方面需求还是很大的，有专门的服务商提供代理，没钱的自己动手打造一个代理池吧。应用实例：[知乎爬虫](https://github.com/wangqifan/ZhiHu)<br>
|
||
|
||
所用的工具
|
||
------
|
||
* Redis的C#驱动-ServiceStack.Redis
|
||
* Html解析-HtmlAgilityPack
|
||
* 任务调度-Quartz.NET
|
||
|
||
|
||
基本思路
|
||
----
|
||
部分网站上有免费的代理IP信息，比如xicidaili.com，proxy360.cn。这些网站有很多免费代理IP，然而有些质量不好，需要程序及时从代理池中删掉质量低的代理，不断加入优质代理。<br>
|
||
|
||
|
||
|
||
原理图
|
||
--
|
||
|
||
|
||
|
||
备注
|
||
--------------
|
||
[思路来自知乎](https://www.zhihu.com/question/25566731)<br>
|
||
[博客地址](https://www.cnblogs.com/zuin)<br>
|
||
[我的知乎爬虫](https://github.com/wangqifan/ZhiHu)
|