mirror of
https://github.com/wangqifan/ProxyPool.git
synced 2026-10-16 20:50:32 +08:00
Update README.md
This commit is contained in:
@@ -1,14 +1,19 @@
|
||||
应用场景
|
||||
|
||||
爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉,或者有些网站对我们的Ip有限制,一个IP之能操作一次,这个时候就需要设置代理了。这方面需求还是很大的,有专门的服务商提供代理,没钱的自己动手打造一个代理池吧。
|
||||
|
||||
|
||||
所用的工具
|
||||
|
||||
Redis的C#驱动-ServiceStack.Redis
|
||||
|
||||
Html解析-HtmlAgilityPack 任务调度-Quartz.NET
|
||||
|
||||
|
||||
基本原理
|
||||
|
||||
部分网站上有免费的代理IP信息,比如xicidaili.com,proxy360.cn。这些网站有很多免费代理IP,然而有些质量不好,需要程序及时从代理池中删掉质量低的代理,不断加入优质代理。
|
||||
思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool
|
||||
|
||||
思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool
|
||||
|
||||
博客地址:https://www.cnblogs.com/zuin
|
||||
|
||||
Reference in New Issue
Block a user