From b253fed0068866b62fc11f87a15337d84fc4f048 Mon Sep 17 00:00:00 2001 From: wangqifan <1694675518@qq.com> Date: Sun, 5 Feb 2017 09:46:33 +0800 Subject: [PATCH 1/4] Create README.md --- README.md | 2 ++ 1 file changed, 2 insertions(+) create mode 100644 README.md diff --git a/README.md b/README.md new file mode 100644 index 0000000..a381f99 --- /dev/null +++ b/README.md @@ -0,0 +1,2 @@ +# ProxyPool +自建代理池博客地址:https://www.cnblogs.com/zuin From eb6324937a8e4e43c5149466c43e7b3d14412663 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=8E=8B=E8=B5=B7=E5=B8=86?= <1694675518@qq.com> Date: Wed, 8 Feb 2017 17:41:48 +0800 Subject: [PATCH 2/4] Update README.md --- README.md | 16 ++++++++++++++-- 1 file changed, 14 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index a381f99..40f29ab 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,14 @@ -# ProxyPool -自建代理池博客地址:https://www.cnblogs.com/zuin +应用场景 +   爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉,或者有些网站对我们的Ip有限制,一个IP之能操作一次,这个时候就需要设置代理了。这方面需求还是很大的,有专门的服务商提供代理,没钱的自己动手打造一个代理池吧。 +  +所用的工具 +  +  Redis的C#驱动-ServiceStack.Redis +  +  Html解析-HtmlAgilityPack  任务调度-Quartz.NET +  +基本原理 +  +  部分网站上有免费的代理IP信息,比如xicidaili.com,proxy360.cn。这些网站有很多免费代理IP,然而有些质量不好,需要程序及时从代理池中删掉质量低的代理,不断加入优质代理。 +  思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool +博客地址:https://www.cnblogs.com/zuin From 4060699c53456230b6c30e840ef8916adff7fefb Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=8E=8B=E8=B5=B7=E5=B8=86?= <1694675518@qq.com> Date: Wed, 8 Feb 2017 17:47:37 +0800 Subject: [PATCH 3/4] Update README.md --- README.md | 7 ++++++- 1 file changed, 6 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 40f29ab..6ae068e 100644 --- a/README.md +++ b/README.md @@ -1,14 +1,19 @@ 应用场景 +    爬虫过于频繁的抓取网站信息会被反爬虫机制屏蔽掉,或者有些网站对我们的Ip有限制,一个IP之能操作一次,这个时候就需要设置代理了。这方面需求还是很大的,有专门的服务商提供代理,没钱的自己动手打造一个代理池吧。   + 所用的工具     Redis的C#驱动-ServiceStack.Redis     Html解析-HtmlAgilityPack  任务调度-Quartz.NET +   基本原理     部分网站上有免费的代理IP信息,比如xicidaili.com,proxy360.cn。这些网站有很多免费代理IP,然而有些质量不好,需要程序及时从代理池中删掉质量低的代理,不断加入优质代理。 -  思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool +  +思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool + 博客地址:https://www.cnblogs.com/zuin From c6775c31eeed5a7ec00d0fe061c5b810846216c7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=8E=8B=E8=B5=B7=E5=B8=86?= <1694675518@qq.com> Date: Wed, 8 Feb 2017 17:48:45 +0800 Subject: [PATCH 4/4] Update README.md --- README.md | 6 +++++- 1 file changed, 5 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 6ae068e..e100a58 100644 --- a/README.md +++ b/README.md @@ -4,6 +4,7 @@   所用的工具 +     Redis的C#驱动-ServiceStack.Redis   @@ -11,9 +12,12 @@   基本原理 +     部分网站上有免费的代理IP信息,比如xicidaili.com,proxy360.cn。这些网站有很多免费代理IP,然而有些质量不好,需要程序及时从代理池中删掉质量低的代理,不断加入优质代理。 -  +  + 思路来自知乎-https://www.zhihu.com/question/25566731# ProxyPool + 博客地址:https://www.cnblogs.com/zuin