GithubStar/shark

mirror of https://github.com/supernebula/shark.git synced 2026-10-29 15:12:02 +08:00

T

supernebula 8e11e90355

2018-01-03 19:12:14 +08:00

EA

2018-01-02 00:18:06 +08:00

2017-02-21 10:06:56 +08:00

2018-01-03 19:12:14 +08:00

2018-01-02 19:08:47 +08:00

.gitattributes

用于添加默认 .gitIgnore 和 .gitAttribute 文件的初始提交。

2016-02-15 22:43:13 +08:00

.gitignore

用于添加默认 .gitIgnore 和 .gitAttribute 文件的初始提交。

2016-02-15 22:43:13 +08:00

CodeMap1.dgml

2017-03-05 23:01:30 +08:00

DuplicateAssert.txt

2017-03-05 23:01:30 +08:00

LICENSE

License

2017-10-16 14:23:42 +08:00

Plunder.sln

2018-01-03 19:11:22 +08:00

README.md

Update README.md

2017-12-26 13:33:11 +08:00

README.md

Shark

(Plunder)

可配置、插件化的爬虫引擎，二次开发框架；大数据累积项目。

支持单例、分布式部署。

Configurable, pluginable crawler engine, secondary development framework.

Modules：

Engine、Scheduler、ExcludeDuplicateFilter、Downloader、Analyzer、Producer、ResultPipeline、Log、Configuration ...

Version

0.8 beta

License

Apache License, Version 2.0