Commit Graph

Select branches

Hide Pull Requests

3.1.1

backup20200402

master

refactory-5.0

renovate/configure

#1

#10

#10

#100

#110

#112

#12

#12

#120

#121

#125

#126

#127

#13

#13

#135

#136

#137

#138

#14

#14

#141

#142

#143

#145

#149

#15

#15

#151

#152

#153

#158

#159

#16

#161

#162

#172

#174

#181

#189

#192

#216

#217

#218

#229

#234

#237

#238

#239

#24

#240

#241

#242

#243

#244

#245

#25

#25

#251

#252

#264

#267

#267

#268

#268

#271

#273

#273

#274

#28

#3

#30

#35

#36

#37

#38

#39

#4

#4

#41

#42

#43

#44

#44

#45

#46

#47

#47

#49

#51

#52

#57

#6

#6

#67

#7

#7

#72

#75

#86

#89

#92

#98

2.3.8

2.3.9

2.4.3

2.4.5

2.5.0

2.5.1

20180718

20200403

3.0.0

3.0.1

3.0.2

3.0.4

3.0.5

3.0.8

3.1.0

5.0.3

5.1.5

Mono Color

• c658e373d2 1. kafka eventbus remove useless line 2. impl mysql request index storage 3. impl hbase response storage 4. fix console entity storage issue 5. upgrade request hash compute logic Lewis 2019-08-26 19:38:20 +08:00
• 3c626c4401 Delete yarn.lock Lewis Zou 2019-08-06 00:22:50 +08:00
• 1f4848d487 replace mysql.data instead of mydqlconntor Lewis Zou 2019-08-05 23:49:43 +08:00
• 29b53cd6b4 修复测试用例 Lewis 2019-08-05 09:42:34 +08:00
• 17d461121f update jquery version Lewis 2019-08-02 15:10:28 +08:00
• c9b38028c6 Merge pull request #137 from Varorbc/master Lewis Zou 2019-08-02 12:53:44 +08:00
• 97ab284dd6 修改项目类型 Varorbc 2019-08-02 10:53:46 +08:00
• 92b37cd807 调整命名 Lewis Zou 2019-08-01 22:35:48 +08:00
• 95a93159d7 Merge pull request #136 from Varorbc/master Lewis Zou 2019-08-01 21:25:18 +08:00
• a017b7b20d Merge branch 'master' into master Lewis Zou 2019-08-01 21:24:54 +08:00
• efff470ca9 倒序显示image版本 Lewis 2019-08-01 17:43:28 +08:00
• 617f238196 Merge branch 'master' of github.com:dotnetcore/DotnetSpider Lewis 2019-08-01 16:51:32 +08:00
• 06d7d09c0b 修复下载请求推送全量的错误 调整版本号 PORTAL打印时间 Lewis 2019-08-01 16:50:37 +08:00
• e1e36ebfc3 1. fix sqlserver issue for portal 2. fix test cases issue Lewis Zou 2019-07-31 23:01:44 +08:00
• e27e27d622 Update README.md Lewis Zou 2019-07-31 22:50:21 +08:00
• d07845f347 修复测试用例 Lewis Zou 2019-07-31 22:44:49 +08:00
• 604267a730 抽离MySql作为单独项目 Varorbc 2019-07-31 15:48:09 +08:00
• f4e72a9b03 统一包信息 Varorbc 2019-07-31 09:49:09 +08:00
• 73c301e2c5 update readme Lewis Zou 2019-07-30 23:40:32 +08:00
• 1d9b5cd860 优化爬虫参数 删除无用文件 Lewis Zou 2019-07-30 23:33:22 +08:00
• 35fa660369 Merge pull request #135 from Varorbc/master Lewis Zou 2019-07-30 22:55:54 +08:00
• d203807da1 调整泛型 dataparser Lewis 2019-07-30 19:26:28 +08:00
• 73b0076182 添加indent_style规则 Varorbc 2019-07-29 14:13:44 +08:00
• 4aad80d1d6 优化包管理 Varorbc 2019-07-29 14:13:04 +08:00
• cce1f20843 添加编辑器配置 来自https://raw.githubusercontent.com/aspnet/EntityFrameworkCore/master/.editorconfig Varorbc 2019-07-29 13:37:28 +08:00
• 07ec80d5e4 日志英文化 Lewis Zou 2019-07-26 00:01:00 +08:00
• 692a5a5b47 日志英文化 Lewis Zou 2019-07-25 23:59:58 +08:00
• 8b8bae7b77 添加 AddFollowReqeusts 方法 Lewis 2019-07-25 19:31:05 +08:00
• 608648f346 1. PORTAL 去中文 2. 实现并联的例子 Lewis 2019-07-25 15:00:09 +08:00
• 26f89e4249 更新 nuget 版本 Lewis 2019-07-25 10:58:08 +08:00
• 870b8c5eb6 1. 修复不能设置 registry 为空 2. 修正默认任务的 cron 表达式 Lewis Zou 2019-07-25 01:15:58 +08:00
• 8815e0a380 1. 添加脚本 2. 修复 Portal 默认添加的任务是错的 Lewis Zou 2019-07-25 01:06:03 +08:00
• c23bfcddd1 1. 调整一些异步 2. 适配文档 Lewis Zou 2019-07-24 23:41:55 +08:00
• f6e6ffa244 去除敏感信息 Lewis 2019-07-24 18:07:07 +08:00
• 6709900348 1. 修复 portal 启动 Docker 实例参数不正确 2. UI 修复 Lewis 2019-07-24 17:27:57 +08:00
• c066ae9a9d 调整各种配置 解决 kafka 错误 Lewis 2019-07-24 14:59:27 +08:00
• 81a70aaed8 1. 调整 Kafka 配置为单独类 2. 实现 Kafka 用户授权认证 Lewis 2019-07-23 19:25:18 +08:00
• ba94eca3d1 remove something Lewis 2019-07-17 15:03:01 +08:00
• f88f9e6087 实现数据验证报告的发送 Lewis 2019-07-17 15:01:51 +08:00
• dd4c8fd657 Merge branch 'master' of github.com:dotnetcore/DotnetSpider Lewis 2019-07-16 15:20:46 +08:00
• 3f2715dfe7 修复 #128 错误 Lewis 2019-07-16 15:20:25 +08:00
• 2d95b4c896 Merge pull request #125 from Mahi-Uddin/master Lewis Zou 2019-07-16 15:13:52 +08:00
• 16932f861f 1. 设置列默认长度为 255 2. 命令行参数通过传参加载 3. Spider 中的 ServiceProvider 修改为保护类型 Lewis 2019-07-16 15:11:37 +08:00
• b6d9e55ac9 修复 dfs scheduler 的错误 Lewis 2019-07-16 11:21:07 +08:00
• 77473cbe3a 1. 调整GlobalValueSelector 设计 2. 修复 HttpClientDownloader POST 下默认设置为 application/json 的问题 3. 其它调整 Lewis 2019-07-16 11:00:31 +08:00
• fd2cd04122 1. 优化名称 2. 修复 UA, content-type 的设置 Lewis Zou 2019-07-16 00:49:04 +08:00
• 5ce1a5b5f0 1. 优化功能 2. 修复问题 Lewis 2019-07-15 21:10:22 +08:00
• f5fbb5d520 调整文档说明 Lewis Zou 2019-07-11 23:45:43 +08:00
• bebd6d3259 解决日志路径不正确的问题 Lewis 2019-07-11 18:08:01 +08:00
• a534f01208 pre release Lewis 2019-07-11 18:02:38 +08:00
• 8e9b53b9f9 1. 更新说明文档 2. 统一开发域名配置 Lewis Zou 2019-07-10 22:48:25 +08:00
• 6d6656f530 pre release Lewis 2019-07-10 19:02:13 +08:00
• 8cc8bbaa8c impl portal Lewis 2019-07-09 19:49:54 +08:00
• 3f3b926b50 impl portal Lewis Zou 2019-07-08 23:39:57 +08:00
• 5d33ddeb88 impl portal Lewis 2019-07-08 18:11:02 +08:00
• efa47c5281 impl spider docker Lewis 2019-07-05 17:38:25 +08:00
• 469efcaa31 fix issues Lewis 2019-07-05 14:28:57 +08:00
• a921608c4e refactory Lewis Zou 2019-07-04 23:16:43 +08:00
• c9b4e4d3ee update design image Lewis 2019-07-04 18:16:22 +08:00
• f2231ba8da Update README.md Lewis Zou 2019-07-04 18:14:18 +08:00
• b6906fadeb Update README.md Lewis Zou 2019-07-04 18:13:55 +08:00
• d4b51e7a35 Merge pull request #126 from dotnetcore/refactory Lewis Zou 2019-07-04 18:12:53 +08:00
• 93c8020e29 re-design Lewis 2019-07-04 18:11:55 +08:00
• 4de080390f fix some issues Lewis Zou 2019-06-30 21:59:06 +08:00
• 357d03e934 Merge pull request #121 from TTonlyV5/master Lewis Zou 2019-06-20 12:12:57 +08:00
• 33559e5496 Fix type in README.md Mahi-Uddin Zihad 2019-06-19 23:09:42 +06:00
• 377c24bcc5 1.Fix bug 2.Add DatabaseSpider.cs TTonlyV5 2019-05-30 22:23:31 +08:00
• 8cbd945ed3 Merge pull request #120 from sanjusss/3.1.1 Lewis Zou 2019-05-30 17:54:23 +08:00
• 190b4e365b 修复TableInfo测试用例拼写错误。 修复DonotUseAllPropertiesTable缺少测试属性的错误。 sanjusss 2019-05-24 23:19:33 +08:00
• 27537affaa 修复TableInfo中不能检测拥有不同属性的同名列的bug。 修复TableInfo中对于没有标记Column的属性提示为重复列的bug。 增加相关测试用例。 sanjusss 2019-05-24 23:04:53 +08:00
• 50184a66da 查看任务实例状态 Lewis Zou 2019-04-12 00:15:58 +08:00
• cc5f61d2c0 完成任务添加 完成任务启动 Lewis Zou 2019-04-11 23:46:51 +08:00
• c3a7ecba57 添加样例docker项目 Lewis Zou 2019-04-11 19:28:08 +08:00
• 07e8e61d91 实现 docker 的控制 Lewis Zou 2019-04-11 15:20:47 +08:00
• d2d22b6d0c 1. Fix SqlServerStorage create table sql issue 2. refactory portal Lewis Zou 2019-04-10 22:54:09 +08:00
• 0e2e9bbc1d 实现下载器代理的查看与监控 Lewis Zou 2019-04-10 12:52:07 +08:00
• c5da7e8c92 实现 PORTAL Lewis Zou 2019-04-09 19:11:19 +08:00
• fa9cfcddf0 1. 更新说明 2. 修改样列程序 Lewis Zou 2019-04-08 17:44:37 +08:00
• 32330ba31a 1. 打印信息调整 2. 修复下载中心同步数据 BUG 3. MySql 数据统计仓储实现 Lewis Zou 2019-04-08 17:02:48 +08:00
• 59964b2f86 1. 修复 MessageQueue 捕获不到异常的问题 2. 修复 DownloaderAgent 引起测试用例跑不过的问题 3. 修复获取无线网卡IP地址引起的异常 4. 重构分配下载请求到下载器代理的逻辑 Lewis Zou 2019-04-08 14:12:10 +08:00
• c10e5910ec Merge pull request #112 from dotnetcore/feature-downloader-persistence Lewis Zou 2019-04-08 09:49:02 +08:00
• b0cd70306f 添加分配下载请求逻辑 Lewis Zou 2019-04-07 11:22:50 +08:00
• 5c892cd07a 调整样例程序 Lewis Zou 2019-04-05 21:24:45 +08:00
• 0454106504 实现随机分配节点 Lewis Zou 2019-04-04 17:19:15 +08:00
• 4218f70444 下载器重试机制优化 jackical 2019-04-04 15:15:31 +08:00
• 2795eedb17 Merge branch 'master' into feature-downloader-persistence jackical 2019-04-04 08:51:57 +08:00
• 6e748ed885 实现分配算法 Lewis Zou 2019-04-03 23:47:38 +08:00
• 997bce4d85 1. 实现下载器代理的分配逻辑 2. 实现 2 种下载无回应的退出逻辑 Lewis Zou 2019-04-03 19:23:35 +08:00
• 9ddf45d995 添加持久化下载器支持 jackical 2019-04-03 16:51:31 +08:00
• 9402f0e332 1. 修改设计文件名 2. 添加配置项 Lewis Zou 2019-04-03 16:19:28 +08:00
• c4060d24ee 调整下载中心的配置 Lewis Zou 2019-04-02 23:49:09 +08:00
• 97edec9ff7 实现分布式的各个组件 Lewis Zou 2019-04-02 18:40:27 +08:00
• eedafae688 添加缺失文件 Lewis Zou 2019-04-02 11:51:51 +08:00
• a27b49b78e 1. 独立 Postgre 的存储器 2. 添加 MySql 的测试用例 Lewis Zou 2019-04-02 11:51:25 +08:00
• f7d28bd395 1. update readme 2. fix mysql entity storage bug Lewis Zou 2019-04-02 00:51:47 +08:00
• aa15e5b7ee IGNORE kafka test cases Lewis 2019-04-01 19:00:12 +08:00
• 800bb49ed2 Update azure-pipelines.yml for Azure Pipelines [skip ci] azure-pipelines[bot] 2019-04-01 10:07:18 +00:00
• 0ff01f9740 1. 解决一个包的引用问题（IDE BUG) 2. 实现 Kafka 的消息队列 Lewis 2019-04-01 17:47:19 +08:00
• 24a8688952 添加注释 Lewis 2019-04-01 12:45:48 +08:00
• 10830b2b81 fix networkcenter issue update test cases Lewis Zou 2019-03-31 12:45:11 +08:00