Commit Graph

Select branches

Hide Pull Requests

master

patch-1.7.3

premerge

refactor-network

refactor-network-aiohttp

#102

#105

#106

#108

#112

#113

#115

#116

#117

#125

#126

#128

#129

#130

#136

#137

#146

#149

#159

#161

#162

#163

#164

#170

#171

#172

#173

#174

#177

#178

#179

#181

#189

#19

#190

#20

#201

#21

#210

#211

#217

#218

#219

#221

#224

#225

#228

#23

#231

#234

#237

#239

#240

#241

#247

#252

#257

#261

#265

#267

#272

#274

#276

#277

#278

#279

#280

#281

#281

#282

#282

#283

#283

#284

#288

#298

#302

#308

#311

#32

#321

#322

#323

#327

#340

#349

#350

#356

#357

#362

#370

#371

#374

#376

#377

#378

#380

#381

#382

#385

#387

#389

#391

#417

#430

#435

#436

#437

#438

#439

#440

#441

#446

#475

#486

#503

#51

#514

#517

#517

#520

#520

#521

#521

#522

#522

#523

#523

#525

#525

#535

#535

#556

#556

#557

#557

#564

#564

#565

#565

#567

#567

#577

#585

#585

#586

#586

#593

#593

#79

#83

#87

#88

#89

v0.1

v0.2

v0.3

v0.4

v0.5

v0.6

v1.0

v1.1

v1.2

v1.3

v1.4

v1.4.1

v1.4.2

v1.5

v1.5.1

v1.6

v1.6.1

v1.7

v1.7.1

v1.7.2

v1.7.3

v1.8

Mono Color

• 7521a6fa1c 添加下载高清封面的功能 Yuukiy 2021-02-17 13:14:24 +08:00
• 850e254a31 改进代理配置 Yuukiy 2021-02-17 12:06:24 +08:00
• bce8a7e750 丢弃airav中被标记为'馬賽克破壞版'的影片的部分不准确字段的信息 Yuukiy 2021-02-17 11:45:21 +08:00
• 547c88e03c fc2.py: 遇到无效的FC2番号时直接抛出异常 Yuukiy 2021-02-14 23:37:04 +08:00
• e3dad2c99b jav321.py: 解析jav321的数据 Yuukiy 2021-02-14 23:27:08 +08:00
• 14e6311d84 Fix typo Yuukiy 2021-02-14 10:47:09 +08:00
• 1eeab2dff5 改进抓取器的单元测试脚本和数据抓取脚本，使之支持基于cid的fanza Yuukiy 2021-02-12 16:41:24 +08:00
• a0375a8dbe 解析带有预览视频的airav, fanza, mgstage的预览视频地址 Yuukiy 2021-02-12 16:25:20 +08:00
• 5e185eda11 fanza.py: 解析FANZA的数据 Yuukiy 2021-02-12 15:19:00 +08:00
• e2fcbafcbd mgstage.py: 解析 蚊香社-mgstage 的数据 Yuukiy 2021-02-12 00:07:44 +08:00
• b5fd05be3f 增加airav和prestige的测试数据，启用代理重新抓取测试数据（今后的测试主要在代理环境下） Yuukiy 2021-02-10 22:52:00 +08:00
• 9ac6adeee0 javbus.py: 解决JavBus调整后获取不到genre的问题（添加了反馈genre的按钮，影响了此前对genre的定位方法） Yuukiy 2021-02-10 22:40:46 +08:00
• 84ee829457 将调用抓取器并生成本地测试数据的功能单独提取为一个工具脚本 Yuukiy 2021-02-10 22:15:25 +08:00
• 46f37dc9ab 删除残留在'base.py': '__all__'中的'is_url' Yuukiy 2021-02-10 21:43:44 +08:00
• d86bfa20e5 prestige.py: 解析蚊香社-prestige的数据 Yuukiy 2021-02-10 21:11:59 +08:00
• 64eeea7e2f 更新javlib的永久地址 Yuukiy 2021-02-09 22:35:03 +08:00
• 5b825b9fe4 将抓取器的导入放在'JavSP.py'中进行，以彻底解决自'15f4d53'开始的循环导入的问题 Yuukiy 2021-02-08 23:36:34 +08:00
• 86ff6adc5d 对于有办法获取免代理地址的站点，根据是否设置了代理来选择爬取时使用的地址 Yuukiy 2021-02-08 22:32:04 +08:00
• ca6bb6015b config.py: 重新组织代码结构 Yuukiy 2021-02-07 19:44:02 +08:00
• b37b415a32 根据配置文件的代理设置发起网络请求 Yuukiy 2021-02-07 18:41:46 +08:00
• 15f4d53c41 解除'core.config'对其他模块的依赖，避免（由于循环导入）无法在'web.base'中读取配置 Yuukiy 2021-02-07 18:17:16 +08:00
• 8894282fbd javlib.py: Fix typo Yuukiy 2021-02-07 18:08:32 +08:00
• e035576ccf fc2: 解决网页请求未携带headers导致获取到的预览视频地址无效的问题 Yuukiy 2021-02-07 17:35:45 +08:00
• 41d8af3386 添加fc2的单元测试数据 Yuukiy 2021-02-07 17:04:22 +08:00
• eb19ed044f fc2fan.py: 解析fc2fan本地镜像（如果有）的数据 Yuukiy 2021-02-07 17:02:25 +08:00
• e7f16af28b [努力]获取fc2的评分和预览视频 Yuukiy 2021-02-07 15:48:59 +08:00
• 4900be7526 fc2.py: 解析fc2官网影片页面的数据 Yuukiy 2021-02-07 14:36:10 +08:00
• a5db498269 nfo: 解决写入nfo时如果女优预览图为空会报错的问题 Yuukiy 2021-02-07 00:27:22 +08:00
• 6c77c9d0b5 将logging的FileHandler移到config模块中，使得导入了config模块的文件可以生成debug级别的日志 Yuukiy 2021-02-07 00:26:48 +08:00
• c516ebec7b javlib: 改进对多个搜索结果的处理，尝试自动选择，无法自动选择时报错提示用户 Yuukiy 2021-02-07 00:06:38 +08:00
• 8124decec1 nfo: 如果标题被处理过，则同时写入原始标题 Yuukiy 2021-02-06 22:37:38 +08:00
• 35d2c1fd2a 添加抓取javlib genre的功能并将抓取的数据保存到文件 Yuukiy 2021-02-06 22:22:39 +08:00
• 93c3286ef1 解决写入nfo时日期总是被写成固定日期的问题 Yuukiy 2021-02-06 22:08:48 +08:00
• 0e7ac1fd1a 添加airav的测试数据 Yuukiy 2021-02-06 22:07:32 +08:00
• 99c59837af 不再强行将'publish_date'转换为'datetime.date'类型 Yuukiy 2021-02-06 22:06:10 +08:00
• b4a09b6245 将genre tag的id单独作为一个字段，写入nfo时如果存在女优头像则一并写入 Yuukiy 2021-02-06 21:59:12 +08:00
• c7f2ff49a9 javbus: 解析女优头像，移除对磁力链接的解析（因为磁链是js加载的，实际并不能解析） Yuukiy 2021-02-06 21:33:08 +08:00
• 0ec004742b 添加抓取avsox genre的功能并将抓取的数据保存到文件 Yuukiy 2021-02-06 20:52:33 +08:00
• a20f2f17ef 更新'test_crawlers.py'的单元测试数据 Yuukiy 2021-02-06 19:20:13 +08:00
• 382bab969b 添加获取不到免代理地址时的异常处理 Yuukiy 2021-02-06 19:16:25 +08:00
• a6036610ce 将JavBus的有码和无码的genre数据文件合并为一个 Yuukiy 2021-02-06 18:50:22 +08:00
• 0994d779e4 nfo: 新增/改进 runtime, plot, genre, tag字段的写入 Yuukiy 2021-02-06 18:21:30 +08:00
• 72e2852ecf javbus, javdb: 从genre判断影片有码无码，通过genre id来获取翻译后的genre Yuukiy 2021-02-06 18:02:32 +08:00
• bbce260464 将已有的genre翻译数据（JavBus&JavDB）迁移到.csv Yuukiy 2021-02-06 17:23:41 +08:00
• 99eb0f90cb 添加抓取javdb genre的功能并将抓取的数据保存到文件 Yuukiy 2021-02-06 16:53:45 +08:00
• 76769185cc 将抓取的javbus genre保存到数据文件 Yuukiy 2021-02-06 15:22:45 +08:00
• f404368216 添加工具脚本，用来获取JavBus的各语言genre分类对照 Yuukiy 2021-02-06 15:08:08 +08:00
• 243676f67d javdb: 解决在'get_html'中执行绝对URL转换后，javdb获取到错误url的问题 Yuukiy 2021-02-06 14:13:25 +08:00
• 1326a8d081 根据配置文件设置并发任务的timeout时间，以避免在网络请求结束前终止并发任务 Yuukiy 2021-02-06 14:12:04 +08:00
• c7c0a089d8 略微改进部分代码的写法和交互文案等 Yuukiy 2021-02-06 13:40:48 +08:00
• 1e25fac50f 增加对airav是否有影片信息的判断 Yuukiy 2021-02-04 21:11:40 +08:00
• 8a5924a39d 利用lxml.html原生的功能执行绝对URL转换 Yuukiy 2021-02-04 20:46:14 +08:00
• 55e9e7c78b 解析airav影片页面的数据 Yuukiy 2021-02-04 00:50:10 +08:00
• 74bf4e7177 添加从标题尾部移除女优名的功能并通过配置文件进行控制 Yuukiy 2021-02-03 22:22:18 +08:00
• ee3b93dbfd 添加函数对JavBus和JavDB解析后的genre进行处理 Yuukiy 2021-02-03 20:25:29 +08:00
• 7011965da6 从jsonc文件读取genre映射表 Yuukiy 2021-02-03 20:23:04 +08:00
• 4e82be900d javlib.py: 存在多个搜索结果时，自动选择完全匹配番号的结果 Yuukiy 2021-02-01 00:19:22 +08:00
• 9ffc8e6c61 调整部分变量名，优化信息输出 Yuukiy 2021-01-31 23:46:04 +08:00
• 9b00a6192f 修复此前的多线程未生效的问题，遇到网络错误时自动重试 Yuukiy 2021-01-31 18:19:26 +08:00
• b9abe03cb5 汇集各个抓取器的数据用于最终的文件整理和NFO数据写入 Yuukiy 2021-01-31 16:40:46 +08:00
• 02ebafcb54 实现并行抓取的基本函数 Yuukiy 2021-01-31 15:14:57 +08:00
• 96e0ebc855 从配置中读取不同来源的影片应使用的抓取器 Yuukiy 2021-01-31 14:05:35 +08:00
• 6646d2f196 将日志配置置于模块导入之前，以确保正确显示和处理模块中的日志 Yuukiy 2021-01-31 11:52:30 +08:00
• 7551013697 添加JavDB有码分类的校对后翻译并同步更新JavBus中的部分翻译 Yuukiy 2021-01-31 11:06:39 +08:00
• f4f420ddf0 禁用导入的模块中的日志，避免日志文件中产生大量DEBUG信息（对在运行中选择性导入的模块无效） Yuukiy 2021-01-30 22:57:11 +08:00
• 3bfd2c88f2 配置日志模块，按照不同日志级别将日志信息输出到console和文件 Yuukiy 2021-01-30 22:02:04 +08:00
• b85caa3cd5 添加JavBus有码分类的校对后翻译 Yuukiy 2021-01-28 23:50:14 +08:00
• 39250e5e19 按照配置文件中的命名规则整理影片、封面、NFO文件 Yuukiy 2021-01-26 23:43:48 +08:00
• dc1fe991ab JavSP.py: 将抓取数据、下载图片、裁剪、写入NFO等流程组织起来的初版程序 Yuukiy 2021-01-26 21:23:47 +08:00
• d9106af64c Add nfo.py: 将影片信息写入nfo文件 Yuukiy 2021-01-25 00:39:04 +08:00
• 600cf5f2ae config.py: 检查用户填写在'ProxyFree'字段中的各URL是否为有效地址 Yuukiy 2021-01-24 00:25:08 +08:00
• 980afe7b38 获取免代理地址时优先检查配置文件中的地址 Yuukiy 2021-01-23 23:30:07 +08:00
• ec8a9709f1 各抓取器使用的免代理地址改为从配置文件读取 Yuukiy 2021-01-23 23:29:29 +08:00
• 12fd2a02fb 创建'MovieInfo'和'Movie'实例时加强对参数的检查，移除对pid的支持 Yuukiy 2021-01-23 22:22:35 +08:00
• 81a8e15d6b 解决'get_cid()'无法正确匹配分段影片的cid的问题 Yuukiy 2021-01-22 23:41:30 +08:00
• 014bfc053f 'get_cid()': 尝试将给定的文件名匹配为CID Yuukiy 2021-01-22 23:21:56 +08:00
• 75cf5a2964 由'Config.norm_config'方法收集用来调整配置格式的其他方法并自动执行 Yuukiy 2021-01-18 22:47:45 +08:00
• 2a5fb7386f 完成基本的扫描影片文件的功能 Yuukiy 2021-01-18 22:02:49 +08:00
• a7677e5162 config.py: 当模块被导入时自动读取配置文件生成'cfg'实例，便于其他模块使用配置 Yuukiy 2021-01-17 17:48:03 +08:00
• 5161a9dc2c javlib: 适配没有评分的影片 Yuukiy 2021-01-17 17:32:41 +08:00
• a85d1ccee8 将保存影片属性的类重命名为'MovieInfo' Yuukiy 2021-01-17 16:47:37 +08:00
• b82696741e 添加基本的请求文件目录和图片处理相关功能 Yuukiy 2021-01-17 16:34:19 +08:00
• 3640287161 改进'Config'类，使之支持用'cfg.sec.key = value'的语法赋值 Yuukiy 2021-01-17 12:06:16 +08:00
• cbc9e9afef 添加初版配置文件和配置文件解析模块 Yuukiy 2021-01-17 00:33:19 +08:00
• 8fd4582089 根据测试数据文件夹中的文件，爬取对应的在线数据进行比较 Yuukiy 2021-01-15 21:31:56 +08:00
• 98603b8bb0 调用各个抓取器生成同一影片的数据，用于辅助创建测试用例 Yuukiy 2021-01-15 00:42:38 +08:00
• b3fd11aaad 重命名爬虫的测试文件，更新javbus的测试用例 Yuukiy 2021-01-14 21:48:00 +08:00
• f71df3cf75 解决无法获取JavDB的防屏蔽地址的问题 Yuukiy 2021-01-13 23:27:22 +08:00
• 7363a83ba8 统一各抓取器中字段的数据类型（如'cover'统一为字符串而非字符串列表） Yuukiy 2021-01-13 23:04:03 +08:00
• 8fc4041916 javdb.py: 自适应'导演'、'系列'或'评分'字段缺失的影片 Yuukiy 2021-01-13 22:29:23 +08:00
• 71a4c2e6ab 将所有import前对sys.path的修改，改为相对于文件自身（而不是cwd），以解决非特定目录导入失败的问题 Yuukiy 2021-01-12 22:28:22 +08:00
• e04ba2ee50 javbus.py: 增加对'系列'字段的匹配，适配部分不存在导演信息的影片 Yuukiy 2021-01-12 22:17:29 +08:00
• af6dfff585 添加javbus.py的测试用例 Yuukiy 2021-01-10 19:07:12 +08:00
• f7bf05dca8 修复Movie类的__init__方法在使用番号创建实例时的bug Yuukiy 2021-01-10 18:28:39 +08:00
• acbf321745 各抓取器在'__main__'下的小改进 Yuukiy 2021-01-10 18:04:11 +08:00
• c827028cd1 更新Movie类的__init__方法: 使用from_file参数通过读取文件创建实例 Yuukiy 2021-01-10 17:41:45 +08:00
• 2d6dba8652 为Movie类添方法: __str__, __eq__, load, dump Yuukiy 2021-01-10 17:01:04 +08:00
• 218a9736ac 解析avsox影片页面的所有与影片相关的数据 Yuukiy 2021-01-10 14:17:50 +08:00
• 6fba794aea 统一影片评分为10分制 Yuukiy 2021-01-10 13:17:31 +08:00
• e3fd45cca2 解析JavLibrary影片页面的所有与影片相关的数据 Yuukiy 2021-01-10 13:15:11 +08:00