 xming521
|
d113218e42
|
更新README文档；修改清理策略中的评分解析逻辑。
|
2025-07-04 20:51:38 +08:00 |
|
|
xming521
|
38113a2524
|
翻译注释日志为英文
|
2025-07-01 20:00:34 +08:00 |
|
|
xming521
|
256a601d9f
|
在qa_generator.py中设置VLLM_WORKER_MULTIPROC_METHOD环境变量为"spawn"；删除train_pt.py文件。
|
2025-06-30 20:42:39 +08:00 |
|
|
xming521
|
16ec7178d7
|
更新README文档，翻译部分内容为英文并调整格式； 翻译注释 和 日志。
|
2025-06-30 20:02:25 +08:00 |
|
|
xming521
|
2f9cc52955
|
更新pyproject.toml以添加pip依赖；优化README文档，增强数据预处理说明；调整日志系统配置，支持从配置文件读取日志等级；重构PII检测器，简化代码并添加自定义识别器；更新数据处理逻辑以支持多语言和隐私过滤。
|
2025-06-27 23:05:45 +08:00 |
|
|
xming521
|
6df8c5cf2f
|
使用presidio进行隐私过滤 ; 添加语言支持配置；优化日志系统，hook标准logging到loguru。
|
2025-06-26 22:54:45 +08:00 |
|
|
xming521
|
b265edf2fc
|
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
|
2025-06-26 15:10:09 +08:00 |
|
|
xming521
|
05c419c34b
|
优化Telegram解析器；重构配置模型，统一基类为BaseConfigModel，调整多个配置类以支持额外字段的处理策略。
|
2025-06-25 11:41:59 +08:00 |
|
|
xming521
|
fc89b802a5
|
更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。
|
2025-06-25 10:50:42 +08:00 |
|
|
xming521
|
43b22ce903
|
调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。
|
2025-06-23 18:06:55 +08:00 |
|
|
xming521
|
aeedf9eefb
|
优化vllm_infer函数，添加失败索引返回，改进JSON解析逻辑；在QaPairScore中设置评分范围，更新清理策略以处理解析失败的情况。
|
2025-06-22 20:20:53 +08:00 |
|
|
xming521
|
81999f861a
|
在offline_infer.py中添加从文本中提取JSON内容的功能，并优化vllm_infer函数的结果解析；在strategies.py中修正vllm_infer的输出处理逻辑。
|
2025-06-21 13:50:17 +08:00 |
|
|
xming521
|
19e1fde810
|
更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程。
|
2025-06-14 11:40:31 +08:00 |
|
|
xming521
|
4ca715768e
|
新增enable_thinking参数以支持推理过程中的思考功能；更新repetition_penalty和max_new_tokens配置以优化数据清理策略。
|
2025-06-13 21:36:06 +08:00 |
|
|
xming521
|
e239893884
|
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
|
2025-06-13 15:49:02 +08:00 |
|
|
xming521
|
53fc844403
|
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
|
2025-06-13 12:02:27 +08:00 |
|
|
BAIKEMARK
|
f3f0b61ad9
|
更新setting模板
|
2025-06-12 20:34:01 +08:00 |
|
|
BAIKEMARK
|
f3e9efc6fc
|
refactor(data): 重构数据清洗逻辑并更新评估标准
|
2025-06-12 19:45:00 +08:00 |
|
|
BAIKEMARK
|
9f4a8f60a0
|
feat(data): 支持图像识别并优化数据清洗流程
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
|
2025-06-12 13:13:57 +08:00 |
|
|
xming521
|
4df64be831
|
fix text cleandata，add 风格代表性。
|
2025-06-12 11:37:58 +08:00 |
|
|
xming521
|
386bf5d8d9
|
fix log
|
2025-06-11 21:50:59 +08:00 |
|
|
pre-commit-ci[bot]
|
d006cc1ae1
|
🎈 auto fixes by pre-commit hooks
|
2025-06-11 04:03:36 +00:00 |
|
|
xming521
|
c77cdee043
|
修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。
|
2025-06-11 11:57:55 +08:00 |
|
|
xming521
|
247383e4f3
|
更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。
|
2025-06-10 17:31:34 +08:00 |
|
|
pre-commit-ci[bot]
|
cf30258091
|
🎈 auto fixes by pre-commit hooks
|
2025-06-09 03:27:38 +00:00 |
|
|
xming521
|
247920fe00
|
更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。
|
2025-06-09 11:26:14 +08:00 |
|
|
xming521
|
3842932cab
|
更新README.md；调整mllm模板中的训练参数。
|
2025-06-06 20:52:44 +08:00 |
|
|
xming521
|
48f0ed3465
|
更新pyproject.toml，更新README.md。
|
2025-06-03 22:34:44 +08:00 |
|
|
xming521
|
2a868a1314
|
更新README.md
|
2025-06-01 22:57:55 +08:00 |
|
|
xming521
|
4a614800ca
|
修改wechat_parser.py以支持命令行参数传递微信个人文件夹路径并优化图片复制功能。
|
2025-06-01 20:22:23 +08:00 |
|
|
xming521
|
a12a0671f0
|
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
|
2025-05-31 22:19:01 +08:00 |
|
|
xming521
|
11b0e3fbd3
|
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
|
2025-05-31 10:24:51 +08:00 |
|
|
xming521
|
7ee6289ae4
|
修正check_image_file_exists函数中的文件匹配逻辑。
|
2025-05-30 15:49:20 +08:00 |
|
|
xming521
|
0f9d737433
|
length_cdf间隔将其固定为512。
|
2025-05-30 15:20:08 +08:00 |
|
|
xming521
|
4d69b0c9b6
|
更新mllm模板以支持最大图片数量，优化数据处理逻辑。
|
2025-05-29 23:20:11 +08:00 |
|
|
xming521
|
b09edad868
|
improve qag V2
|
2025-05-28 23:21:53 +08:00 |
|
|
xming521
|
babba7233a
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-28 19:55:36 +08:00 |
|
|
Mark
|
1898e48107
|
Merge branch 'master' into update-clean-strategy
|
2025-05-28 18:56:44 +08:00 |
|
|
BAIKEMARK
|
f2e79ad411
|
Fixed the bug where vllm uninstallation caused the inability to use online cleaning.
|
2025-05-28 18:54:15 +08:00 |
|
|
xming521
|
7e4b0433f1
|
add QaPairV2
|
2025-05-27 23:07:17 +08:00 |
|
|
xming521
|
5c28bf084e
|
更新数据模型以支持ShareGPT格式，新增QaPairV2类和Message类，修改数据处理逻辑以支持图片消息，优化图片文件检查功能。
|
2025-05-25 23:23:58 +08:00 |
|
|
xming521
|
54cc16d29d
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-24 23:27:29 +08:00 |
|
|
xming521
|
07662a3dc1
|
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
|
2025-05-24 23:24:26 +08:00 |
|
|
小铭
|
39ae0c791a
|
Merge pull request #126 from BAIKEMARK/update-clean-strategy
fix onlin clean strategy and update README.md
|
2025-05-24 22:53:14 +08:00 |
|
|
BAIKEMARK
|
ddd6b49af3
|
Changed commentjson back to json
|
2025-05-24 22:15:27 +08:00 |
|
|
BAIKEMARK
|
b8b566f89b
|
Debug and Update README
|
2025-05-24 22:10:21 +08:00 |
|
|
xming521
|
9547392c5b
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-24 15:33:23 +08:00 |
|
|
xming521
|
9f59ec4261
|
更新版本号至0.2.22，添加微信图片复制功能，更新.gitignore以包含新目录
|
2025-05-24 15:32:37 +08:00 |
|
|
小铭
|
6d3971fc44
|
Merge pull request #124 from BAIKEMARK/update-clean-strategy
Modify the clean policy to retain LLM scoring results.
|
2025-05-24 15:30:00 +08:00 |
|
|
BAIKEMARK
|
7cd7740d5e
|
完善clean_by_score逻辑并将其整合至strategies
|
2025-05-24 10:50:52 +08:00 |
|