 xming521
|
3842932cab
|
更新README.md；调整mllm模板中的训练参数。
|
2025-06-06 20:52:44 +08:00 |
|
|
xming521
|
48f0ed3465
|
更新pyproject.toml，更新README.md。
|
2025-06-03 22:34:44 +08:00 |
|
|
xming521
|
2a868a1314
|
更新README.md
|
2025-06-01 22:57:55 +08:00 |
|
|
xming521
|
4a614800ca
|
修改wechat_parser.py以支持命令行参数传递微信个人文件夹路径并优化图片复制功能。
|
2025-06-01 20:22:23 +08:00 |
|
|
xming521
|
a12a0671f0
|
更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。
|
2025-05-31 22:19:01 +08:00 |
|
|
xming521
|
11b0e3fbd3
|
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
|
2025-05-31 10:24:51 +08:00 |
|
|
xming521
|
7ee6289ae4
|
修正check_image_file_exists函数中的文件匹配逻辑。
|
2025-05-30 15:49:20 +08:00 |
|
|
xming521
|
0f9d737433
|
length_cdf间隔将其固定为512。
|
2025-05-30 15:20:08 +08:00 |
|
|
xming521
|
4d69b0c9b6
|
更新mllm模板以支持最大图片数量，优化数据处理逻辑。
|
2025-05-29 23:20:11 +08:00 |
|
|
xming521
|
b09edad868
|
improve qag V2
|
2025-05-28 23:21:53 +08:00 |
|
|
xming521
|
babba7233a
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-28 19:55:36 +08:00 |
|
|
Mark
|
1898e48107
|
Merge branch 'master' into update-clean-strategy
|
2025-05-28 18:56:44 +08:00 |
|
|
BAIKEMARK
|
f2e79ad411
|
Fixed the bug where vllm uninstallation caused the inability to use online cleaning.
|
2025-05-28 18:54:15 +08:00 |
|
|
xming521
|
7e4b0433f1
|
add QaPairV2
|
2025-05-27 23:07:17 +08:00 |
|
|
xming521
|
5c28bf084e
|
更新数据模型以支持ShareGPT格式，新增QaPairV2类和Message类，修改数据处理逻辑以支持图片消息，优化图片文件检查功能。
|
2025-05-25 23:23:58 +08:00 |
|
|
xming521
|
54cc16d29d
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-24 23:27:29 +08:00 |
|
|
xming521
|
07662a3dc1
|
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
|
2025-05-24 23:24:26 +08:00 |
|
|
小铭
|
39ae0c791a
|
Merge pull request #126 from BAIKEMARK/update-clean-strategy
fix onlin clean strategy and update README.md
|
2025-05-24 22:53:14 +08:00 |
|
|
BAIKEMARK
|
ddd6b49af3
|
Changed commentjson back to json
|
2025-05-24 22:15:27 +08:00 |
|
|
BAIKEMARK
|
b8b566f89b
|
Debug and Update README
|
2025-05-24 22:10:21 +08:00 |
|
|
xming521
|
9547392c5b
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-24 15:33:23 +08:00 |
|
|
xming521
|
9f59ec4261
|
更新版本号至0.2.22，添加微信图片复制功能，更新.gitignore以包含新目录
|
2025-05-24 15:32:37 +08:00 |
|
|
小铭
|
6d3971fc44
|
Merge pull request #124 from BAIKEMARK/update-clean-strategy
Modify the clean policy to retain LLM scoring results.
|
2025-05-24 15:30:00 +08:00 |
|
|
BAIKEMARK
|
7cd7740d5e
|
完善clean_by_score逻辑并将其整合至strategies
|
2025-05-24 10:50:52 +08:00 |
|
|
BAIKEMARK
|
3db44677f0
|
修复了'qa' referenced before assignment的bug
|
2025-05-23 20:42:48 +08:00 |
|
|
BAIKEMARK
|
5fa391f55e
|
修改clean策略使llm打分结果保留
|
2025-05-23 20:16:34 +08:00 |
|
|
xming521
|
906b724524
|
change settings.template.jsonc
|
2025-05-23 15:50:43 +08:00 |
|
|
niulinbiao
|
84f2577837
|
Merge branch 'master' into nb-dev
|
2025-05-22 20:13:05 +08:00 |
|
|
xming521
|
bbe16fda73
|
Add full-flow test pipeline
|
2025-05-22 20:05:22 +08:00 |
|
|
niuben
|
bcf89d22e9
|
实现在线LLM清洗数据
|
2025-05-22 19:50:57 +08:00 |
|
|
xming521
|
ed9d8e320e
|
Adjust the default values of lora_dropout and num_train_epochs, while applying a unified decorator in the CLI to support log capturing. Use an inelegant approach to print all terminal content to a file, enabled via full_log.
|
2025-05-21 21:57:12 +08:00 |
|
|
xming521
|
2db76b0968
|
在 qa_generator.py 中添加 vLLM 可用性检查并调整数据清洗逻辑；在 log.py 中设置日志级别为 INFO。
|
2025-05-17 23:04:56 +08:00 |
|
|
xming521
|
f4fa2df82e
|
Merge remote-tracking branch 'origin/master' into dev
|
2025-05-17 20:18:58 +08:00 |
|
|
Hanyu
|
33fb27811a
|
优化CSV文件读取
- 增加CSV文件排序功能,按文件名中起始序号排序
- 添加启用vllm的 bitsandbytes 量化加载的注释选项
|
2025-05-17 14:11:55 +08:00 |
|
|
xming521
|
4478cfbaa0
|
在 strategies.py 中添加对 vLLM 可用性的检查，并根据可用性选择推理引擎。暂不可用
|
2025-05-16 13:19:44 +08:00 |
|
|
xming521
|
b16bd303e3
|
更新.gitignore以忽略输出文件，更新README.md以优化文本描述，修改vllm_infer.py和strategies.py以支持自定义禁用词配置。
|
2025-05-11 19:37:08 +08:00 |
|
|
xming521
|
a18e474720
|
禁用词配置改到settings.json。
|
2025-05-08 20:44:32 +08:00 |
|
|
xming521
|
03636d4a37
|
更新README.md。
|
2025-05-07 22:33:37 +08:00 |
|
|
xming521
|
3bdcb3b8ac
|
fixi 多卡length_cdf。
|
2025-05-06 22:35:10 +08:00 |
|
|
xming521
|
528de9970b
|
固定length_cdf 单卡运行；去掉vllm_infer.py并行推理。
|
2025-05-05 22:48:45 +08:00 |
|
|
xming521
|
5a48ab4ceb
|
修改vllm_infer.py以支持禁用\n，调整strategies.py以引入重复惩罚参数。
|
2025-05-05 20:35:24 +08:00 |
|
|
xming521
|
d7b77483a5
|
update llm judge
|
2025-05-05 19:52:29 +08:00 |
|
|
xming521
|
631c1731ed
|
重构vllm_infer.py以支持新的输入类型和引入引导解码参数，新增QaPairScore模型以支持评分功能，实现大模型对数据评分。
|
2025-05-04 22:52:09 +08:00 |
|
|
xming521
|
fec538fea6
|
在pyproject.toml中添加langchain依赖，并在strategies.py中引入PromptTemplate以支持数据清洗功能的实现。
|
2025-05-03 22:57:36 +08:00 |
|
|
xming521
|
319aaa1814
|
修改qa_generator.py以支持QaPair对象
|
2025-05-02 22:34:41 +08:00 |
|
|
xming521
|
035d138d8d
|
更新pyproject.toml版本至0.2.2，优化vllm_infer函数以支持前缀缓存，调整qa_generator.py以处理结果并保存为JSON格式。
|
2025-05-01 23:04:37 +08:00 |
|
|
xming521
|
20904b0202
|
更新vllm依赖版本至0.8.2
|
2025-05-01 19:39:15 +08:00 |
|
|
xming521
|
9827a24929
|
更新依赖项版本，提升torch和torchaudio至2.6.0，更新openai至1.52.0 相应更新test_model，调整pytorch源为cu124。
|
2025-04-29 22:47:02 +08:00 |
|
|
xming521
|
6ecf2c8144
|
添加计算cutoff_len
|
2025-04-26 21:03:10 +08:00 |
|
|
xming521
|
10c6890795
|
重构项目
|
2025-04-21 20:30:55 +08:00 |
|