xming521
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
xming521
e9b92aa189
更新版本号至0.3.0。
2025-06-25 13:12:32 +08:00
xming521
05c419c34b
优化Telegram解析器；重构配置模型，统一基类为BaseConfigModel，调整多个配置类以支持额外字段的处理策略。
2025-06-25 11:41:59 +08:00
xming521
fc89b802a5
更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。
2025-06-25 10:50:42 +08:00
xming521
43b22ce903
调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。
2025-06-23 18:06:55 +08:00
xming521
46c5f28365
调整风格代表性评估标准。
2025-06-23 11:04:31 +08:00
xming521
aeedf9eefb
优化vllm_infer函数，添加失败索引返回，改进JSON解析逻辑；在QaPairScore中设置评分范围，更新清理策略以处理解析失败的情况。
2025-06-22 20:20:53 +08:00
xming521
0ef327b4a5
更新配置文件，优化vllm_infer函数的参数传递逻辑。
2025-06-21 16:13:17 +08:00
xming521
81999f861a
在offline_infer.py中添加从文本中提取JSON内容的功能，并优化vllm_infer函数的结果解析；在strategies.py中修正vllm_infer的输出处理逻辑。
2025-06-21 13:50:17 +08:00
pre-commit-ci[bot]
3e0f08c7cb
🎈 auto fixes by pre-commit hooks
2025-06-21 03:21:06 +00:00
xming521
8c739d5f0b
Merge branch 'dev' of https://github.com/xming521/WeClone into dev
2025-06-21 11:20:56 +08:00
xming521
7066730201
优化vllm_infer函数，移除无用的guided_decoding参数，并在length_cdf.py中添加计算文本token长度的功能。
2025-06-21 11:20:23 +08:00
xming521
12c055a9d1
更新README.md 和配置文件模板。
2025-06-20 22:32:59 +08:00
xming521
7d087e3dc5
更新README.md，修正Telegram链接，调整LangBot部署链接，更新模型页API Key说明，确保文档信息准确性。
2025-06-20 20:44:50 +08:00
xming521
c9cf076fa9
更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。
2025-06-20 16:30:01 +08:00
xming521
e6d0ff9bb9
更新README.md，增加对图片模态数据微调的支持说明，并调整更新日志标题为“近期更新”。
2025-06-20 12:10:48 +08:00
小铭
0dad9dcf83
Merge branch 'master' into dev
2025-06-20 10:46:46 +08:00
xming521
ec1b4f53c0
更新README.md，添加WeClone平台声明及模型训练效果描述的修改。
2025-06-20 10:43:29 +08:00
xming521
139b082510
更新README.md，增加了微调效果提示、问题解决建议及致谢部分。
2025-06-19 22:57:17 +08:00
小铭
1f091c4c3d
Merge pull request #162 from xming521/dev
...
fix tg ci
2025-06-19 21:13:04 +08:00
xming521
6e3b9b96da
fix tg ci
2025-06-19 21:12:28 +08:00
小铭
dda773a784
Merge pull request #161 from xming521/dev
...
- 更新torch版本至2.7.0，vllm版本到0.9.1，离线推理改为chat方式调用
- 添加`test_model_args` and `vllm_args`配置项，允许自定义测试集文件
- CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
- 更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程
- 部分功能适配qwen3
fix #158 ,#83, #77 , #69
2025-06-19 17:39:52 +08:00
xming521
39717abf02
更新README.md。
2025-06-19 17:22:32 +08:00
xming521
cb870d67bd
将torch依赖版本从2.7.1降级至2.7.0。
2025-06-19 16:50:29 +08:00
xming521
a8bde3f686
更新版本号至0.2.24，修改torch依赖版本至2.7.1，更新README.md。
2025-06-19 16:48:48 +08:00
xming521
bc121f030b
0.2.23 运行 weclone-cli server 报错
...
Fixes #158
2025-06-19 16:38:09 +08:00
xming521
01a5deb5fd
更新pyproject.toml中的triton依赖版本至3.3.0。
2025-06-14 22:26:18 +08:00
xming521
1f43e6325f
更新pyproject.toml中的torch版本至2.7.0，并将pytorch源从cu124更新至cu126。
2025-06-14 22:24:19 +08:00
xming521
f3c2fa6ef7
更新pyproject.toml中的vllm依赖版本至0.9.1；离线推理改为chat方式调用。
2025-06-14 21:38:35 +08:00
xming521
73fd179d08
Merge remote-tracking branch 'origin/master' into dev
2025-06-14 13:30:16 +08:00
小铭
534d265ac8
Update pyproject.toml
...
fix dependency
2025-06-14 12:45:43 +08:00
xming521
19e1fde810
更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程。
2025-06-14 11:40:31 +08:00
xming521
4ca715768e
新增enable_thinking参数以支持推理过程中的思考功能；更新repetition_penalty和max_new_tokens配置以优化数据清理策略。
2025-06-13 21:36:06 +08:00
xming521
55fdfe2520
新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。
2025-06-13 18:27:24 +08:00
xming521
9ae5f3a376
更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
2025-06-13 17:37:23 +08:00
xming521
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
小铭
2defd5611e
Merge pull request #157 from xming521/dev
...
fix some bugs
2025-06-13 12:08:16 +08:00
xming521
45a579716f
fix ci
2025-06-13 12:05:29 +08:00
xming521
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
小铭
bca3240999
Merge pull request #156 from BAIKEMARK/img-rec
...
feat(dataset): integrate vision API and refactor clean strategy
2025-06-13 11:12:21 +08:00
BAIKEMARK
db13823330
Merge remote-tracking branch 'myfork/img-rec' into img-rec-a
2025-06-13 10:30:34 +08:00
BAIKEMARK
6f465d356a
refactor(train_sft): 移除无需显式设置的配置项
2025-06-13 10:23:08 +08:00
Mark
2ac3d17efe
Merge branch 'master' into img-rec
2025-06-12 23:37:52 +08:00
BAIKEMARK
1f485599e5
UPDATE README
2025-06-12 23:25:37 +08:00
BAIKEMARK
f3f0b61ad9
更新setting模板
2025-06-12 20:34:01 +08:00
BAIKEMARK
f3e9efc6fc
refactor(data): 重构数据清洗逻辑并更新评估标准
2025-06-12 19:45:00 +08:00
小铭
a1afe78bae
Merge pull request #153 from xming521/dev
...
- Rewrite the entire settings-related functionality using pydantic
- add an image modality test script
- Unified dataset : chat-sft.
- Pure text model fine-tuning data switched to ShareGPT format, defaulting to carrying chat history context
- Upgrade dependencies to support qwen3
2025-06-12 15:01:24 +08:00
xming521
31d4340cb2
更新pyproject.toml，升级vllm版本至0.8.5.post1，添加triton依赖，并设置torch-backend为auto。
2025-06-12 14:50:23 +08:00
BAIKEMARK
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
xming521
4df64be831
fix text cleandata，add 风格代表性。
2025-06-12 11:37:58 +08:00
xming521