a887d122af
feat(data): include new sticker types in skip list
...
Expands the list of message types to be skipped or ignored by the application.
This ensures proper handling for user-uploaded GIF stickers and a new sticker
type identified as 'sticker2', preventing potential processing errors.
2025-08-28 22:12:59 +08:00
09897a8daf
fix(dataset): Data processing results have no images.
2025-07-16 15:18:56 +08:00
785ad1472a
remove wechat
2025-07-16 11:21:11 +08:00
f0476b05e7
feat(tg): add sticker parameter to include_type
...
Adds support for processing stickers in Telegram chat data.
- Includes 'sticker' as a valid DataModality.
- Allows the option to include sticker emojis as message content.
2025-07-06 10:38:28 +08:00
d113218e42
更新README文档；修改清理策略中的评分解析逻辑。
2025-07-04 20:51:38 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
fc89b802a5
更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。
2025-06-25 10:50:42 +08:00
43b22ce903
调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。
2025-06-23 18:06:55 +08:00
aeedf9eefb
优化vllm_infer函数，添加失败索引返回，改进JSON解析逻辑；在QaPairScore中设置评分范围，更新清理策略以处理解析失败的情况。
2025-06-22 20:20:53 +08:00
e239893884
feat(tests): 添加测试模型参数配置，允许自定义测试集文件
2025-06-13 15:49:02 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
3842932cab
更新README.md；调整mllm模板中的训练参数。
2025-06-06 20:52:44 +08:00
4d69b0c9b6
更新mllm模板以支持最大图片数量，优化数据处理逻辑。
2025-05-29 23:20:11 +08:00
5c28bf084e
更新数据模型以支持ShareGPT格式，新增QaPairV2类和Message类，修改数据处理逻辑以支持图片消息，优化图片文件检查功能。
2025-05-25 23:23:58 +08:00
07662a3dc1
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
2025-05-24 23:24:26 +08:00
631c1731ed
重构vllm_infer.py以支持新的输入类型和引入引导解码参数，新增QaPairScore模型以支持评分功能，实现大模型对数据评分。
2025-05-04 22:52:09 +08:00
319aaa1814
修改qa_generator.py以支持QaPair对象
2025-05-02 22:34:41 +08:00
035d138d8d
更新pyproject.toml版本至0.2.2，优化vllm_infer函数以支持前缀缓存，调整qa_generator.py以处理结果并保存为JSON格式。
2025-05-01 23:04:37 +08:00
10c6890795
重构项目
2025-04-21 20:30:55 +08:00
xming521