49c7246a18
Enhance training configuration with pre-training support
...
- Added `train_pt` command to continue pre-training using prepared text datasets.
- Introduced `TrainPtArgs` class for pre-training parameters, extending `TrainSftArgs`.
2026-05-28 10:58:22 +08:00
2b13b70b3e
更新README文档，添加Telegram数据导出说明，修改数据预处理配置说明，调整示例配置文件中的语言设置和参数
2025-07-01 21:35:58 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
2f9cc52955
更新pyproject.toml以添加pip依赖；优化README文档，增强数据预处理说明；调整日志系统配置，支持从配置文件读取日志等级；重构PII检测器，简化代码并添加自定义识别器；更新数据处理逻辑以支持多语言和隐私过滤。
2025-06-27 23:05:45 +08:00
b265edf2fc
更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。
2025-06-26 15:10:09 +08:00
9ae5f3a376
更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量
2025-06-13 17:37:23 +08:00
53fc844403
refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用
2025-06-13 12:02:27 +08:00
6e1903ced6
修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。
2025-06-11 15:34:27 +08:00
d006cc1ae1
🎈 auto fixes by pre-commit hooks
2025-06-11 04:03:36 +00:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
b5b661154d
更新README.md。
2025-06-06 21:38:32 +08:00
18af67104d
更新README.md；在cli.py中根据配置动态选择数据处理器。
2025-06-02 10:04:08 +08:00
ed9d8e320e
Adjust the default values of lora_dropout and num_train_epochs, while applying a unified decorator in the CLI to support log capturing. Use an inelegant approach to print all terminal content to a file, enabled via full_log.
2025-05-21 21:57:12 +08:00
08b1640698
更新README.md和cli.py，简化命令行调用，修正文档中的命令格式。
2025-05-07 21:44:31 +08:00
810ca43f45
将配置文件名从settings.json更改为settings.jsonc
2025-05-03 14:50:22 +08:00
5fea291883
更新版本至0.2.2，增加llm清洗数据配置，更新README.md以添加HelloGitHub推荐链接，调整settings.template.json以支持数据清洗功能，增强cli.py以打印配置文件更新日志。
2025-05-01 20:51:27 +08:00
aec5f4cfa2
注释掉evaluate命令的帮助信息
2025-05-01 19:52:27 +08:00
ad39b21ca9
更新pyproject.toml以添加配置版本和更新日志，更新README.md，增强cli.py以检查项目根目录和版本一致性，配置文件改为模板提供。
2025-04-29 21:36:40 +08:00
2c9659611a
支持cli
2025-04-26 22:02:09 +08:00
545f266bc5
fix history 模板使用
2025-04-26 19:08:32 +08:00
xming521