GithubStar/WeClone
1
0
Fork 0
mirror of https://github.com/xming521/WeClone.git synced 2026-10-18 14:36:48 +08:00
Code Issues Packages Projects Releases Wiki Activity

Commit Graph

  • 2f9cc52955 更新pyproject.toml以添加pip依赖；优化README文档，增强数据预处理说明；调整日志系统配置，支持从配置文件读取日志等级；重构PII检测器，简化代码并添加自定义识别器；更新数据处理逻辑以支持多语言和隐私过滤。 xming521 2025-06-27 23:05:45 +08:00
  • 35f670c34e 更新README文档。 xming521 2025-06-27 10:31:59 +08:00
  • 6df8c5cf2f 使用presidio进行隐私过滤 ; 添加语言支持配置；优化日志系统，hook标准logging到loguru。 xming521 2025-06-26 22:54:45 +08:00
  • b265edf2fc 更新依赖项，将commentjson替换为pyjson5；优化README文档，修正项目文档链接；添加聊天平台适配表格以支持不同平台的消息类型。 xming521 2025-06-26 15:10:09 +08:00
  • e9b92aa189 更新版本号至0.3.0。 xming521 2025-06-25 13:12:32 +08:00
  • 05c419c34b 优化Telegram解析器；重构配置模型，统一基类为BaseConfigModel，调整多个配置类以支持额外字段的处理策略。 xming521 2025-06-25 11:41:59 +08:00
  • fc89b802a5 更新版本号至0.2.25，优化README文档，修正数据处理逻辑以支持Telegram平台，添加图像复制功能，改进消息类型处理。 xming521 2025-06-25 10:50:42 +08:00
  • 3ab7c7b5c9 Merge pull request #169 from xming521/xming521/issue167 小铭 2025-06-23 18:24:14 +08:00
  • 3568872840 预处理数据报错提示TypeError: can only concatenate str (not "float") to str Fixes #167 xming521/issue167 xming521 2025-06-23 18:20:11 +08:00
  • 43b22ce903 调整settings.template.jsonc以添加Telegram参数，更新数据处理逻辑以支持Telegram平台，优化数据模型以处理不同消息类型。 xming521 2025-06-23 18:06:55 +08:00
  • 46c5f28365 调整风格代表性评估标准。 xming521 2025-06-23 11:04:31 +08:00
  • aeedf9eefb 优化vllm_infer函数，添加失败索引返回，改进JSON解析逻辑；在QaPairScore中设置评分范围，更新清理策略以处理解析失败的情况。 xming521 2025-06-22 20:20:53 +08:00
  • 0ef327b4a5 更新配置文件，优化vllm_infer函数的参数传递逻辑。 xming521 2025-06-21 16:13:17 +08:00
  • 81999f861a 在offline_infer.py中添加从文本中提取JSON内容的功能，并优化vllm_infer函数的结果解析；在strategies.py中修正vllm_infer的输出处理逻辑。 xming521 2025-06-21 13:50:17 +08:00
  • 3e0f08c7cb 🎈 auto fixes by pre-commit hooks pre-commit-ci[bot] 2025-06-21 03:21:05 +00:00
  • 8c739d5f0b Merge branch 'dev' of https://github.com/xming521/WeClone into dev xming521 2025-06-21 11:20:56 +08:00
  • 7066730201 优化vllm_infer函数，移除无用的guided_decoding参数，并在length_cdf.py中添加计算文本token长度的功能。 xming521 2025-06-21 11:20:23 +08:00
  • 12c055a9d1 更新README.md 和配置文件模板。 xming521 2025-06-20 22:32:59 +08:00
  • 7d087e3dc5 更新README.md，修正Telegram链接，调整LangBot部署链接，更新模型页API Key说明，确保文档信息准确性。 xming521 2025-06-20 20:44:50 +08:00
  • c9cf076fa9 更新.gitignore以支持多种图片格式，移除pyproject.toml中的清华源配置，并更新README.md以添加Telegram聊天记录导出说明及LangBot集成信息。 xming521 2025-06-20 16:30:01 +08:00
  • e6d0ff9bb9 更新README.md，增加对图片模态数据微调的支持说明，并调整更新日志标题为“近期更新”。 xming521 2025-06-20 12:10:48 +08:00
  • f637498c35 Merge pull request #164 from xming521/dev 小铭 2025-06-20 10:47:11 +08:00
  • 0dad9dcf83 Merge branch 'master' into dev 小铭 2025-06-20 10:46:46 +08:00
  • ec1b4f53c0 更新README.md，添加WeClone平台声明及模型训练效果描述的修改。 xming521 2025-06-20 10:43:29 +08:00
  • 139b082510 更新README.md，增加了微调效果提示、问题解决建议及致谢部分。 xming521 2025-06-19 22:57:17 +08:00
  • 1f091c4c3d Merge pull request #162 from xming521/dev 小铭 2025-06-19 21:13:04 +08:00
  • 6e3b9b96da fix tg ci xming521 2025-06-19 21:12:28 +08:00
  • dda773a784 Merge pull request #161 from xming521/dev v0.2.24 小铭 2025-06-19 17:39:52 +08:00
  • 39717abf02 更新README.md。 xming521 2025-06-19 17:22:32 +08:00
  • cb870d67bd 将torch依赖版本从2.7.1降级至2.7.0。 xming521 2025-06-19 16:50:29 +08:00
  • a8bde3f686 更新版本号至0.2.24，修改torch依赖版本至2.7.1，更新README.md。 xming521 2025-06-19 16:48:48 +08:00
  • bc121f030b 0.2.23 运行 weclone-cli server 报错 Fixes #158 xming521 2025-06-19 16:38:09 +08:00
  • 01a5deb5fd 更新pyproject.toml中的triton依赖版本至3.3.0。 xming521 2025-06-14 22:26:18 +08:00
  • 1f43e6325f 更新pyproject.toml中的torch版本至2.7.0，并将pytorch源从cu124更新至cu126。 xming521 2025-06-14 22:24:19 +08:00
  • f3c2fa6ef7 更新pyproject.toml中的vllm依赖版本至0.9.1；离线推理改为chat方式调用。 xming521 2025-06-14 21:38:35 +08:00
  • 73fd179d08 Merge remote-tracking branch 'origin/master' into dev xming521 2025-06-14 13:30:16 +08:00
  • 534d265ac8 Update pyproject.toml 小铭 2025-06-14 12:45:43 +08:00
  • 19e1fde810 更新数据清理策略中的max_new_tokens和enable_thinking参数以优化推理过程。 xming521 2025-06-14 11:40:31 +08:00
  • 4ca715768e 新增enable_thinking参数以支持推理过程中的思考功能；更新repetition_penalty和max_new_tokens配置以优化数据清理策略。 xming521 2025-06-13 21:36:06 +08:00
  • 55fdfe2520 新增vllm_args配置，更新测试模型参数配置，允许自定义测试数据路径。 xming521 2025-06-13 18:27:24 +08:00
  • 9ae5f3a376 更新版本号至0.2.24；在CLI中添加配置文件路径选项，支持设置WECLONE_CONFIG_PATH环境变量 xming521 2025-06-13 17:37:23 +08:00
  • e239893884 feat(tests): 添加测试模型参数配置，允许自定义测试集文件 xming521 2025-06-13 15:49:02 +08:00
  • 2defd5611e Merge pull request #157 from xming521/dev v0.2.23 小铭 2025-06-13 12:08:16 +08:00
  • 45a579716f fix ci xming521 2025-06-13 12:05:29 +08:00
  • 53fc844403 refactor(config): 移除configV2，整合配置加载逻辑至config.py，更新相关引用 xming521 2025-06-13 12:02:27 +08:00
  • bca3240999 Merge pull request #156 from BAIKEMARK/img-rec 小铭 2025-06-13 11:12:21 +08:00
  • db13823330 Merge remote-tracking branch 'myfork/img-rec' into img-rec-a BAIKEMARK 2025-06-13 10:30:34 +08:00
  • 6f465d356a refactor(train_sft): 移除无需显式设置的配置项 BAIKEMARK 2025-06-13 10:23:08 +08:00
  • 2ac3d17efe Merge branch 'master' into img-rec Mark 2025-06-12 23:37:52 +08:00
  • 1f485599e5 UPDATE README BAIKEMARK 2025-06-12 23:25:37 +08:00
  • f3f0b61ad9 更新setting模板 BAIKEMARK 2025-06-12 20:34:01 +08:00
  • f3e9efc6fc refactor(data): 重构数据清洗逻辑并更新评估标准 BAIKEMARK 2025-06-12 19:45:00 +08:00
  • a1afe78bae Merge pull request #153 from xming521/dev 小铭 2025-06-12 15:01:24 +08:00
  • 31d4340cb2 更新pyproject.toml，升级vllm版本至0.8.5.post1，添加triton依赖，并设置torch-backend为auto。 xming521 2025-06-12 14:50:23 +08:00
  • 9f4a8f60a0 feat(data): 支持图像识别并优化数据清洗流程 BAIKEMARK 2025-06-12 13:13:57 +08:00
  • 4df64be831 fix text cleandata，add 风格代表性。 xming521 2025-06-12 11:37:58 +08:00
  • 386bf5d8d9 fix log xming521 2025-06-11 21:50:59 +08:00
  • 6e1903ced6 修改数据集名称为chat-sft， 纯文字模型微调数据切换到sharegpt格式。 xming521 2025-06-11 15:34:27 +08:00
  • 6bf9b5a80f 优化include_type和adapter_name_or_path的处理。 xming521 2025-06-11 12:41:56 +08:00
  • fcd4e879ab Merge branch 'master' into dev 小铭 2025-06-11 12:20:28 +08:00
  • 8fd6adbcc1 Merge branch 'dev' of https://github.com/xming521/WeClone into dev xming521 2025-06-11 12:19:50 +08:00
  • 894edb9d9d 注释掉bandit安全检查的配置。 xming521 2025-06-11 12:08:51 +08:00
  • d006cc1ae1 🎈 auto fixes by pre-commit hooks pre-commit-ci[bot] 2025-06-11 04:03:36 +00:00
  • c77cdee043 修改full_pipe.jsonc和full_pipeV2.jsonc中的数据处理配置，调整train_sft.py和qa_generatorV2.py中的配置加载方式，更新config_models.py和configV2.py以支持新的配置结构。 xming521 2025-06-11 11:57:55 +08:00
  • 94b6e4ac92 更新测试文件以支持图像数据集的创建和复制功能。 xming521 2025-06-10 22:12:39 +08:00
  • 247383e4f3 更新版本号至0.2.23，添加依赖omegaconf，增加pydantic驱动的configV2。 xming521 2025-06-10 17:31:34 +08:00
  • 6416f74f10 Merge pull request #149 from xming521/dev 小铭 2025-06-09 14:52:07 +08:00
  • cf30258091 🎈 auto fixes by pre-commit hooks pre-commit-ci[bot] 2025-06-09 03:27:38 +00:00
  • 247920fe00 更新.gitignore，更新pyproject.toml,添加pre-commit，更新README.md。 xming521 2025-06-09 11:26:14 +08:00
  • d41a806dc9 Merge pull request #148 from xming521/xming521-patch-8 小铭 2025-06-08 20:21:12 +08:00
  • 3798fae701 Update README.md 小铭 2025-06-08 20:20:49 +08:00
  • bbd856dbb6 Merge pull request #147 from xming521/xming521-patch-7 v0.2.22-for-tg-notice 小铭 2025-06-08 12:08:39 +08:00
  • 01a3ec4c24 Rename Telegram Release Notification to tg_release_notification.yml 小铭 2025-06-08 12:08:22 +08:00
  • 474352b30f Merge pull request #146 from xming521/xming521-patch-6 小铭 2025-06-08 12:05:21 +08:00
  • d16e9abf2e Create Telegram Release Notification 小铭 2025-06-08 12:05:07 +08:00
  • dc09602864 Merge pull request #142 from xming521/dev v0.2.22 小铭 2025-06-06 21:39:44 +08:00
  • b5b661154d 更新README.md。 xming521 2025-06-06 21:38:32 +08:00
  • 3842932cab 更新README.md；调整mllm模板中的训练参数。 xming521 2025-06-06 20:52:44 +08:00
  • cccd2fe87b Update dependencies v0.2.22-beta1 xming521 2025-06-03 23:05:09 +08:00
  • 48f0ed3465 更新pyproject.toml，更新README.md。 xming521 2025-06-03 22:34:44 +08:00
  • 8c20c1a689 更新pyproject.toml。 xming521 2025-06-03 21:31:59 +08:00
  • f7fc362dc6 更新README.md。 xming521 2025-06-03 19:46:50 +08:00
  • 18af67104d 更新README.md；在cli.py中根据配置动态选择数据处理器。 xming521 2025-06-02 10:04:08 +08:00
  • 2a868a1314 更新README.md xming521 2025-06-01 22:57:55 +08:00
  • 4a614800ca 修改wechat_parser.py以支持命令行参数传递微信个人文件夹路径并优化图片复制功能。 xming521 2025-06-01 20:22:23 +08:00
  • a703188a4e Merge remote-tracking branch 'origin/master' into dev xming521 2025-06-01 18:52:46 +08:00
  • 1e52a20ef0 在mllm模板中添加enable_thinking配置项，默认为false。 xming521 2025-06-01 18:52:23 +08:00
  • 94aa25bdea Merge pull request #140 from xming521/xming521-patch-5 小铭 2025-06-01 10:12:10 +08:00
  • cc27876139 Update settings.template.jsonc 小铭 2025-06-01 10:11:58 +08:00
  • a12a0671f0 更新pyproject.toml中的transformers版本，添加accelerate依赖；在mllm模板中增加media_dir和image_max_pixels配置；优化qa_generatorV2.py中的数据处理逻辑以支持image_max_pixels参数；更新length_cdf函数以支持image_max_pixels参数。 xming521 2025-05-31 22:19:01 +08:00
  • 11b0e3fbd3 Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter. xming521 2025-05-31 10:24:51 +08:00
  • 7ee6289ae4 修正check_image_file_exists函数中的文件匹配逻辑。 xming521 2025-05-30 15:49:20 +08:00
  • db873b37b0 Merge remote-tracking branch 'origin/master' into dev xming521 2025-05-30 15:27:25 +08:00
  • 0f9d737433 length_cdf间隔将其固定为512。 xming521 2025-05-30 15:20:08 +08:00
  • 7bc76d57c9 更新mllm模板。 xming521 2025-05-30 11:39:26 +08:00
  • 5a44fa4954 Merge pull request #137 from xming521/xming521-patch-4 小铭 2025-05-30 10:43:50 +08:00
  • f12f8945bc Update issue-labeler.yml 小铭 2025-05-30 10:43:39 +08:00
  • 375d24c4e7 Merge pull request #134 from xming521/xming521-patch-3 小铭 2025-05-30 10:08:56 +08:00
  • 052c5faf4d Update issue-labeler.yml 小铭 2025-05-30 10:08:43 +08:00
  • 4d69b0c9b6 更新mllm模板以支持最大图片数量，优化数据处理逻辑。 xming521 2025-05-29 23:20:11 +08:00