3e7892fc76
feat(infer): add retry mechanism to API calls
...
Adds retry logic for OpenAI and image description API calls
to improve resilience against transient errors and rate
limiting. Implements exponential backoff with configurable
parameters.
2025-07-10 19:29:23 +08:00
38113a2524
翻译注释日志为英文
2025-07-01 20:00:34 +08:00
f3f0b61ad9
更新setting模板
2025-06-12 20:34:01 +08:00
9f4a8f60a0
feat(data): 支持图像识别并优化数据清洗流程
...
- 新增 VisionApiConfig 类用于配置视觉 API
- 在数据处理中集成图像识别功能，支持并行处理
- 重构数据清洗策略，支持在线和离线两种方式- 优化数据清洗流程，提高可扩展性和可维护性
2025-06-12 13:13:57 +08:00
cf30258091
🎈 auto fixes by pre-commit hooks
2025-06-09 03:27:38 +00:00
11b0e3fbd3
Update .gitignore to ignore the dataset/images directory, modify the transformers version in pyproject.toml, adjust the clean_dataset configuration in settings.template.jsonc, add media_dir to the mllm template, optimize data processing logic in qa_generatorV2.py and utils.py, update the length_cdf function to support the media_dir parameter.
2025-05-31 10:24:51 +08:00
7ee6289ae4
修正check_image_file_exists函数中的文件匹配逻辑。
2025-05-30 15:49:20 +08:00
5c28bf084e
更新数据模型以支持ShareGPT格式，新增QaPairV2类和Message类，修改数据处理逻辑以支持图片消息，优化图片文件检查功能。
2025-05-25 23:23:58 +08:00
07662a3dc1
更新pyproject.toml以使用llamafactory的GitHub链接，修改settings.template.jsonc以更新模型路径和添加平台配置，增强数据处理逻辑以支持多语言切割类型，并在qa_generator.py中整合切割类型列表。
2025-05-24 23:24:26 +08:00
xming521