GithubStar/weibo-crawler
1
0
Fork 0
mirror of https://github.com/dataabc/weibo-crawler.git synced 2026-10-26 12:03:04 +08:00
Code Issues Packages Projects Releases Wiki Activity
385 Commits 1 Branch 0 Tags
master
Commit Graph
385 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
Chen Lei a3bfe515e9 Merge pull request #644 from YuanChenCheung/beta 
fix: Live Photo 视频的文件名序号与相对应图片的文件名序号不匹配，且视频以及 Live Photo 视频的文件名与图片的文件名格式不一致问题
 2026-07-22 16:42:55 +08:00
YuanChen 5bb45e8352 feat: 新增 markdown_sort_order 与 missing_weibo_report 配置，修复转发图片下载不尊重 retweet_pic_download 的 bug。 2026-07-04 22:20:31 +08:00
YuanChen 96fbf025a9 refactor: 新增 config.json.example 模板，将 config.json 从版本控制中移除。 2026-07-04 20:25:01 +08:00
YuanChen f363b97877 feat: 新增 markdown_file_dir 与 download_folder_name 配置，支持自定义媒体文件的存储目录名。 2026-07-04 20:01:23 +08:00
YuanChen c482d94845 feat: 新增 markdown_preview 配置，支持各类媒体文件在 Markdown 中的预览开关。 2026-07-04 18:44:38 +08:00
YuanChen c76ee477e7 feat: 新增 markdown_image_order 配置，支持两种图片与 Live Photo 的排列模式。 2026-07-04 16:54:55 +08:00
YuanChen c396deacf1 feat: 将 get_live_photo_url 从读取独立的 live_photo 数组改为从 pics 数组中提取 type: livephoto 条目的 videoSrc 并记录其在过滤后 pics 中的位置索引，使 Live Photo 视频的文件名序号与对应图片文件名序号保持一致。 2026-07-02 01:03:52 +08:00
YuanChen 16849ffed2 feat: 新增方法：_get_timestamp_prefix(self, created_at) — 统一的文件名前缀生成器，将 2026-07-01T12:00:00 转换为 2026-07-01_12-00-00，与 _download_weibo_images 使用完全一致的格式。包含回退逻辑：解析失败时降级为旧格式。 2026-07-02 00:59:09 +08:00
Chen Lei 93cd292f2b Merge pull request #643 from LittleTransparent/fix-miss-crawling 
fix: 防封禁导致漏爬问题
 2026-06-24 15:05:49 +08:00
赵忠章 96c477f7b0 fix: 防封禁导致漏爬问题 2026-06-24 00:09:30 +08:00
Chen Lei 5bd6cc88f7 Merge pull request #638 from chunfengyao/master 
feat:<>使用cookie文件替代config中的cookie字符串，并且在抓取结束后自动更新cookie文件（如有）
 2026-05-10 22:27:25 +08:00
chunfengyao 8abab04dcc feat:<>使用cookie文件替代config中的cookie字符串，并且在抓取结束后自动更新cookie文件（如有） 2026-05-10 18:46:07 +08:00
Chen Lei 000cef0b59 Merge pull request #637 from masonfocus/feature/markdown-rendering 
解析正文 sinaurl 链接，完善 Markdown 渲染
 2026-04-27 15:09:53 +08:00
masonfocus 3050125c61 解析正文 sinaurl 链接，并完善 Markdown 中图片/视频/链接的渲染 
- 新增 normalize_inline_url / is_inline_image_url / get_link_urls /
  get_inline_image_urls，从正文中解出被 sinaurl 包裹的真实图片和网页 URL
  （这类内容此前不会落入 pics 数组，导致丢图）
- 微博记录新增 links 字段，写 JSON 时已显式跳过，不影响既有输出格式
- 新增 get_download_file_names / get_markdown_image_filenames /
  render_markdown_text / format_blockquote 等辅助方法
- 重写 generate_markdown_file 中的正文渲染逻辑：将"网页链接""查看图片"
  等占位词替换为真正的 Markdown 链接 / 图片，补上视频、Live Photo 链接，
  转发内容统一用引用块格式
 2026-04-27 10:14:50 +08:00
Chen Lei 6107bcab1e Merge pull request #636 from dataabc/dependabot/pip/lxml-6.1.0 
build(deps): bump lxml from 5.3.0 to 6.1.0
 2026-04-22 14:55:07 +08:00
dependabot[bot] 7cff306b00 build(deps): bump lxml from 5.3.0 to 6.1.0 
Bumps [lxml](https://github.com/lxml/lxml) from 5.3.0 to 6.1.0.
- [Release notes](https://github.com/lxml/lxml/releases)
- [Changelog](https://github.com/lxml/lxml/blob/master/CHANGES.txt)
- [Commits](https://github.com/lxml/lxml/compare/lxml-5.3.0...lxml-6.1.0)

---
updated-dependencies:
- dependency-name: lxml
  dependency-version: 6.1.0
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
 2026-04-21 22:24:11 +00:00
Chen Lei b469080eea Merge pull request #632 from dataabc/dependabot/pip/requests-2.33.0 
build(deps): bump requests from 2.32.4 to 2.33.0
 2026-03-27 15:08:25 +08:00
Chen Lei d18739dac6 Merge pull request #633 from jhsy0330/7su 
config文件重置，添加评论图片下载选项，service和weibo读取config中的数据库路径。
 2026-03-27 15:07:29 +08:00
jhsy0330 fe33a90b82 重置config 2026-03-27 10:46:27 +08:00
jhsy0330 b656f1db68 注释掉删除固定路径，读取config 2026-03-27 10:42:32 +08:00
dependabot[bot] 8c9a27d795 build(deps): bump requests from 2.32.4 to 2.33.0 
Bumps [requests](https://github.com/psf/requests) from 2.32.4 to 2.33.0.
- [Release notes](https://github.com/psf/requests/releases)
- [Changelog](https://github.com/psf/requests/blob/main/HISTORY.md)
- [Commits](https://github.com/psf/requests/compare/v2.32.4...v2.33.0)

---
updated-dependencies:
- dependency-name: requests
  dependency-version: 2.33.0
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
 2026-03-26 16:33:29 +00:00
jhsy0330 a5f118fcef remove cookie 2026-03-26 16:52:45 +08:00
jhsy0330 7ca02ed570 sqlite路径没读取config，已经修正 2026-03-26 13:28:04 +08:00
jhsy0330 98341885f9 sqlite路径没读取config，已经修正 2026-03-25 10:19:08 +08:00
jhsy0330 bd8cb98b24 sqlite路径没读取config，已经修正,同时添加是否下载评论图片选项 2026-03-25 09:55:14 +08:00
T suki bdf000358f sqlite路径没读取config，已经修正 2026-03-25 09:32:15 +08:00
Chen Lei 356b63fd7c Merge pull request #628 from dataabc/dependabot/pip/flask-3.1.3 
build(deps): bump flask from 2.1.2 to 3.1.3
 2026-03-10 14:57:02 +08:00
dependabot[bot] 622a3e9549 build(deps): bump flask from 2.1.2 to 3.1.3 
Bumps [flask](https://github.com/pallets/flask) from 2.1.2 to 3.1.3.
- [Release notes](https://github.com/pallets/flask/releases)
- [Changelog](https://github.com/pallets/flask/blob/main/CHANGES.rst)
- [Commits](https://github.com/pallets/flask/compare/2.1.2...3.1.3)

---
updated-dependencies:
- dependency-name: flask
  dependency-version: 3.1.3
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
 2026-03-10 06:56:08 +00:00
Chen Lei 6cf3da69e4 Merge pull request #627 from Wang-JiaHui-XXL/feature/add-flask-dependency 
Add Flask dependency to requirements.txt
 2026-03-10 14:55:16 +08:00
MyPocketLab c9c13ae07d Add Flask dependency to requirements.txt 2026-03-10 10:04:53 +08:00
Chen Lei 8dadcfad64 Merge pull request #626 from zenisann/fix/issue-625-output-directory 
fix: 使用config.json中的output_directory配置替换硬编码的'weibo'路径
 2026-03-08 14:44:28 +08:00
zenisann b0f92d2c2e fix: 使用config.json中的output_directory配置替换硬编码的'weibo'路径 
解决issue #625: config.json中设置了output_directory，但代码仍使用硬编码的'weibo'路径

修改内容:
- 在Weibo类的__init__方法中添加self.output_directory属性，读取config.json中的output_directory配置
- 将user_to_csv方法中的硬编码'weibo'替换为self.output_directory
- 将get_filepath方法中的硬编码'weibo'替换为self.output_directory
 2026-03-08 10:04:52 +08:00
Chen Lei 3c8787c8a2 Merge pull request #624 from Troray/feature/add-deadline-setting 
新增 end_date（截止爬取时间）功能
 2026-02-28 17:15:49 +08:00
Troray 94f360bbf2 新增 end_date（截止爬取时间）功能 2026-02-28 14:32:50 +08:00
Chen Lei 65ea905fd3 Merge pull request #622 from Troray/fix/image-video-fetch 
fix: 修复图片未下载原图和多视频只保存一个的问题
 2026-02-27 14:53:57 +08:00
Troray 48a74c9e0f fix: 修复图片未下载原图和多视频只保存一个的问题 
1. get_pics: 将图片URL中的 mw2000/mw690 等尺寸标识替换为 large，确保下载原图；
   跳过 type=video 的项，避免将多视频微博的封面图误当图片下载

2. get_video_url: 优先从 pics 数组中提取 type=video 的 videoSrc 字段，
   支持一条微博包含多个视频的场景；如果 pics 中无视频则回退到 page_info 保持兼容；
   补充 mp4_hd_mp4 字段匹配（API实际返回的字段名）

3. download_one_file: 改为流式下载，增加无数据超时检测（连续60秒无数据则中断重试），
   避免下载大文件时卡住；HTTPAdapter重试次数从5降为2，减少与手动重试的叠加

4. handle_download: 多视频下载之间增加1-3秒随机延迟，减少触发CDN限流
 2026-02-27 13:36:25 +08:00
Chen Lei 3631c81951 Merge pull request #618 from Troray/feature/markdown-split-by 
feat: 新增 markdown_split_by 配置项 #617
 2026-02-09 22:47:21 +08:00
Troray dd4002aab8 feat: 新增 markdown_split_by 配置项 
支持按天/按月/按年/全量分割 Markdown 文件
新增 day_by_month 模式：按天分割，按月归档到子文件夹
图片/视频/Live Photo 等媒体文件同步归档
 2026-02-09 19:05:11 +08:00
Chen Lei a7c16e4ea4 Merge pull request #612 from Troray/fix/update-pinned-weibo-detection 
fix: 避免置顶微博导致误判没有新微博
 2026-01-21 17:37:01 +08:00
Troray 8aca167e55 fix: 避免置顶微博导致误判没有新微博 2026-01-21 15:46:13 +08:00
dataabc 8b926bf527 fix: 修复图片下载错误 
Issue #611
 2026-01-20 15:33:32 +08:00
dataabc d3ef8cfc90 fix: 修复edited和edit_count字段在sqlite weibo表没有正确创建的问题 
Issue #602
 2026-01-19 18:06:57 +08:00
Chen Lei 95dac76357 Merge pull request #608 from Troray/feature/export-to-markdown 
Feature/export to markdown
 2026-01-19 17:14:47 +08:00
Troray 7bd40c6563 新增保存为markdown格式 2026-01-19 00:10:53 +08:00
Troray d13b8b790b 新增保存为markdown格式 2026-01-19 00:07:18 +08:00
Troray 702dd53d55 新增保存为markdown格式 2026-01-18 23:40:43 +08:00
Chen Lei f0a377a8d8 Merge pull request #607 from raythalis/feature 
fix: 修复md文档
 2026-01-17 15:54:01 +08:00
lilcandle b31fe8d441 fix: 修复md文档 2026-01-17 15:43:23 +08:00
Chen Lei d3e95c65bb Merge pull request #606 from raythalis/master 
feat: 支持基于微博发布时间写入图片 EXIF 和修改文件系统时间
 2026-01-17 15:12:10 +08:00
lilcandle 67991fd73d feat: 支持基于微博发布时间写入图片 EXIF 和修改文件系统时间 
1. 支持根据微博创建时间写入图片 EXIF (DateTimeOriginal) 元数据。
2. 支持修改所有下载媒体文件的系统修改时间 (mtime)，确保文件夹排序正确。
3. 在 config.json 中新增 `write_time_in_exif` 和 `change_file_time`
   配置项。
   4. 修复了图片解析可能遇到的 TypeError 报错。
 2026-01-17 03:45:35 +08:00