SecSec - 一个简单的安全论坛本地Markdown格式保存工具(先知、Freebuf、补天)

Natro922024-07-312024-08-21

GitHub - natro92/SecSec: SecSec - 一个简单的安全论坛本地Markdown格式保存工具(先知、Freebuf、补天)
如果有问题欢迎提issue，如果觉得好用欢迎star，谢谢！

SecSec 是一个简单的安全论坛本地保存工具，可以将安全论坛的帖子保存到本地，方便查看和搜索。

开发原因

有的时候一些好文章会被删除，或者某些内网环境需要搭建知识库。最开始打算使用html2pdf的方式，但是感觉对于本地搜索的功能的强度会较弱。所以打算使用爬虫的方式，将一些安全论坛的帖子保存到本地，方便查看和搜索。
对于CTF离线环境的话，直接使用Obsidian等工具，可以直接将markdown文件夹导入，方便查看。
由于版权的问题，这里不放出爬取结果，仅放出源码。

支持平台

Freebuf
先知社区
补天论坛
目前只选择了这三个规模较大论坛，其他内容待补充…

使用方法

使用时建议使用venv环境，避免污染全局环境。

安装依赖

1	pip install -r requirements.txt

首先先初始化生成chrome文件，可能需要一段时间，可以通过挂载代理来加速。

1	python SecSec.py -i

按照需求修改config.py文件
运行SecSec.py

1
2
3

python SecSec.py -x # 爬取先知论坛
python SecSec.py -f # 爬取Freebuf
python SecSec.py -b # 爬取补天论坛

问题解决

目前来说，先知社区需要定时滑动来验证是否是真人，如果提示失败，则刷新页面即可。Freebuf无需验证。
但是三个平台均有部分自建图床无法爬取的情况，可能是因为掉了或者其他各种各样的原因。
补天论坛的切割可能会出现问题，因为~~懒得弄了~~，整体来说还是能用的。
由于使用技术栈为Selenium，所以可能会出现一些问题，可以尝试多运行几次，一些报错可能是网络问题，关键报错我都用代码标红了。