基于 Python 的短剧数据解析与管理系统，支持数据解析、图片压缩、SQLite 存储项目介绍。

本项目是一个短剧数据解析工具，基于 Python + BeautifulSoup 开发，可从目标网站解析短剧信息并存储到本地 SQLite 数据库。解析的数据包括：短剧标题、封面图（自动下载并压缩）、集数、更新状态、详情页链接及剧集播放地址。

主要功能
解析短剧列表页（支持指定页数）
自动下载封面图到本地，并压缩至 400px 宽度
解析详情页，提取所有剧集播放链接
支持解析真实视频地址（m3u8）
SQLite 数据库存储，轻量无依赖
解析日志记录，方便追踪

技术栈

Python 3   BeautifulSoup     SQLite     Pillow     Requests

🛠️搭建流程

1、安装依赖

pip install requests beautifulsoup4 pillow...

2、运行工具

python crawler.py
python crawler.py crawl 3 # 解析3页
python crawler.py crawl 3 true # 解析3页并解析视频地址...

3、部署到服务器（Docker 方式）

上传 db 文件到服务器

scp duanju.db user@server:/www/wwwroot/duanju/

拷贝进 Docker 容器并重启

docker cp duanju.db duanju:/app/duanju.db
docker restart duanju

下载地址：