ibuprofen

一个轻量、快速的睿易少年派自主学习数据抓取工具

A lightweight and fast RuiYi MyiPad self-learning data crawling tool

特点

• 快如闪电：抓取上千条记录快至1分钟以内
• 简洁：核心代码不过百行
• 持久化缓存：除第一次抓取，其余抓取操作都只需10秒以下

使用方法

需安装 Python 3.7 及以上版本

pip install -r requirements.txt
python user.py -p 123456 [email protected]:8003

为什么这么快？

使用了 Python 原生协程实现 asyncio 及第三方网络库 aiohttp ，充分发挥异步 I/O 优势。

应用

我写了一个简单的静态 HTML 生成器，并且在 Github Actions 中抓取数据、生成HTML并上传。

要使用，请 Fork 此 repo ，然后在 Settings/secrets 中设置 Name 为 ARGS ，Value 为 -p 密码 账号 的 Repository secret。

之后在 Actions 这个 tab 中选择 Generate HTMLs and upload ，然后 run workflow 即可。

运行结果位于 https://xxx.lexuewang.cn:8003/GetTemporaryStorage?filename=~TMP_100000.html