Skip to content
forked from luorixin/Scrape

Platform of Web Views to Scrape

License

Notifications You must be signed in to change notification settings

ongraiso/Scrape

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

65 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

爬虫案例平台

Deploy to Kubernetes

网络爬虫实验平台,包含多个样例,如纯静态网站、动态渲染网站、字体反爬网站、登录验证网站、验证码验证网站、反代理网站、JavaScript混淆及加密网站等,持续更新中。

案例介绍

本平台自爬数据、自建页面、自接反爬,案例稳定后永不过期,适合教学与练习。

模拟登录网站

  • login1:登录时用户名和密码经过加密处理,适合 JavaScript 逆向分析。

验证码网站

  • captcha1:对接滑动拼图验证码,适合滑动拼图验证码分析处理。
  • captcha2:对接图标点选验证码,适合图标点选验证码分析处理。
  • captcha3:对接图文点选验证码,适合图文点选验证码分析处理。
  • captcha4:对接语序分析验证码,适合语序分析验证码分析处理。
  • captcha5:对接空间推理验证码,适合空间推理验证码分析处理。
  • captcha6:对接九宫格识图验证码,适合九宫格识图验证码分析处理。

静态渲染网站

  • static1:猫眼电影数据网站,数据通过服务端渲染,适合基本爬虫练习。

动态渲染网站

  • dynamic1:猫眼电影数据网站,数据通过 Ajax 加载,页面动态渲染,适合 Ajax 分析和动态页面渲染爬取。
  • dynamic2:猫眼电影数据网站,数据通过 Ajax 加载,数据接口参数加密且有时间限制,适合动态页面渲染爬取或 JavaScript 逆向分析。
  • dynamic3:猫眼电影数据网站,数据通过 Ajax 加载,无页码翻页,适合 Ajax 分析和动态页面渲染抓取。
  • dynamic4:新闻网站索引,数据通过 Ajax 加载,无页码翻页,适合 Ajax 分析和动态页面渲染抓取以及智能页面提取分析。

自动部署

本平台采用 GitHub Actions + Kubernetes 自动化部署,详情见 WorkFlow

About

Platform of Web Views to Scrape

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • CSS 60.7%
  • Python 23.0%
  • Vue 8.5%
  • JavaScript 3.8%
  • HTML 2.9%
  • Dockerfile 0.8%
  • Shell 0.3%