Skip to content

This is a spider basd on Scrapy to crawl some academic informations from academies' offical websites.

Notifications You must be signed in to change notification settings

oceanjaya/CSUAcademicSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

10 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

#CSUAcademicSpider This is a spider basd on Scrapy to crawl some academic informations from academies' offical websites.
这是一个基于Scrapy框架的爬虫,主要是为了一个基于地理位置信息匹配相关数据的Andriod端APP做数据收集处理工作。
爬虫具体用于爬取中南几个大院的学术会议、讲座信息(时间,地点,类型,学院名等),处理后保存到了MySql数据库。

##Academic Item Definition

  • url:爬取页面地址
  • title:讲座标题
  • time:实际举办时间
  • date_sort:处理后的用于排序的日期时间
  • location:举办地点
  • location_id:匹配地点 id(处理经纬度及地图标注) 
  • academy:学院名
  • type:讲座类型
  • html_content:详细内容的实际html代码,用于移动端WebView显示

##Location List

  • location_id 地点id
  • title 地点名字
  • longitude 经度
  • latitude 维度
  • match_string 匹配字符串组(用-隔开)

##csuspider数据库 ###academic 保存学术信息 academic.sql ###location表 保存位置信息 location.sql

##学院列表 ###Done

About

This is a spider basd on Scrapy to crawl some academic informations from academies' offical websites.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published