We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
job对象池支持
动态配置信息读写支持
日志埋点
jobCount维护停止标志位 & ResultFilter 解析网页获取合法链接塞入队列
支持爬取队列
深度爬取网页&支持正负向过滤&支持去重&支持回调
使用httpclient进行http请求
初始化一个最基础的爬虫实例