xianyu-idlefish-spider-crawler-sender

闲鱼自动抓取/筛选/发送系统， idlefish / xianyu spider crawler sender program blablabla

联系QQ （用QQ扫二维码，或者添加QQ号）

1225 在优化基础上重构钉钉模块

1225 优化数据库打开速度

1225 优化钉钉发送格式模块

1221 v 1.1.12 优化钉钉发送模块

1213 v 1.1.12 添加AI智能模块

目前正在添加和优化AI搜索功能，可以AI智能跳过无效搜索，提高搜索效率。

1212 v 1.1.11

版本号从1.0 过渡到1.1 整个程序模块重构。 1.0.9 添加数据库监控模块 1.1.10 模块重构， 优化搜索分词模块。 1.1.11 继续优化了搜索分词模块

1102 v 1.0.8 更新搜索入库分词优化

10-30 v 1.0.8 更新预览图片。

v 1.0.6 更新黑名单。

可以在客户端添加黑名单。

v 1.0.5 更新bug

因为闲鱼价格过万会变换显示方式，导致程序无法识别。 更新价格显示方式。

v 1.0.4更次更新

为抓取程序重构代码，并升级UI

v 1.0.4更新抓取首页和数据库页面

再次更新， 将原来杂乱的列表型数据显示更新为表格，这样看起来就没有那么乱了。 更新下效果图：

v 1.0.3添加多终端采集

在分布式采集的基础上，再次添加同一终端上面的多线程采集，进一步提高采集效率。 采集端代码在原有基础上再次升级。

v 1.0.3已经升级完毕

抓取数据目前比较快的话，可以达到10秒钟入库体现，关键词多的话，会有一定延迟。

同时，数据库从本地移到服务器，开始使用远程连接和储存数据，更方便分布式搭建、站库分离，以及一服多客模式。

更重要的是，不再需要配制本地数据库，不会再因为本地数据库问题导致程序down掉。

虽然原来也写了自动化配制数据库的程序，但因为系统权限问题，始终不太理想。这次干脆干掉本地数据库，只需要一个客户端，为所欲为了。

v 1.0.1.2升级数据库启动文件，自动检测系统数据库配制情况。

1 建议使用mongodb 4.2.14， 将mongod.exe移动到bin文件中

2 运行数据库启动软件，自动建立数据库文件和日志文件。

3 运行程序