把不同爬虫爬取得到的数据写入数据库

[findsomeoneyys]

使用mongo数据库
用pymongo连接

[findsomeoneyys]

改进之后有了新想法,是否有有效的python脚本来处理页面直接提取出全部文字呢?.如果这样那么可以代码可以再缩减一些.也不用每次要爬新站点重复去检查页面,添加规则.这样可以爬取得站点就多了