爬虫状态的监控

[code4craft]

希望对某个任务下的已抓取、待抓取、失败数等状态进行监控。

[linkerlin]

还是考虑下akka吧，可以用纯Java来调用的。

[friddle]

= =！我现在是采用原生的catch到错误了保存到数据库里面。
用Akka这种Message库太牛叉了一点吧。

不过已抓取和失败数都好实现。但是待抓取不太好实现吧。因为感觉无法统计。

[code4craft]

Akka不是解决这个问题的吧。

待抓取的我的想法是通过定义一个接口MonitorableScheduler，然后把内置的几个Scheduler都实现它。自定义的Scheduler如果要监控也必须实现它。

现在的问题是监控如何查看，感觉用JMX可以无外部依赖，但是必须要用JConsole之类的玩意查看，不直观。如果用html页面的话，至少要嵌入一个Web Server吧，又有点重了。

[code4craft]

大致梳理了一下流程：

目前的计划是：提供JMX API，可以使用JConsole等工具连接，然后在外部提供一个Web项目，可以在Web页面上进行监控。

监控的启动方式

实例化一个SpiderMonitor即可。

public static void main(String[] args) throws JMException,
        NullPointerException,
        IOException {
    Spider oschinaSpider = Spider.create(new OschinaBlogPageProcessor())
            .addUrl("http://my.oschina.net/flashsword/blog").thread(2);
    Spider githubSpider = Spider.create(new GithubRepoPageProcessor())
            .addUrl("https://github.com/code4craft");
    SpiderMonitor spiderMonitor = new SpiderMonitor();
    spiderMonitor.register(oschinaSpider, githubSpider);
    spiderMonitor.jmxStart();
}

监控接口

这个监控接口会包含抓取的URL等信息。

public interface SpiderStatusMBean {

    public String getName();

    public int getTotalPageCount();

    public int getLeftPageCount();

    public int getSuccessPageCount();

    public int getErrorPageCount();

    public List<String> getErrorPages();

    public void start();

    public void stop();

}

监控界面

可以启动、终止一个爬虫，也可以查看状态。

定制扩展

你可以通过继承SpiderStatusMBean来实现扩展，具体例子可以看这里：
定制扩展demo

[kissgxd]

既然有了监控端了,可以考虑扩展一下,增加一个爬虫配置的功能,那么这个分支就可以作为一个成型的爬虫产品了

[code4craft]

配置这个功能一直没想清楚，要在灵活性和易用性中权衡是个好麻烦的事啊…

如果允许，我基本上不喜欢任何形式的配置。

因为Java语言里，语言和配置是割裂的，学习和维护起来都不是那么顺手。WebMagic一直在努力让使用变简单，注解模式其实跟配置已经区别不大，Spider和Site相关设置也很直白，但是比配置直观和灵活很多。

但是动态的爬虫发布的需求始终存在，这里我想的是两种方案：

1. 提供动态脚本加载机制，这就是webmagic-scripts的尝试；或者动态class加载机制，让你写一个类，不用发布，有一套工具帮你做这个事情。
2. 在对爬虫需求深入建模后，构建一套非常简单的配置体系，基本只需要填写必须填写的，并且配置容易理解，而不是仅仅把代码或者注解中的字段，可以用配置来填入。

两个都需要不少的积累，所以还是要靠大家的力量了！