独有的基于对等网架构的云采集功能,解决采集时被封IP的业界难题。
可在线编辑任务规则,采用高效率的分布式采集框架,
7*24小时不间断运行,可实现定时采集,灵活契合各业务场景,
帮助用户提升采集效率,保障数据时效性。
分布式云采集
高效储存发布
hbase 集群服务器,弹性扩容。
获取的数据可自动发布到用户的网站和数据库中, 也可以通过 Webhook进行异步回调。
无需开发针对性的发布接口文件,平台可适应任意网站CMS后台,
利用人工发布页面,来模拟人工发布。
强大API接口
通过火车私有云API,可轻松获取火车私有云任务信息和采集到的数据,
实现多角度、多维度查看任务实时状态,
有序捕捉终端日志与统计,灵活调度任务。
通过强大的API体系,还可以无缝对接各类管理平台,实现各类业务自动化。
多平台支持
同时支持Windows、MacOS和Linux全操作系统的云采集平台,
各平台版本完全相同,无缝切换。
平台可根据不同网站,全自动代理IP,浏览器Cookie,验证码破解等功能,
实现突破大多数网站的防采集策略。
数据格式化
火车私有云平台内置强大的数据格式化引擎,
支持字符串替换,正则表达式替换或匹配、
添加前缀或后缀、日期时间格式化、HTML转码等多项功能,
采集过程中完全自动化处理,格式数据一键获得。
可视化WEB管理
新增、编辑、删除、分发、执行、周期与间隔配置、多任务的
批处理等,系统的所有管理操作全部都可以纯网页完成。