用采集软件采集手机网站或APP的数据

在目前智能手机和移动APP，手机网站越来越流行的情况下，移动端数据采集也慢慢热了起来，本文就一起探讨一下移动端数据采集的一些途径和常见的应用方式，以及移动端数据采集后的分析和应用。

在移动APP数据采集的背后，移动大数据分析也越来越流行，移动APP之所以如此智能，是得益于大数据模式的支撑大数据背景下的个性化应用。当然，我们也可以把移动APP智慧化看成是大数据应用的延伸。只是，具备智能基因的移动APP尚未成为主流，仅在某些领域有了相对成熟的应用，但移动APP智能化已经成为不可阻挡的趋势。

1、移动站点的数据采集
移动站点又包括wap站和app。wap站一般是采用m开头的域名。在这个域名下，采集JS代码的部署和运行都有了新情况。运营人员是否支持部署这么重的JS，移动浏览器是否支持这些JS特性。wap站点还相对好点，更复杂的是app。app已经没有pageview的概念了，大部分app也不是HTML的格式。在app中我们要采集哪些数据，怎么采集这些数据。采集的这些数据怎么来衡量app的流量。

2. 移动APP应用的数据采集

移动App实际上还是通过HTTP协议与服务器进行交互的，我们只要分析出接口地址及参数的含义，就能像采集普通网站那样采集App的数据。这里要用到一些专业的工具。

1）先将要分析的App安装到手机上。
2）通过数据线将手机连接到PC。连接方式选择“Internet传输（通过电脑将电话连接到Internet）”。
3）打开抓包工具（例如，EffeTech HTTP Sniffer），先选择网络适配器为手机设备对应的项目（一定要选对，否则后面捕获不到数据）。
4）启动监听。在手机上操作App，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。
5）分析抓包工具监听到的HTTP报文

很多APP都采取主动采集数据，来提升智能化元素的模式。用户规模越大，数据采集时间越久，对用户需求的分析越准确，未来发展趋势一定是主动数据收集，数据采集，移动网站+移动APP互相结合的方式，综合多种途径来获取和处理数据。数据的用途也会越来越多，而八爪鱼采集器也正在积极研究探索这一领域的相关智能化实现方式，以便为企业大数据提供更多便利，让整个互联网+移动互联网上的大数据收集变得更轻松，更智能，更高效。