网络爬虫是否违法

Web爬取，也称为Web抓取，数据抓取或爬虫，是一种计算机程序技术，用于从网站上抓取大量数据，并将其处理为结构化数据。

Web抓取是常用的：

基本上，网页抓取是互联网的功能。例如，SEO需要创建站点地图并授予其权限，让Google对其网站进行抓取，以便在搜索结果中获得更高的排名。许多顾问公司会雇用专门从事网络抓取的公司来丰富他们的数据库，以便为他们的客户提供专业服务。

在数字化时代，很难确定网页抓取的合法性。

为什么网络抓取具有负面含义：

Web抓取可用于恶意目的，例如：

搜集私人或机密信息。
忽略网站的条款和服务，未经所有者许可，将其删除。
滥用数据请求的方式会导致Web服务器在额外的重负载下崩溃。
请务必注意，在以下情况下，负责任的数据服务提供商将拒绝您的请求：数据是私人的，需要用户名和密码
服务条款（TOS）明确禁止进行网页抓取
数据受版权保护

有什么理由可以起诉人？

违反《计算机欺诈和滥用法》（CFAA）
违反数字千年版权法案（DMCA）
侵害动产行为
挪用
如果网络数据运用不当，可能会导致意想不到的后果。

HiQ vs LinkedIn

您可能听说过2017年的HiQ与Linkedin案。HiQ是一家数据科学公司，为公司人力资源部门抓取数据。Linkedin随后发送了终止函，以停止HiQ的抓取行为。HiQ随后提起诉讼，以阻止Linkedin限制其访问网站。结果，法院裁定对HiQ是有利的。这是因为HiQ无需登录即可从Linkedin上的公共资料中抓取数据。也就是说，抓取在互联网上公开共享的数据是完全合法的。

让我们再举一个例子来说明在什么情况下抓取可能有害。例如：eBay诉讼Bidder's Edge。如果您出于个人目的进行网页抓取，则属于合法使用原则，因此是合法的。如果您想将抓取的数据用于其他目的（尤其是用于商业目的），则会开始复杂化。（引自Wikipedia.org，地址为100 F.Supp.2d 1058（ND Cal。2000））。

2000年，在线拍卖公司eBay成功地使用了“动产侵权”理论来获得初步禁令，以防止竞标数据汇总的Bidder's Edge使用“爬虫”从eBay网站上收集数据。该意见是将“动产侵权”应用于网络活动的一个主要案例。

只要您没有以破坏性的速度抓取，并且消息来源是公开的，那么就是合法的。在抓取前建议您检查目标网站，查找与数据爬取有关的任何服务条款。如果显示“不允许爬取”，则应尊重这一点。

建议：

谨慎抓取，请在开始抓取之前检查“ Robots.txt”
保守一点。激进地请求数据可能会给Internet服务器造成负担。请保持温柔。没有人想要使服务器崩溃。
明智地使用数据。您可以从收集的数据中获得见解，并帮助您的业务发展。
在开始抓取之前，请与网站所有者联系。
请勿将抓取的数据随意传递给任何人。如果它是有价值的数据，请确保其安全。