爬虫

爬虫（又称网络爬虫、网页蜘蛛、网页机器人、网页追踪器），是一种自动获取网络信息的计算机程序，通常按照一定的规则自动地抓取万维网上的各种信息，它是一种正常的计算机程序，能够完成特定的任务，并自动地重新启动，可按特定的条件自动地爬取网页信息。

爬虫主要被用于收集网络上的各类信息，以满足搜索引擎的持续更新，以及让网络用户更具体的搜索到想要的信息；从一定程度上来说，一些爬虫诞生的主要原因是鉴于搜索引擎抓取网页的效率还很低下，只能及时地抓住更改的页面；爬虫的出现就是为应对这一类需求的，而各行各业亦有自己的爬虫工具，允许网络信息收集乃至于进行一定程度的数据挖掘。

爬虫分为程序爬虫和浏览器爬虫：程序爬虫使用编程语言，如Perl/PHP/Ruby等等，通过HTTP协议抓取网页的相关资源；浏览器爬虫则是以用户的身份不断的从网页里取数据，爬取网页信息借助浏览器提供的一些API，在这个过程中，可以自动填充表格，提交表单，模拟点击链接等行为，从而完成爬取任务。普通的浏览器爬虫只能简单地抓取和索引文本信息，但是利用神经网络之类的技术可以有更多可能，能够对图片和视频进行识别，从用户的浏览器缓存读取信息，以及在手机里实时爬取广告投放平台的内容等。

爬虫有许多的应用领域，如谷歌搜索，它利用爬虫技术不断索引网页，搜索引擎在查询字词的时候，会检索爬虫收集的页面的关键字，从而寻找对应用户搜索的内容。此外，爬虫在市场营销和社交媒体监控也有着广泛的应用，它可以自动抓取网站公司每日更新的博客文章、充分收集公司的社交媒体内容，从而方便企业及时了解市场情况，做出调整；而且美团、大众点评等外卖平台也经常借助爬虫抓取网络上第三方商家的店铺和菜品信息，提升自身的技术实力，提供便捷的外卖服务。