为什么好多网页后面出现了FEED？我最近在分析网站日志时发现，返回的结果都带有feed，这到底是什么意思？在目录有、文章也有。
/sites/3955.ntml/feec
/sites/3558.html/feed
/sites/4966.html/feed
/sites/3682.html/feec
/sites/3653.html/feed
/sites/5818.html/feed
/wzxmjc/feed 、/44.html/feed 。
怎么解决？你做个Robots.txt禁止蜘蛛爬取feed 通常有些程序都有订阅页面 会造成大量的重复内容被蜘蛛爬取 建站初期就应该进行屏蔽
网络爬虫，一门被认为是偷偷摸摸拿人家东西的技术，实则不然，其实爬虫是光明正大的拿人家东西的技术。理直气壮对不对，我喜欢。
网络爬虫，也叫网络蜘蛛。它可以根据网页地址（URL）爬取你想要的数据。
URL 专业一些的叫法是统一资源定位符（Uniform Resource Locator），它的一般格式如下（带方括号[]的为可选项）：
protocol : // hostname[:port] / path / [ ;parameters ] [ ?query ]#fragment
URL 的格式主要由前个三部分组成：
protocol：第一部分就是协议，例如百度使用的就是https协议；
hostname[:port]：第二部分就是主机名（还有端口号为可选参数），一般网站默认的端口号为80，例如百度的主机名就是www.baidu.com，这个就是服务器的地址；
path：第三部分就是主机资源的具体地址，如目录和文件名等
爬虫就是根据这个url来获取网页信息的。
以百度为例，举个简单的例子：
http://www.baidu.com:80
https://www.baidu.com:443
这两个 URL 都可以打开网页，区别在于一个是 http 协议，一个是 https 协议。
http 协议默认使用的端口是 80，https 协议默认使用的端口是 443。
每一个 URL 的背后，其实都是对应着一台服务器的，甚至成千上万台。
通俗一点讲，URL 就是每个服务器的地址。
简单示例
网络爬虫的第一步就是根据 URL ，获取网页的 HTML 信息。在 Python3 中，可以使用 urllib.request 和 requests 进行网页爬取。
urllib 库是 Python 内置的，无需我们额外安装，只要安装了 Python 就可以使用这个库。
requests 库是第三方库，需要我们自己安装。
requests安装
pip install requests
1
requests的基础函数
以爬取百度主页为例子，写一个最简单的爬虫，
知识：feed流是什么意思？
feed流即持续更新并呈现给用户内容的信息流。feed是将用户主动订阅的若干消息源组合在一起形成内容聚合器，帮助用户持续地获取最新的订阅源内容。
2、feed直接翻译是饲料的意思，其实是把用户都比喻成爱吃东西得某种动物，不断的给他喂食，满足他的需求，wiki百科上定义是一种数据格式，网站可通过它将最新信息传播给用户，用户能够订阅网站的先决条件是网站可提供持续更新的信息。流，就是他的呈现形式，就是这个信息怎么呈现的，大多数的都是根据时间排列的形式呈现的。使用了feed流的APP有很多，例如：微信朋友圈、百度信息流、今日头条推荐页等等。
