山西制作网站,360建筑网忘记登入密码了怎么办,免费素材app,西安公司网站设计1.什么是爬虫 爬虫#xff0c;即网络爬虫#xff0c;大家可以理解为在网络上爬行的一直蜘蛛#xff0c;互联网就比作一张大网#xff0c;而爬虫便是在这张网上爬来爬去的蜘蛛咯#xff0c;如果它遇到资源#xff0c;那么它就会抓取下来。想抓取什么#xff1f;这个由你来…1.什么是爬虫 爬虫即网络爬虫大家可以理解为在网络上爬行的一直蜘蛛互联网就比作一张大网而爬虫便是在这张网上爬来爬去的蜘蛛咯如果它遇到资源那么它就会抓取下来。想抓取什么这个由你来控制它咯。 比如它在抓取一个网页在这个网中他发现了一条道路其实就是指向网页的超链接那么它就可以爬到另一张网上来获取数据。这样整个连在一起的大网对这之蜘蛛来说触手可及分分钟爬下来不是事儿。 2.浏览网页的过程 在用户浏览网页的过程中我们可能会看到许多好看的图片比如 http://image.baidu.com/ 我们会看到几张的图片以及百度搜索框这个过程其实就是用户输入网址之后经过DNS服务器找到服务器主机向服务器发出一个请求服务器经过解析之后发送给用户的浏览器 HTML、JS、CSS 等文件浏览器解析出来用户便可以看到形形色色的图片了。 因此用户看到的网页实质是由 HTML 代码构成的爬虫爬来的便是这些内容通过分析和过滤这些 HTML 代码实现对图片、文字等资源的获取。 3.URL的含义 URL即统一资源定位符也就是我们说的网址统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL它包含的信息指出文件的位置以及浏览器应该怎么处理它。 URL的格式由三部分组成①第一部分是协议(或称为服务方式)。②第二部分是存有该资源的主机IP地址(有时也包括端口号)。③第三部分是主机资源的具体地址如目录和文件名等。 爬虫爬取数据时必须要有一个目标的URL才可以获取数据因此它是爬虫获取数据的基本依据准确理解它的含义对爬虫学习有很大帮助。 4. 环境的配置 学习Python当然少不了环境的配置最初我用的是Notepad不过发现它的提示功能实在是太弱了于是在Windows下我用了PyCharm在Linux下我用了Eclipse for Python另外还有几款比较优秀的IDE大家可以参考这篇文章 学习Python推荐的IDE 。好的开发工具是前进的推进器希望大家可以找到适合自己的IDE 下一节我们就正式步入 Python 爬虫学习的殿堂了小伙伴准备好了嘛 转载静觅 » Python爬虫入门二之爬虫基础了解转载于:https://www.cnblogs.com/stephenmc/p/7472437.html
