做商城网站产品怎么分布,iis怎么创建网站,电子商务公司营业执照经营范围,网页qq登陆官网目录THE BEGIN一 什么是字体反爬二 如何解密1.人工解密2.工具解密三 建立映射关系四 解密THE BEGIN网页数据爬取可以简单分为三步#xff1a;抓取页面#xff0c;分析页面#xff0c;存储数据。其中第一二步最为头疼#xff0c;因为每个站点各有特色#xff0c;你要不断检…目录THE BEGIN一 什么是字体反爬二 如何解密1.人工解密2.工具解密三 建立映射关系四 解密THE BEGIN 网页数据爬取可以简单分为三步抓取页面分析页面存储数据。其中第一二步最为头疼因为每个站点各有特色你要不断检查网页结构寻找其规律更不用说现在各种各样的反爬虫手段了。 一般来说大多数网站会从三方面反爬虫用户请求如请求头检测用户行为如限制IP短时间频繁访问网站加载方式如Ajax异步加载。 今天来看看另一种常见反爬手段字体反爬。一 什么是字体反爬在这里有一个例子【实习僧】大学生找实习求职招聘网站 | 实习僧www.shixiseng.com进入官网打开开发者模式可以观察到关键信息在页面上显示正常但是源码是乱码在这里源代码中展示的并不是纯粹的数字而是在页面使用了font-face定义了字符集并通过unicode去映射展示。这对于正常访问的用户没有影响因为浏览器会加载css中的font字体为用户渲染好而对于爬虫来说却极其不友好因为爬取下来的关键信息都是乱码。这在一定程度上起到了反爬虫的作用因为数据被加密了那么对于这种字体反爬该怎么处理呢二 如何解密正如前文所说反爬是通过字符集建立映射关系将正常信息加密成一串乱码。那么首先我们要找到这些映射关系在哪。右键查看网页源码查找font-face可以看到字体信息密密麻麻一长串。这些就是我们所需要的信息了接下来就是如何解密了。在这里有两种方法可以解密1. 人工解密这种方法最简单如果需要寻找的字符映射不多如获取薪资只有数字0-9则可以通过观察网页寻找字符映射关系。当样本足够多时你就可以自己建立一个映射表。不过这种方法不能长期使用网站一旦更新字体映射就会失效需要重新找规律。2.工具解密把上面的font-face这一段字符串爬取出来可以看到这些字体源是用了base64加密可以用base64库进行提取把提取后的字体文件保存到shixi.ttf中。ttf是字体的一种类型ttf文件无法直接打开可以用软件FontCreator打开然后查看每一个字符对应的编码。这里我们可以看到该网站加密了数字字母、中文足足100个像第一种方法手动找规律肯定是行不通的。当然还有万能的python库fontTools可以用python代码来操作ttf文件。这里我们用这个库来进行字体解密三 建立映射关系ttf文件无法直接打开我们可以将其转换成xml文件并观察有没有什么规律。观察cmap结点下存在对应关系code所示即为网页上源码形式。但是用getBestCmap()函数获取后又变成十进制的数了所以需要用hex()函数将10进制整数转换成16进制以字符串形式表示成原来的行。另外第一行的map没有用需要删除才能继续解析。第一次替换第三次替换到此还没结束观察站点每个数据都有前缀#x所以我们还需进行前缀替换。至此映射关系就建立好了。部分代码四 解密得到映射关系后我们就可以用映射表对获取到的HTML源码进行清洗替换之后就可以用爬虫正常爬取数据了。这里观察页面结构中规中矩可以考虑用Beautiful Soup爬虫库进行爬取之后就得到我们想要的数据了清洗汇总就可以进行进行数据分析了。最后爬虫不易前端工程师也不易大家记得要文明爬虫也欢迎大家关注我的公众号【数据自留地】每周更多爬虫、数据分析干货
