博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
基于概率的网页正文页抽取方案
阅读量:4111 次
发布时间:2019-05-25

本文共 222 字,大约阅读时间需要 1 分钟。

背景:

需要抽取网页的正文页和列表页

 

分析:

1.同一类型的网页其变化的是内容,不变的是样式布局

2.解析dom tree,叶子节点为文本,那么深度遍历全树可以获取其文本值

3.变化的是内容不变的是样式布局,那么可以基于概率构造需要数据的xpath

 

思路:

1.获取所有节点的xpath,保存xpath和文本值

2.遍历n个同类型的网页获取满足某一概率的所有变化的xpath

3.基于xpath生成模板进行网页解析,其对应项通过人工干预方式获取

 

转载地址:http://iiqsi.baihongyu.com/

你可能感兴趣的文章
深入了解php底层机制
查看>>
PHP中的stdClass 【转】
查看>>
XHProf-php轻量级的性能分析工具
查看>>
OpenCV gpu模块样例注释:video_reader.cpp
查看>>
【增强学习在无人驾驶中的应用】
查看>>
OpenCV meanshift目标跟踪总结
查看>>
就在昨天,全球 42 亿 IPv4 地址宣告耗尽!
查看>>
听说玩这些游戏能提升编程能力?
查看>>
如果你还不了解 RTC,那我强烈建议你看看这个!
查看>>
沙雕程序员在无聊的时候,都搞出了哪些好玩的小玩意...
查看>>
Mysql复制表以及复制数据库
查看>>
Kafka
查看>>
9.1 为我们的角色划分权限
查看>>
维吉尼亚之加解密及破解
查看>>
TCP/IP协议三次握手与四次握手流程解析
查看>>
PHP 扩展开发 : 编写一个hello world !
查看>>
inet_ntoa、 inet_aton、inet_addr
查看>>
用模板写单链表
查看>>
链表各类操作详解
查看>>
C++实现 简单 单链表
查看>>