应用商量网址背景,文本分析之创设互连网关系

2019-05-03 22:26 来源:未知

图片 1

最近忙于学术,公众号更新的有点慢了,在这里给大家个歉,希望大家能继续支持我。由于学术需要,未来一段时间,我以后会有一些文本分析的脚本要出现,希望大家喜欢。

一、检查robots.txt

大多数网站都会定义robots.txt文件,这样可以让爬虫了解爬取该网站时存在哪些限制。
  在爬取之前,检查robots.txt文件这一宝贵资源可以最小化爬虫被封禁的可能,而且还能发现和网站结构相关的线索。关于robots.txt的更多信息可以参见 http://www.robotstxt.org 。

 

目前简单的文本分析已经满足我人物需要,所以还不会去学机器学习,任务导向是最好的学习方法。希望大家也能找点有意思任务,python下。

二、识别网站所用技术

构建网站所使用的技术类型会对我们如何爬取产生影响。builtwith就是一个可以检查网站构建技术类型的工具。安装方法如下:

pip install builtwith
  • 爬虫小工具
  • 文件下载小助手
  • 爬虫实战
  • 笔趣看小说下载
  • VIP视频下载
  • 百度文库文章下载_rev1
  • 百度文库文章下载_rev2
  • 《帅啊》网帅哥图片下载
  • 构建代理IP池
  • 《火影忍者》漫画下载
  • 财务报表下载小助手
  • 一小时入门网络爬虫
  • 抖音App视频下载_rev1
  • 抖音App视频下载_rev2
  • 抖音App视频下载_rev3
  • GEETEST验证码破解
  • 12306抢票小助手
  • 百万英雄答题辅助系统
  • 网易云音乐批量下载
  • B站视频和弹幕批量下载
  • 其它

今天给大家带来我写好的脚本,用来分析社会网络关系。

实例:

>>> import builtwith
>>> builtwith.parse('http://example.webscraping.com')
{'javascript-frameworks': ['jQuery', 'Modernizr', 'jQuery UI'], 
'web-frameworks': ['Web2py', 'Twitter Bootstrap'], 
'programming-languages': ['Python'], 
'web-servers': ['Nginx']}

图片 2

这个图我没有用到gephi或者其他的工具,是我用python纯脚本运行出来的。简单的实现了封装,大家有兴趣可以下载下脚本,运行下。

说明:

返回结果显示,该网站使用了Python的Web2py框架、通用的JavaScript库。
  该网站的内容很有可能嵌入在HTML中,相对而言比较容易抓取。

 

原理知识

我就简单说下原理吧,先刻画一个简单的图A

双节点,有方向A-->B

添加更多节点

好了,同样的道理,咱们建立角色词典,插入节点列表,然后遍历插入有向边关系,就能做出这图

详情大家可以去看看实验楼网

《Python基于共现提取《釜山行》人物关系》

这篇文章写的很好(希望不要黑我,我也是觉得真心好)。我基本上借鉴了这篇文章思路写今天这个脚本,实现了自动生成关系网络图。

二、寻找网站所有者

为了站到网站的所有者,我们可以使用WHOIS协议查询域名的注册者是谁。Python中有一个针对该协议的封装库,文档地址为 http://pypi.python.org/pypi/python-whois ,可以通过pip进行安装:

pip install python-whois

爬虫小工具

准备工作

一、安装matplotlib、networkx

二、解决matplotlib无法写中文问题

1、找到pythonXlibsite-packagesmatplotlibmpl-datafontsttf文件夹

2、matplotlib默认调用的为DejaVuSans.ttf字体文件,网上下载个微软雅黑.ttf

3、将微软雅黑文件名改为DejaVuSans.ttf粘贴到ttf文件夹下即可。

实例:

>>> import whois
>>> print whois.whois('appspot.com')
{
  "updated_date": [
    "2017-02-06 00:00:00", 
    "2017-02-06T02:26:49-0800"
  ], 
  "status": [
    "clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited", 
    "clientTransferProhibited https://icann.org/epp#clientTransferProhibited", 
    "clientUpdateProhibited https://icann.org/epp#clientUpdateProhibited", 
    "serverDeleteProhibited https://icann.org/epp#serverDeleteProhibited", 
    "serverTransferProhibited https://icann.org/epp#serverTransferProhibited", 
    "serverUpdateProhibited https://icann.org/epp#serverUpdateProhibited", 
    "clientUpdateProhibited (https://www.icann.org/epp#clientUpdateProhibited)", 
    "clientTransferProhibited (https://www.icann.org/epp#clientTransferProhibited)", 
    "clientDeleteProhibited (https://www.icann.org/epp#clientDeleteProhibited)", 
    "serverUpdateProhibited (https://www.icann.org/epp#serverUpdateProhibited)", 
    "serverTransferProhibited (https://www.icann.org/epp#serverTransferProhibited)", 
    "serverDeleteProhibited (https://www.icann.org/epp#serverDeleteProhibited)"
  ], 
  "name": "DNS Admin", 
  "dnssec": "unsigned", 
  "city": "Mountain View", 
  "expiration_date": [
    "2018-03-10 00:00:00", 
    "2018-03-09T00:00:00-0800"
  ], 
  "zipcode": "94043", 
  "domain_name": [
    "APPSPOT.COM", 
    "appspot.com"
  ], 
  "country": "US", 
  "whois_server": "whois.markmonitor.com", 
  "state": "CA", 
  "registrar": "MarkMonitor, Inc.", 
  "referral_url": "http://www.markmonitor.com", 
  "address": "2400 E. Bayshore Pkwy", 
  "name_servers": [
    "NS1.GOOGLE.COM", 
    "NS2.GOOGLE.COM", 
    "NS3.GOOGLE.COM", 
    "NS4.GOOGLE.COM", 
    "ns3.google.com", 
    "ns1.google.com", 
    "ns2.google.com", 
    "ns4.google.com"
  ], 
  "org": "Google Inc.", 
  "creation_date": [
    "2005-03-10 00:00:00", 
    "2005-03-09T18:27:55-0800"
  ], 
  "emails": [
    "abusecomplaints@markmonitor.com", 
    "dns-admin@google.com"
  ]
}
  • downloader.py:文件下载小助手

脚本文件简介

你下载后脚本文件夹名为:人民的名义

其中的relationship.py就是大邓写的库(直接能调用的哦)

实现功能:

1、读入小数数据和角色词典后,对数据分词后生成角色关系数据(有向关系数据)

2、无需gephi绘图即可制作绚丽角色关系网络图。

注意:

1、运行脚本前,文件夹中只保留角色名单.txt 人民的名义.txt 和 relationship.py

2、要想图片好看点,一定要联网啊。里面我写了个爬虫,爬取一个配色网站的配色值。

如果你们想单机也可以画出好看的图,可以修改下代码,将代码爬虫部分改成读取本地颜色数据

说明:

该域名归属于Google。该域名是用于Google App Engine服务的。当我们爬取该域名时要十分小心,因为Google经常会阻断网络爬虫,尽管实际上它自己就是一个网络爬虫业务。

一个可以用于下载图片、视频、文件的小工具,有下载进度显示功能。稍加修改即可添加到自己的爬虫中。

使用示例

1、建好小说数据中的角色字典,格式如下

2、在文件夹中放入小说txt文件(人民的名义.txt)

3、在脚本文件夹中新建一个test.py文件

4、运行

文件夹中生成了 人物关系图.png、node_edge.txt和node_freq.txt文件。

node_edge.txt 有向图关系数据,可以后续导入gephi软件自定义制图

node_freq.txt 节点出现频率

注意:每次运行前请把人物关系图.png、node_edge.txt和node_freq.txt文件删除掉,再运行

动态示意图:

关注公众号:大邓带你玩python

图片 3

文中末尾附有脚本文件下载地址

=

=

 

更多内容

文本分析

python居然有情感??真的吗??

自然语言处理库之snowNLP

数说中南大学研究生感情状况及择偶观

用gensim库做文本相似性分析

基于共现发现人物关系的python实现

用python计算两文档相似度

爬虫

初识Python的GUI编程

爬虫实战视频专辑

【视频】手把手教你抓美女~

当爬虫遭遇验证码,怎么办

知易行难

用词云图解读“于欢案”

【视频】于欢案之网民的意见(1)?

【视频】有了selenium,小白也可以自豪的说:“去TMD的抓包、cookie”

【视频】快来get新技能--抓包 cookie,爬微博不再是梦

【视频教程】用python批量抓取简书用户信息

爬豆瓣电影名的小案例(附视频操作)

爬豆瓣电影名的小案例2(附视频操作)

用Python抓取百度地图里的店名,地址和联系方式

神奇的python

怜香惜玉,我用python帮助办公室文秘

逆天的量化交易分析库-tushare

酷炫的matplotlib

开扒皮自己微信的秘密

8行代码实现微信聊天机器人

使用Python登录QQ邮箱发送QQ邮件

爬虫实战

1、biqukan.py:《笔趣看》盗版小说网站,爬取小说工具

第三方依赖库安装:

pip3 install beautifulsoup4

使用方法:

python biqukan.py

2、video_downloader:爱奇艺等主流视频网站的VIP视频破解助手(暂只支持PC和手机在线观看VIP视频!)

感谢Python3二维码生成器作者:

编译好的软件下载连接: 密码:p8bs

解压密码:cuijiahua.com

无需Python3环境,在Windows下,解压即用!软件使用方法

源码可查看video_downloader,运行源码需要搭建Python3环境,并安装相应第三方依赖库:

在video_downloader文件夹下,安装第三方依赖库:

pip3 install -r requirements.txt

使用方法:

python movie_downloader.py

运行环境:

  • Windows, Python3
  • Linux, Python3
  • Mac, Python3

3、baiduwenku.py: 百度文库word文章爬取

原理说明:

代码不完善,没有进行打包,不具通用性,纯属娱乐,以后有时间会完善。

4、shuaia.py: 爬取《帅啊》网,帅哥图片

《帅啊》网URL:

原理说明:

第三方依赖库安装:

pip3 install requests beautifulsoup4

5、daili.py: 构建代理IP池

原理说明:

6、carton: 使用Scrapy爬取《火影忍者》漫画

代码可以爬取整个《火影忍者》漫画所有章节的内容,保存到本地。更改地址,可以爬取其他漫画。保存地址可以在settings.py中修改。

动漫网站:

原理说明:

7、hero.py: 《王者荣耀》推荐出装查询小助手

网页爬取已经会了,想过爬取手机APP里的内容吗?

原理说明:

8、financical.py: 财务报表下载小助手

爬取的数据存入数据库会吗?《跟股神巴菲特学习炒股之财务报表入库(MySQL)》也许能给你一些思路。

原理说明:

动态示意图:

图片 4

 

9、one_hour_spider:一小时入门Python3网络爬虫。

原理说明:

  • 知乎:
  • CSDN:

本次实战内容有:

  • 网络小说下载(静态网站)-biqukan
  • 优美壁纸下载(动态网站)-unsplash
  • 爱奇艺VIP视频下载

10、douyin.py:抖音App视频下载

抖音App的视频下载,就是普通的App爬取。

原理说明:个人网站:

11、douyin_pro:抖音App视频下载(升级版)

抖音App的视频下载,添加视频解析网站,支持无水印视频下载,使用第三方平台解析。

原理说明:个人网站:

12、douyin_pro_2:抖音App视频下载(升级版2)

抖音App的视频下载,添加视频解析网站,支持无水印视频下载,通过url解析,无需第三方平台。

原理说明:个人网站:

动态示意图:

图片 5

 

13、geetest.py:GEETEST验证码破解

爬虫最大的敌人之一是什么?没错,验证码!Geetest作为提供验证码服务的行家,市场占有率还是蛮高的。遇到Geetest提供的滑动验证码怎么破?授人予鱼不如授人予渔,接下来就为大家呈现本教程的精彩内容。

原理说明:

动态示意图:

图片 6

 

14、12306.py:用Python抢火车票简单代码

可以自己慢慢丰富,蛮简单,有爬虫基础很好操作,没有原理说明。

15、baiwan:百万英雄辅助答题

效果图:

图片 7

 

原理说明:

功能介绍:

  • 服务器端,使用Python(baiwan.py)通过抓包获得的接口获取答题数据,解析之后通过百度知道搜索接口匹配答案,将最终匹配的结果写入文件(file.txt)。
  • 手机抓包不会的朋友,可以看下我的早期手机APP抓包教程。
  • Node.js(app.js)每隔1s读取一次file.txt文件,并将读取结果通过socket.io推送给客户端(index.html)。
  • 亲测答题延时在3s左右。
  • 声明:没做过后端和前端,花了一天时间,现学现卖弄好的,javascript也是现看现用,百度的程序,调试调试而已。可能有很多用法比较low的地方,用法不对,请勿见怪,有大牛感兴趣,可以自行完善。

16、Netease:根据歌单下载网易云音乐

效果图:

图片 8

 

功能介绍:根据music_list.txt文件里的歌单的信息下载网易云音乐,将自己喜欢的音乐进行批量下载。

17、bilibili:B站视频和弹幕批量下载

使用说明:

python bilibili.py -d 猫 -k 猫 -p 10

三个参数:

-d 保存视频的文件夹名

-k B站搜索的关键字

-p 下载搜索结果前多少页

版权声明:本文由韦德娱乐1946_韦德娱乐1946网页版|韦德国际1946官网发布于网络编程,转载请注明出处:应用商量网址背景,文本分析之创设互连网关系