通过python的hashlib模块计算多个文件的MD五值

2019-05-03 22:43 来源:未知

www.weide1946.com,  Python的hashlib提供了大多摘要算法,如MD5,SHA一等常用算法。

hashlib


 

Python的hashlib提供了周围的摘要算法,如MD伍,SHA1等等。

什么样是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过四个函数,把自由长度的多少转变为二个尺寸固定的数据串(常常用1陆进制的字符串表示)。

摘要算法就是由此摘要函数f()对私自长度的多少data总结出一定长度的摘要digest,目标是为了开掘原本数据是还是不是被人篡改过。

摘要算法之所以能提议数据是或不是被篡改过,就是因为摘要函数是一个单向函数,总括f(data)很轻巧,但经过digest反推data却格外狼狈。而且,对原有数据做七个bit的修改,都会造成总括出的摘要完全不一样。

我们以广阔的摘要算法MD伍为例,总括出叁个字符串的MD5值:

import hashlib

md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

计算结果如下:
d26a53750bc40b38b65a520292f69306

只要数据量极大,能够分块数次调用update(),最终计算的结果是同等的:

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

MD伍是最遍布的摘要算法,速度高速,生成结果是永久的12八bit字节,经常用三个三11个人的16进制字符串代表。另1种常见的摘要算法是SHA一,调用SHA一和调用MD5一心类似:

import hashlib

sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

SHA一的结果是160 bit字节,平时用贰个四十一位的1陆进制字符串表示。比SHA一更安全的算法是SHA25陆和SHA51二,然而越安全的算法越慢,而且摘要长度越来越长

 

一,hashlib模块

  什么是摘要算法呢?摘要算法又称哈希算法、散列算法。它通过叁个函数,把自由长度的数据调换为3个尺寸固定的数据串(如MD伍值共三15个人,且每位都是用16进制实行表示)。

 

  摘要算法正是经过摘要函数对轻便长度的数据data总计出一定长度的摘要digest,目标是为了发掘原本数据是不是被人篡改过。

算法介绍

 

Python的hashlib提供了宽广的摘要算法,如MD五,SHA1等等。

 

怎样是摘要算法呢?摘要算法又称哈希算法、散列算法。它经过2个函数,把自由长度的多少转变为叁个长度固定的数据串(平日用1陆进制的字符串表示)。

 

摘要算法正是由此摘要函数f()对随便长度的数额data总结出稳固长度的摘要digest,目标是为了发掘原来数据是不是被人篡改过。

 

摘要算法之所以能提出数据是还是不是被篡改过,就是因为摘要函数是二个单向函数,总计f(data)很轻松,但经过digest反推data却百般窘迫。而且,对原始数据做二个bit的退换,都会造成总结出的摘要完全差别。

咱俩以常见的摘要算法MD5为例,总括出3个字符串的MD5值:

www.weide1946.com 1

import hashlib

md5 = hashlib.md5()
md5.update('how to use md5 in python hashlib?')
print md5.hexdigest()

计算结果如下:
d26a53750bc40b38b65a520292f69306

www.weide1946.com 2

要是数据量十分大,能够分块数次调用update(),最终总括的结果是一律的:

md5 = hashlib.md5()
md5.update('how to use md5 in ')
md5.update('python hashlib?')
print md5.hexdigest()

MD伍是最普遍的摘要算法,速度迅猛,生成结果是定点的128bit字节,日常用八个三1二人的1陆进制字符串代表。另一种常见的摘要算法是SHA一,调用SHA一和调用MD5截然类似:

import hashlib

sha1 = hashlib.sha1()
sha1.update('how to use sha1 in ')
sha1.update('python hashlib?')
print sha1.hexdigest()

SHA1的结果是160 bit字节,经常用2个41位的16进制字符串表示。比SHA一更安全的算法是SHA256和SHA512,可是越安全的算法越慢,而且摘要长度更加长。

 

二,configpareser模块

 

该模块适用于配置文件的格式与windows ini文件类似,能够涵盖三个或八个节(section),每种节可以有多少个参数(键=值)。

 

  摘要算法之所以能建议数据是不是被篡改过,正是因为摘要函数是贰个单向函数,总计digest很轻巧,但透过digest反推数据data却百般不方便,并且对本来数据做出放四的改换都会导致计算出的digest完全差别。

创立文件

 

来看叁个浩大软件的常见文书档案格式如下:

 

www.weide1946.com 3

[DEFAULT]
ServerAliveInterval = 45
Compression = yes
CompressionLevel = 9
ForwardX11 = yes

[bitbucket.org]
User = hg

[topsecret.server.com]
Port = 50022
ForwardX11 = no

www.weide1946.com 4

 

若是想用python生成3个如此的文书档案如何是好呢?

 

www.weide1946.com 5

import configparser

config = configparser.ConfigParser()

config["DEFAULT"] = {'ServerAliveInterval': '45',
                      'Compression': 'yes',
                     'CompressionLevel': '9',
                     'ForwardX11':'yes'
                     }

config['bitbucket.org'] = {'User':'hg'}

config['topsecret.server.com'] = {'Host Port':'50022','ForwardX11':'no'}

with open('example.ini', 'w') as configfile:

   config.write(configfile)

www.weide1946.com 6

 

  综上所述,只假诺贰个一体化且未被改变过的文书,它的MD5值大概别的算法值都以定点不改变的,一旦总计出数值与原来的书文者给出的数值差异,将要当心此文件的安全性了。

查找文件

 

www.weide1946.com 7

import configparser

config = configparser.ConfigParser()

#---------------------------查找文件内容,基于字典的形式

print(config.sections())        #  []

config.read('example.ini')

print(config.sections())        #   ['bitbucket.org', 'topsecret.server.com']

print('bytebong.com' in config) # False
print('bitbucket.org' in config) # True


print(config['bitbucket.org']["user"])  # hg

print(config['DEFAULT']['Compression']) #yes

print(config['topsecret.server.com']['ForwardX11'])  #no


print(config['bitbucket.org'])          #<Section: bitbucket.org>

for key in config['bitbucket.org']:     # 注意,有default会默认default的键
    print(key)

print(config.options('bitbucket.org'))  # 同for循环,找到'bitbucket.org'下所有键

print(config.items('bitbucket.org'))    #找到'bitbucket.org'下所有键值对

print(config.get('bitbucket.org','compression')) # yes       get方法Section下的key对应的value

www.weide1946.com 8

 

那就是说,利用python怎么总结多少个文件的MD伍值呢?以下是简写代码:

增删改操作

 

www.weide1946.com 9

import configparser

config = configparser.ConfigParser()

config.read('example.ini')

config.add_section('yuan')



config.remove_section('bitbucket.org')
config.remove_option('topsecret.server.com',"forwardx11")


config.set('topsecret.server.com','k1','11111')
config.set('yuan','k2','22222')

config.write(open('new2.ini', "w"))

www.weide1946.com 10

 

 三,logging模块

 

 1 import hashlib                                   #导入hashlib模块
 2 def match(file_path,Bytes=1024):
 3     md5_1 = hashlib.md5()                        #创建一个md5算法对象
 4     with open(file_path,'rb') as f:              #打开一个文件,必须是'rb'模式打开
 5         while 1:
 6             data =f.read(Bytes)                  #由于是一个文件,每次只读取固定字节
 7             if data:                          #当读取内容不为空时对读取内容进行update
 8                 md5_1.update(data)
 9             else:                             #当整个文件读完之后停止update
10                 break
11     ret = md5_1.hexdigest()                   #获取这个文件的MD5值
12     return ret
13 
14 
15 print(match(r'E:红军不怕远征难我与波多野结衣小姐姐的同居生活.avi'))

函数式轻松布置

 

import logging  
logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message') 

 

默许景况下Python的logging模块将日志打字与印刷到了标准输出中,且只展示了抢先等于WA奥迪Q7NING等级的日志,这注解暗中认可的日记等第设置为WALX570NING(日志等级阶段CLacrosseITICAL > ELacrosseRO奥德赛 > WA揽胜极光NING > INFO > DEBUG),暗许的日志格式为日志等级:Logger名称:用户输出音信。

 

灵活布置日志等第,日志格式,输出地点:

 

www.weide1946.com 11

import logging  
logging.basicConfig(level=logging.DEBUG,  
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',  
                    datefmt='%a, %d %b %Y %H:%M:%S',  
                    filename='/tmp/test.log',  
                    filemode='w')  

logging.debug('debug message')  
logging.info('info message')  
logging.warning('warning message')  
logging.error('error message')  
logging.critical('critical message')

www.weide1946.com 12

 

安顿参数

 

logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有:

filename:用指定的文件名创建FiledHandler,这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件(f=open(‘test.log’,’w’)),默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。

format参数中可能用到的格式化串:
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息

 

 

logger对象配置

www.weide1946.com 13

import logging

logger = logging.getLogger()
# 创建一个handler,用于写入日志文件
fh = logging.FileHandler('test.log')

# 再创建一个handler,用于输出到控制台
ch = logging.StreamHandler()

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

fh.setFormatter(formatter)
ch.setFormatter(formatter)

logger.addHandler(fh) #logger对象可以添加多个fh和ch对象
logger.addHandler(ch)

logger.debug('logger debug message')
logger.info('logger info message')
logger.warning('logger warning message')
logger.error('logger error message')
logger.critical('logger critical message')

www.weide1946.com 14

logging库提供了八个零件:Logger、Handler、Filter、Formatter。Logger对象提供应用程序可一贯使用的接口,Handler发送日志到适当的目标地,Filter提供了过滤日志消息的措施,Formatter内定日志展现格式。其它,能够透过:logger.setLevel(logging.Debug)设置品级,当然,也能够因此

fh.setLevel(logging.Debug)单对文本流设置有些品级。

 

版权声明:本文由韦德娱乐1946_韦德娱乐1946网页版|韦德国际1946官网发布于网络编程,转载请注明出处:通过python的hashlib模块计算多个文件的MD五值