设为首页 收藏本站

运维网

查看: 122|回复: 1

[经验分享] python统计nginx日志域名下载量

[复制链接]

尚未签到

发表于 2017-10-11 09:19:42 | 显示全部楼层 |阅读模式
统计nginx访问日志,access.log形式:
1xx.xx.xxx.xxx  - - [09/Oct/2017:10:48:21 +0800] "GET /images/yyy/2044/974435412336/Cover/9787503434r.jpg HTTP/1.1" 304 0 "http://www.xxx.net/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/xx.0.xx2.xx Safari/537.36" "0.001" "-" "-" "-""xxx.xxx.xxx.xxx:xxxx" "304" "0" "0.001"
(1)将被访问的域名和次数存入数据库中
(2)将下载量排名前10的列出来
方法:读取access.log日志将其所需要信息截取出来生成字典,利用字典键的唯一性统计出下载次数,并将字典进行排序,截取出排名前10的域名和下载次数
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
#!/usr/bin/env python3
#__*__coding:utf8__*__
import MySQLdb
import re
#db = MySQLdb.connect(host='localhost',user='root',passwd='123456',db='testdb')
#access.log :log style is ===>
'''
114.250.90.86  - - [09/Oct/2017:10:48:21 +0800] "GET /images///book/201709/9787503541216/Cover/9787503541216.jpg HTTP/1.1" 304 0 "http://www.dyz100.net/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" "0.001" "-" "-" "-""10.1.12.201:9092" "304" "0" "0.001"
'''
def domainName():
    dn_dict = {}
    patten = '(http|https)://[a-z]+.[a-z0-9]+.[a-zA-Z]+'
    f = open('/tmp/access.log','r')
    for line in f:
        Domain_Name = re.search(patten,line.split()[10])
        if Domain_Name:
            dn = Domain_Name.group(0)
            if dn not in dn_dict:
                dn_dict[dn] = 1
            else:
                dn_dict[dn] += 1
    #使用内建函数sorted()排序
    #sorted(dict.items(), key=lambda e:e[1], reverse=True)
    dn_ranking = sorted(dn_dict.items(),key=lambda item:item[1], reverse = True)
    return dn_ranking
def dispalydomainName():
    '''print top 10 ranking for download '''
    dn_ranking = domainName()
    print("下载量排名前10的域名列表为:")
    for item in dn_ranking[:11]:
        print("域名: %s ===> 下载次数: %d" % (item[0],item[1]))
def insert():
    db = MySQLdb.connect(host='localhost',user='root',passwd='123456',db='testdb')
    cursor = db.cursor()
    cursor.execute('drop table if exists ranking')
    sql = 'create table ranking (id int(10) not null primary key auto_increment, domainName varchar(100), download_times int(100))'
    cursor.execute(sql)
    dn_ranking = domainName()
    for item in dn_ranking:
        sql = '''insert into ranking (domainName,download_times) values ('%s',%d)''' %(item[0],item[1])
        cursor.execute(sql)
    # sql = '''insert into ranking (domainName,download_times) values ('wpt',2)'''
    try:
        #执行sql语句
        cursor.execute(sql)
        db.commit()
    except:
        db.rollback()
    db.close()
def select():
    db = MySQLdb.connect(host='localhost',user='root',passwd='123456',db='testdb')
    cursor = db.cursor()
    sql = '''select * from ranking'''
    try:
        cursor.execute(sql)
        results = cursor.fetchall()
        for row in results:
            print("域名: %s ===> 下载次数: %d" %(row[1],row[2]))
    except:
        print('Error: unable to fetch data')
    db.close()
if __name__ == '__main__':
    dispalydomainName()
    #insert()
    #select()



运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、其他单位或个人使用、转载或引用本文时必须注明原文的出处
4、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
5、运维网 - 服务您的运维操作管理专家!
6、联系人Email:[email protected] 网址:www.iyunv.com

点击关注更多内容
您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

关注运维网官方微信X

关注运维网官方微信

扫描二维码关注运维网官方微信,最新一手资源尽在官方微信!快快关注我们吧...

扫描微信二维码查看详情

客服 E-mail:[email protected]

本站由安畅网络和青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright © 2012-2017

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up !


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


合作伙伴: 青云cloud 安畅网络

快速回复 返回顶部 返回列表