python CGI模块获取中文编码问题解决- 部分方案

今天在尝试Python的CGI模块时遇到中文字符不能正确显示的问题,很郁闷.在网上仔细找了找,终于解决了这个问题,现在将解决方法陈述如下,以防下次失误.

 

页面源代码如下

#-*- coding: utf8 -*-

import cgitb , cgi
cgitb.enable()

form = cgi.FieldStorage()
if (form.has_key("name") and form.has_key("addr")):
    print "<p>name:", form["name"].value

    print "<p>addr:", form["addr"].value

[这里仅仅测试addr参数为中文]接收Ascii字符时运行良好,但是接收中文字符时显示乱码,浏览器切换到GB2312编码时

可以正常显示,但是个人要求它成为UTF-8编码显示

 

改成 print "<p>addr:", form["addr"].value.encode('utf-8')  就报如下错误:

UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-1: invalid data

 

在参阅了http://blog.chinaunix.net/u2/68206/showart_668359.html 后终于理解,

Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化。编码是 unicode -> str，相反的，解码就
是 str -> unicode。剩下的问题就是确定何时需要进行编码或者解码了.关于文件开头的"编码指示"，也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 UTF-8 编码的，当文件中有非 UTF-8 编码范围内的字符的时候就要使用"编码指示"来修正. 关于 sys.defaultencoding，这个在解码没有明确指明解码方式的时候使用。比如我有如下代码：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
s = '中文'  # 注意这里的 str 是 str 类型的，而不是 unicode
s.encode('gb18030')

这句代码将 s 重新编码为 gb18030 的格式，即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的，因此
Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb18030。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是
ANSCII，如果 s 不是这个类型就会出错。拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position
0: ordinal not in range(128)
对于这种情况，我们有两种方法来改正错误：
一是明确的指示出 s 的编码方式

#! /usr/bin/env python
# -*- coding: utf-8 -*-

s = '中文'
s.decode('utf-8').encode('gb18030')


二是更改 sys.defaultencoding 为文件的编码方式

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
sys.setdefaultencoding('utf-8')

str = '中文'
str.encode('gb18030')

   

看完之后,改成这样

print "<p>addr:", form["addr"].value.decode('gb2312').encode('utf-8')
成功通过.

 

我总结一下为什么要这么写的原因:

1. 当取回来的数据与你当前脚本中声明的编码不一致时就要做编码转换

2.在编码转换时首先要将该数据以自身编码的格式换成unicode码,再将这个unicode按utf8编码

3.为什么我的浏览器会传回gb2312的编码数据到服务器,这应该和客户端的系统编码有关系

 

 

这里顺便转载一下,关于Python 操作Mysql的中文问题:

 

Python操作MySQL以及中文乱码的问题

下面几个措施，保证MySQL的输出没有乱麻：
   1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)
    2 MySQL数据库charset=utf-8
    3 Python连接MySQL是加上参数 charset=utf8
    4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)

#encoding=utf-8
import sys
import MySQLdb

reload(sys)
sys.setdefaultencoding('utf-8')

db=MySQLdb.connect(user='root',charset='utf8')
cur=db.cursor()
cur.execute('use mydb')
cur.execute('select * from mytb limit 100')

f=file("/home/user/work/tem.txt",'w')

for i in cur.fetchall():
    f.write(str(i))
    f.write(" ")

f.close()
cur.close()

 

 

 

 

 

 

 

测试以下连接成功: index.psp?name=iamsese&addr=北京

 

 

 

评论

4 楼 pythoner126com 2012-09-12  

写得不错，有点长，国内对这个东西热情不是很高，我最近也有翻译，请多多指导：http://www.yiibai.com/python/python_cgi_programming.html
相互学习，共同进步。

3 楼 vb2005xu 2009-08-12  

pdt输出中文乱码的解决
http://www.julabs.com/blog/soft/eclipse-zh/

2 楼 vb2005xu 2009-07-16  

引用

http://hi.baidu.com/yobin/blog/item/1547fbdc6ef53ba4cc116611.html

写了一个简单的脚本，将我的数据整理到Mysql中去。遇到了乱码问题，改了一下，很快就解决了。连接mysql时要注意注明是utf-8字符集，所有中文都要是utf-8，如果有GBK也要先转换成utf-8，把握这个原则，中文乱码问题是不会有的。

转换脚本如下：

#-*- coding: utf-8 -*-，
#coding = utf-8

import MySQLdb,os

def wgdata2DB():
    print "Convert weg game data to mysql"
    db=MySQLdb.connect(host='localhost',      #连接数据库
                      user='root',
                      passwd='123456',
                      db='testdb',
                      charset="utf8")     ＃这里要注明是utf8字符集，文件开头最好也加上utf-8的声明

    cursor=db.cursor()
      
    if os.path.exists('test.dat'):
        rFile = open('test.dat', 'r')
        lines = rFile.readlines()
        rFile.close()
        
        loop = 0
        for line in lines:
            print "handle line:%d" % (loop)
            myset = line.split(' ')
            
            sqlstr = "INSERT INTO wg_Content (type,title,url,speed,des,size) VALUES('%s','%s','%s','%s','%s','%s')" \
                %(myset[0],myset[1],myset[2],myset[3],myset[4],myset[5])
            cursor.execute(sqlstr)
            loop += 1            
            db.commit()
    cursor.close()
    db.close()

1 楼 vb2005xu 2009-07-16  

Python操作MySQL需要安装Python-MySQL

1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)
2 MySQL数据库charset=utf-8
3 Python连接MySQL是加上参数 charset=utf8
4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)

#encoding=utf-8
import sys
import MySQLdb

reload(sys)
sys.setdefaultencoding('utf-8')

db=MySQLdb.connect(user='root',charset='utf8')
cur=db.cursor()
cur.execute('use mydb')
cur.execute('select * from mytb limit 100')

f=file("/home/user/work/tem.txt",'w')

for i in cur.fetchall():
     f.write(str(i))
     f.write(" ")

f.close()
cur.close()

推荐使用SQLObject,我在写测试代码时,在SQLITE中没有出现这个问题,因为turbogears缺省类库都是unicode编码的