Mysql编码转换实践总结

819阅读 0评论2012-09-21 fjzhuozl
分类:

背景:系统的mysql数据库fol采用默认的latin1字符集,里面的字段在GB2312下显示正常。系统升级需要将所有数据转换成utf-8格式,目标数据库为newfol(建库时使用utf8 )


  1. create database newfol default charset utf8 COLLATE utf8_general_ci;

操作系统:RHEL5  x86

Mysql版本:5.1.57-log MySQL Community Server (GPL)


首先,使用替换Mysql字符集的方法转码,此方法在Navicat使用Mysql字符集连接数据库,显示中文正常的情况下,测试成功。如图:

1> 导出表结构:


  1. mysqldump -uroot -p --default-character-set=utf8 -d fol > createtab_fol.sql

其中--default-character-set=utf8 表示设置以什么字符集连接, -d 表示只导出表结构,不导出数据。

2>修改 createtab.sql 中表结构定义中的字符集为新的字符集。


  1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab_fol.sql `

注:如果有设置latin1_general_ci字符集,那么要对应改成utf8_general_ci,下同


3>确保记录不再更新,导出所有记录。


  1. mysqldump -uroot -p --no-create-info fol > data_fol.sql

可选参数:

--no-create-info: 不写重新创建每个转储表的create table 语句。


4>打开data_fol.sql,CHARSET=latin1修改成CHARSET=utf8


  1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data_fol.sql `

5>使用新的字符集创建新的数据库。


  1. create database newfol default charset utf8 COLLATE utf8_general_ci;

6>创建表,执行createtab.sql


  1. mysql -uroot -p newfol< createtab_fol.sql

7>导入数据,执行data_fol.sql


  1. mysql -uroot -p newfol < data_fol.sql

8>使用客户端工具Navict连接,查看字符,乱码……宣告失败。


总结:在数据库默认为latin1字符集,字段为GB2312,直接修改表结构文件和数据文件为utf8格式,实际没有对中文生效。只有在默认为latin1字符集,中文为默认Mysql字符,才生效。


于是,搜索了互联网相关Mysql转换方法。


方法一:


步骤一> 命令行执行:


  1. mysqldump --opt -uroot -p --default-character-set=latin1 fol > /tmp/newfol.sql

步骤二 > 将 newfol.sql 文件中的create table语句的CHARSET=latin1改为CHARSET=utf8


  1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/newfol.sql `

步骤四 > newfol.sql转码为utf-8格式,建议使用UltraEditor,可以直接使用该编辑器的'转换->ASCIIUTF-8(Unicode编辑)',或者将文件另存为UTF-8(BOM)格式



步骤五 > 命令行执行导入


  1. mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql


看到了华丽丽的中文了。哈哈


方法二


第一步,导出旧库

  1. mysqldump --default-character-set=latin1 -uroot -p fol > /tmp/old.sql

第三步,使用iconv工具转换编码

  1. iconv -t utf-8 -f gb2312 -c /tmp/old.sql > /tmp/new_utf8.sql

第二步,打开old.sql,CHARSET=latin1修改成CHARSET=utf8


  1. sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/new_utf8.sql `

第四步,导入新库

修改new_utf8.sql,增加一条sql语句:"SET NAMES utf8;",保存。

如果是大文件,建议使用sed命令插入,如 sed -i '22 i\SET NAMES utf8;'

即在22行之前插入一条SQL语句。

  1. mysql -hlocalhost -uroot newfol < new_utf8.sql


测试也成功通过,不乱码……


方法三:


Mysql5版本以上在使用 mysqldump的时候加上 --compatible=mysql40 参数,就可以指定编码,对导出文件进行格式转换。


1、用mysqldumplatin1编码的数据库导出成为sql文件。


  1. mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql

重点:--compatible=mysql40 --default-character-set=latin1指定了--compatible=mysql40参数后,可以指定数据库编码


2、第二步,建立一个新库,采集字符集设定为utf8-general-li
    将导出的newfol.sql 转换为UTF-8编码,可以使用UltraEdit(文件--转换--ASCIIUTF8)。后面的操作和第一种方法第二步骤开始一样。

结果测试是乱码。太伤心了……


经过不断测试和努力,用另外一种方法也把数据转换成功了,使用如下方法。


在和同事讨论了这个问题,得知在Navicat中使用GB2312字符连接,在正常显示中文的时候,转储SQL文件,然后用过UltraEdit(文件--转换--ASCIIUTF8)。同样修改sql文件字符集为新的字符集utf8 ,这种方法可行。但缺点是使用Navicat转储SQL文件非常慢,40M的数据就花了一个多小时,伤不起。如果是大存储时间,那如何是好。



另外,在查找资料的过程中,找到了一些关于针对表转换编码的方法:
以原来的字符集为latin1为例,升级成为utf8的字符集。原来的表old_table (default charset=latin1),新表:new_table (default charset=utf8)


第一步:导出旧数据


  1. mysqldump --default-character-set=latin1 -hlocalhost -uroot -B fol --tables old_table > new_table.sql

第二步:转换编码


转码为utf-8格式,使用UltraEditor,可以直接使用该编辑器的'转换->ASCIIUTF-8(Unicode编辑)',或者将文件另存为UTF-8(BOM)格式在这里,原来的数据默认是gb2312编码。


第三步:导入


修改new_table.sql文件字符集为新的字符集utf8,导入新库newfol


  1. mysql -hlocalhost -uroot newfol < new.sql

结果显示中文正常。

总结:使用UltraEditor对某个表导出文件转换编码,导入数据正常,大功告成;如果只是对一些表作编码转换,可以使用这种方法。


最后,使用PHP程序等,从数据库中读取数据写入到新库,也是一个好方法。脚本还在测试中……有没好友有现成的呢?不胜感激……

上一篇:Java多线程Synchronized的注意细节
下一篇:一次Android操作系统源码的编译经验