背景:系统的mysql数据库fol采用默认的latin1字符集,里面的字段在GB2312下显示正常。系统升级需要将所有数据转换成utf-8格式,目标数据库为newfol(建库时使用utf8 )
- create database newfol default charset utf8 COLLATE utf8_general_ci;
操作系统:RHEL5 x86
Mysql版本:5.1.57-log MySQL Community Server (GPL)
首先,使用替换Mysql字符集的方法转码,此方法在Navicat使用Mysql字符集连接数据库,显示中文正常的情况下,测试成功。如图:
1> 导出表结构:
- mysqldump -uroot -p --default-character-set=utf8 -d fol > createtab_fol.sql
其中--default-character-set=utf8 表示设置以什么字符集连接, -d 表示只导出表结构,不导出数据。
2>修改 createtab.sql 中表结构定义中的字符集为新的字符集。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab_fol.sql `
注:如果有设置latin1_general_ci字符集,那么要对应改成utf8_general_ci,下同
3>确保记录不再更新,导出所有记录。
- mysqldump -uroot -p --no-create-info fol > data_fol.sql
可选参数:
--no-create-info: 不写重新创建每个转储表的create table 语句。
4>打开data_fol.sql,将CHARSET=latin1修改成CHARSET=utf8 。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data_fol.sql `
5>使用新的字符集创建新的数据库。
- create database newfol default charset utf8 COLLATE utf8_general_ci;
6>创建表,执行createtab.sql
- mysql -uroot -p newfol< createtab_fol.sql
7>导入数据,执行data_fol.sql
- mysql -uroot -p newfol < data_fol.sql
8>使用客户端工具Navict连接,查看字符,乱码……宣告失败。
总结:在数据库默认为latin1字符集,字段为GB2312,直接修改表结构文件和数据文件为utf8格式,实际没有对中文生效。只有在默认为latin1字符集,中文为默认Mysql字符,才生效。
于是,搜索了互联网相关Mysql转换方法。
方法一:
步骤一> 命令行执行:
- mysqldump --opt -uroot -p --default-character-set=latin1 fol > /tmp/newfol.sql
步骤二 > 将 newfol.sql 文件中的create table语句的CHARSET=latin1改为CHARSET=utf8
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/newfol.sql `
步骤四 > 将newfol.sql转码为utf-8格式,建议使用UltraEditor,可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)',或者将文件另存为UTF-8(无BOM)格式
步骤五 > 命令行执行导入:
- mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
看到了华丽丽的中文了。哈哈
方法二
第一步,导出旧库
- mysqldump --default-character-set=latin1 -uroot -p fol > /tmp/old.sql
第三步,使用iconv工具转换编码
- iconv -t utf-8 -f gb2312 -c /tmp/old.sql > /tmp/new_utf8.sql
第二步,打开old.sql,将CHARSET=latin1修改成CHARSET=utf8 。
- sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" /tmp/new_utf8.sql `
第四步,导入新库
修改new_utf8.sql,增加一条sql语句:"SET NAMES utf8;",保存。
如果是大文件,建议使用sed命令插入,如 sed -i '22 i\SET NAMES utf8;'
即在22行之前插入一条SQL语句。
- mysql -hlocalhost -uroot newfol < new_utf8.sql
测试也成功通过,不乱码……
方法三:
Mysql5版本以上在使用 mysqldump的时候加上 --compatible=mysql40 参数,就可以指定编码,对导出文件进行格式转换。
1、用mysqldump将latin1编码的数据库导出成为sql文件。
- mysql -uroot -p --default-character-set=utf8 newfol < /tmp/newfol.sql
重点:--compatible=mysql40 --default-character-set=latin1 当指定了--compatible=mysql40参数后,可以指定数据库编码。
2、第二步,建立一个新库,采集字符集设定为utf8-general-li
将导出的newfol.sql 转换为UTF-8编码,可以使用UltraEdit(文件--转换--ASCII到UTF8)。后面的操作和第一种方法第二步骤开始一样。
结果测试是乱码。太伤心了……
经过不断测试和努力,用另外一种方法也把数据转换成功了,使用如下方法。
在和同事讨论了这个问题,得知在Navicat中使用GB2312字符连接,在正常显示中文的时候,转储SQL文件,然后用过UltraEdit(文件--转换--ASCII到UTF8)。同样修改sql文件字符集为新的字符集utf8 ,这种方法可行。但缺点是使用Navicat转储SQL文件非常慢,40M的数据就花了一个多小时,伤不起。如果是大存储时间,那如何是好。
另外,在查找资料的过程中,找到了一些关于针对表转换编码的方法:
以原来的字符集为latin1为例,升级成为utf8的字符集。原来的表: old_table (default charset=latin1),新表:new_table (default charset=utf8)。
第一步:导出旧数据
- mysqldump --default-character-set=latin1 -hlocalhost -uroot -B fol --tables old_table > new_table.sql
第二步:转换编码
转码为utf-8格式,使用UltraEditor,可以直接使用该编辑器的'转换->ASCII到UTF-8(Unicode编辑)',或者将文件另存为UTF-8(无BOM)格式在这里,原来的数据默认是gb2312编码。
第三步:导入
修改new_table.sql文件字符集为新的字符集utf8,导入新库newfol
- mysql -hlocalhost -uroot newfol < new.sql
结果显示中文正常。
总结:使用UltraEditor对某个表导出文件转换编码,导入数据正常,大功告成;如果只是对一些表作编码转换,可以使用这种方法。
最后,使用PHP程序等,从数据库中读取数据写入到新库,也是一个好方法。脚本还在测试中……有没好友有现成的呢?不胜感激……