GBK ＆ UTF8 编码互转脚本 (CMD+GAWK)

1. :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
2. :: gbk2utf8.cmd -V0.1 -- GBK & UTF8 编码互转
3. :: 无奈何@cn-dos.net - 2006-11-28 - CMD & GAWK
4. :: 用法：gbk2utf8 /I file...
5. :: 支持文件: - gawk.exe gbk2utf8.dat
6. :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
7. @echo off
8. setlocal
9. set self="%~f0"
10. set AwkScript="%temp%\%~n0%~z0.awk"
11. set path=%path%;%~dp0;%cd%
12. set nofile=
13. set error=
14. set input=
16. ::依赖文件完整性检查
17. for %%i in (gawk.exe gbk2utf8.dat) do (
18. @if "%%~$PATH:i" == "" (
19. echo.程序所依赖文件 "%%i" 缺失。
20. set nofile=1
21. ) else ( set %%~ni="%%~$PATH:i" )
22. )
23. if defined nofile goto :EOF
24. ::文件改动后更新脚本
25. if not exist %AwkScript% (
26. del /q "%temp%\%~n0*.awk" 2>nul
27. gawk "/^#<-1/,/^#>-1/{if(!/^#/)print}" %self% >%AwkScript%
28. )
30. :ParseLoop
31. if "%~1" == "" goto Start
32. if "%~1" == "?" goto SwitchH
33. if "%~1" == "/?" goto SwitchH
34. rem 参数处理并转到相应标签。
35. for %%s in (U u I i h H) do if "%~1"=="/%%s" goto Switch%%s
36. if "%F_input%" == "1" (
37. if not exist "%~1" set error=警告：文件 "%~1" 不存在。 & goto error
38. set input=%input% "%~1"
39. shift
40. goto ParseLoop
41. )
42. if "%F_input%" == "-1" shift & goto ParseLoop
43. set error=错误: 参数格式不正确 - "%1" !
44. goto error
46. :SwitchI
47. set F_input=1
48. if "%~2" == "-" set F_input=-1
49. shift
50. goto ParseLoop
52. :SwitchU
53. set F=-1
54. shift
55. goto ParseLoop
57. :error
58. echo.%error%
59. echo.
60. :SwitchH
61. echo.gbk2utf8 V0.1 -- GBK ^& UTF8 编码互转
62. echo.
63. echo.用法：1、%~n0 [/U]
64. echo. 2、%~n0 [/U] /I file...
65. echo. 3、%~n0 [/U] /I -
66. echo.
67. echo.选项： /? 显示本简短帮助,等价命令 /H 。
68. echo. /U UTF8 转码为 GBK ，默认设置为 GBK 转码为 UTF8 。
69. echo. /I 指定转换文件，“-”号从标准输出获得。
70. echo. 本参数可以空缺，缺省将从标准输出获得。
71. echo. 指定转换文件时，/I 参数不可省略。
72. goto :EOF
74. :Start
75. if "%input%" == "" set F_input=-1
76. if "%F_input%" == "-1" (
77. gawk -v F=%F% -f %AwkScript%
78. ) else (
79. gawk -v F=%F% -f %AwkScript% %input%
80. )
81. goto :EOF
83. :AwkScript
84. #<-1
85. function gbk2utf8(string,flag, reg, gbkreg, utf8reg, char, result){
86. gbkreg="[\x01-\x7f]|[\x81-\xfe][\x40-\xfe]"
87. utf8reg="[\x01-\x7f]|[\xc2-\xdf][\x80-\xbf]|\xe0[\xa0-\xbf][\x80-\xbf]|[\xe1-\xef][\x80-\xbf][\x80-\xbf]|\xf0[\x90-\xbf][\x80-\xbf][\x80-\xbf]|[\xf1-\xf7][\x80-\xbf][\x80-\xbf][\x80-\xbf]"
88. reg=gbkreg
89. if (flag==-1)
90. reg=utf8reg
91. RLENGTH = 1
92. while(RLENGTH != -1){
93. match(string,reg)
94. char=substr(string,RSTART,RLENGTH)
95. if (RLENGTH>1)
96. char=charset[char]
97. result=result char
98. string=substr(string,RSTART+RLENGTH)
99. }
100. return result
101. }
103. BEGIN {
104. FS=","
105. if (!F) F=1
106. if (F==1) {
107. while((getline<"gbk2utf8.dat") > 0)
108. charset[$1]=$2
109. }
110. else{
111. while((getline<"gbk2utf8.dat") > 0)
112. charset[$2]=$1
113. }
114. close("gbk2utf8.dat")
115. }
116. {
117. x=gbk2utf8($0,F)
118. print x
119. }
120. #>-1
121. goto :EOF

无奈何发表于 2006-11-30 01:02

Originally posted by 无奈何 at 2006-11-29 12:51: ccwan 兄过谦了，我也不是高手。 zxcv 兄，7k 多的是 GB2312 的，完整 GBK 有 2w 多，共 22046 个码位。

A1A42C C2B7 A1A52C CB89 A1A62C CB87 A1A72C C2A8

a1a4 E383BB a1a5 E08B89 a1a6 E08B87 a1a7 E082A8

A8BB C991 A8BD C584 A8BE C588 A8C0 C9A1

Originally posted by cmd&gawk at D:\1\5>gbk2utf8.cmd /u /i c.txt gawk: C:\DOCUME~1\ADMINI~1\LOCALS~1\Temp\gbk2utf82891.awk:9: (FILENAME=c.txt FNR =1) fatal: Unmatched [ or [^: /[
-]|[?遌[€-縘|郲?縘[€-縘|[?颹[€-縘[€-縘|餥?縘[€ -縘[€-縘|[?鱙[€-縘[€-縘[€-縘/