页面打开中,请稍候...
www.Gzu521.com
| GZU521.COM学习网 |
|
在《ip地址->地理位置转换的测评》一文中提到用ip2addr函数直接读取ip数据库文件是效率最高的，相比用MySQL数据库存储ip数据，用sql查询是效率最低的。但是ip数据库文件qqwry.dat是gb2312编码的。现在我需要utf-8编码的地理位置结果。如果用mysql方法，可以在数据存入数据库时就转换为utf-8编码，一劳永逸。但是qqwry.dat文件又无法修改，只能把ip2addr函数的输出结果再进行动态转换。 动态转换gb->utf-8编码至少有四种方法： 用php的iconv扩展转换 用php的mb_string扩展转换 用对换表转换，对换表存储在mysql数据库中 用对换表转换，对换表存储在文本文件中 前两种方法要服务器作了相应设置（编译安装了相应扩展）才能使用。我的虚拟主机没有这两个扩展，只好考虑后两种方法。前两个方法本文也不进行测评。 测评程序如下（func_ip.php参见《ip地址->地理位置转换的测评》一文）： <?php require_once ("func_ip.php"); function u2utf8($c) { $str = ""; if ($c < 0x80) { $str .= $c; } elseif ($c < 0x800) { $str .= chr(0xc0 | $c >> 6); $str .= chr(0x80 | $c & 0x3f); } elseif ($c < 0x10000) { $str .= chr(0xe0 | $c >> 12); $str .= chr(0x80 | $c >> 6 & 0x3f); $str .= chr(0x80 | $c & 0x3f); } elseif ($c < 0x200000) { $str .= chr(0xf0 | $c >> 18); $str .= chr(0x80 | $c >> 12 & 0x3f); $str .= chr(0x80 | $c >> 6 & 0x3f); $str .= chr(0x80 | $c & 0x3f); } return $str; } function gb2utf8_sql($strgb) { if (!trim($strgb)) return $strgb; $strret = ""; $intlen = strlen($strgb); for ($i = 0; $i < $intlen; $i++) { if (ord($strgb{$i}) > 127) { $strcurr = substr($strgb, $i, 2); $intgb = hexdec(bin2hex($strcurr)) - 0x8080; $strsql = "select code_unicode from nnstats_gb_unicode where code_gb = ".$intgb." limit 1" ; $resresult = mysql_query($strsql); if ($arrcode = mysql_fetch_array($resresult)) $strret .= u2utf8($arrcode["code_unicode"]); else $strret .= "??"; $i++; } else { $strret .= $strgb{$i}; } } return $strret; } function gb2utf8_file($strgb) { if (!trim($strgb)) return $strgb; $arrlines = file("gb_unicode.txt"); foreach ($arrlines as $strline) { $arrcodetable[hexdec(substr($strline, 0, 6))] = hexdec(substr($strline, 7, 6)); } $strret = ""; $intlen = strlen($strgb); for ($i = 0; $i < $intlen; $i++) { if (ord($strgb{$i}) > 127) { $strcurr = substr($strgb, $i, 2); $intgb = hexdec(bin2hex($strcurr)) - 0x8080; if ($arrcodetable[$intgb]) $strret .= u2utf8($arrcodetable[$intgb]); else $strret .= "??"; $i++; } else { $strret .= $strgb{$i}; } } return $strret; } function encodeip($strdotquadip) { $arripsep = explode('.', $strdotquadip); if (count($arripsep) != 4) return 0; $intip = 0; foreach ($arripsep as $k => $v) $intip += (int)$v * pow(256, 3 - $k); return $intip; //return sprintf('%02x%02x%02x%02x', $arripsep[0], $arripsep[1], $arripsep[2], $arripsep[3]); } function getmicrotime() { list($msec, $sec) = explode(" ", microtime()); return ((double)$msec + (double)$sec); } for ($i = 0; $i < 100; $i++) { // 随机产生100个ip地址 $strip = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255); $arraddr[$i] = ip2addr(encodeip($strip)); } $resconn = mysql_connect("localhost", "netnest", "netnest"); mysql_select_db("test"); // 测评mysql查询的编码转换 $dbltimestart = getmicrotime(); for ($i = 0; $i < 100; $i++) { $strutf8region = gb2utf8_sql($arraddr[$i]["region"]); $strutf8address = gb2utf8_sql($arraddr[$i]["address"]); } $dbltimeduration = getmicrotime() - $dbltimestart; // 测评结束并输出结果 echo $dbltimeduration; echo "\r\n"; // 测评文本文件查询的编码转换 $dbltimestart = getmicrotime(); for ($i = 0; $i < 100; $i++) { $strutf8region = gb2utf8_file($arraddr[$i]["region"]); $strutf8address = gb2utf8_file($arraddr[$i]["address"]); } $dbltimeduration = getmicrotime() - $dbltimestart; // 测评结束并输出结果 echo $dbltimeduration; echo "\r\n"; ?> 测评两次结果（精确到3位小数，单位是秒）： mysql查询转换：0.112 文本查询转换：10.590 mysql查询转换：0.099 文本查询转换：10.623 可见这次是mysql方法遥遥领先于文件查询法。但是现在还不急于使用mysql方法，因为文本文件方法之所以如此耗时，主要因为它每次转换都要把整个gb_unicode.txt读入内存，而gb_unicode.txt又是文本文件，格式如下： 0x2121 0x3000 # ideographic space 0x2122 0x3001 # ideographic comma 0x2123 0x3002 # ideographic full stop 0x2124 0x30fb # katakana middle dot 0x2125 0x02c9 # modifier letter macron (mandarin chinese first tone) …… 0x552a 0x6458 # <cjk> 0x552b 0x658b # <cjk> 0x552c 0x5b85 # <cjk> 0x552d 0x7a84 # <cjk> …… 0x777b 0x9f37 # <cjk> 0x777c 0x9f3d # <cjk> 0x777d 0x9f3e # <cjk> 0x777e 0x9f44 # <cjk> 文本文件效率较低，于是考虑把文本文件转换为二进制文件，然后用折半法查找这个文件，而不需要把整个文件读入内存。文件格式为：文件头2字节，存储记录数；接着一条接一条记录存入文件，每条记录4字节，前2字节对应gb代码，后2字节对应unicode代码。转换程序如下： <?php $arrlines = file("gb_unicode.txt"); foreach ($arrlines as $strline) { $arrcodetable[hexdec(substr($strline, 0, 6))] = hexdec(substr($strline, 7, 6)); } ksort($arrcodetable); $intcount = count($arrcodetable); $strcount = chr($intcount % 256) . chr(floor($intcount / 256)); $filegbu = fopen("gbu.dat", "wb"); fwrite($filegbu, $strcount); foreach ($arrcodetable as $k => $v) { $strdata = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256)); fwrite($filegbu, $strdata); } fclose($filegbu); ?> 执行程序后就获得了二进制的gb->unicode对照表gbu.dat，并且数据记录按gb代码排了序，便于折半法查找。使用gbu.dat进行转码的函数如下： function gb2utf8_file1($strgb) { if (!trim($strgb)) return $strgb; $filegbu = fopen("gbu.dat", "rb"); $strbuf = fread($filegbu, 2); $intcount = ord($strbuf{0}) + 256 * ord($strbuf{1}); $strret = ""; $intlen = strlen($strgb); for ($i = 0; $i < $intlen; $i++) { if (ord($strgb{$i}) > 127) { $strcurr = substr($strgb, $i, 2); $intgb = hexdec(bin2hex($strcurr)) - 0x8080; $intstart = 1; $intend = $intcount; while ($intstart < $intend - 1) { // 折半法查找 $intmid = floor(($intstart + $intend) / 2); $intoffset = 2 + 4 * ($intmid - 1); fseek($filegbu, $intoffset); $strbuf = fread($filegbu, 2); $intcode = ord($strbuf{0}) + 256 * ord($strbuf{1}); if ($intgb == $intcode) { $intstart = $intmid; break; } if ($intgb > $intcode) $intstart = $intmid; else $intend = $intmid; } $intoffset = 2 + 4 * ($intstart - 1); fseek($filegbu, $intoffset); $strbuf = fread($filegbu, 2); $intcode = ord($strbuf{0}) + 256 * ord($strbuf{1}); if ($intgb == $intcode) { $strbuf = fread($filegbu, 2); $intcodeu = ord($strbuf{0}) + 256 * ord($strbuf{1}); $strret .= u2utf8($intcodeu); } else { $strret .= "??"; } $i++; } else { $strret .= $strgb{$i}; } } return $strret; } 把其加到原来的测评程序，对三种方法同时测评2次得到数据（精确到3位小数，单位：秒）： mysql方法：0.125 文本文件方法：10.873 二进制文件折半法：0.106 mysql方法：0.102 文本文件方法：10.677 二进制文件折半法：0.092 可见二进制文件折半法还比mysql法略有优势。但是上述测评都是对短的地理位置进行转码，如果对较长的文本转码又如何呢？我找来5个blog的rss 2.0文件，都是gb2312编码。测评三种方法对5个文件编码耗费的时间，2次测量数据如下（精确到3位小数，单位：秒）： mysql方法：7.206 文本文件方法：0.772 二进制文件折半法：5.022 mysql方法：7.440 文本文件方法：0.766 二进制文件折半法：5.055 可见对长的文本是用文本文件的方法最优，因为转码对照表读入内存后，转码就可以很高效了。既然如此，我们还可以尝试改进一下，把文本文件方法改为：转码对照表从二进制文件gbu.dat读入内存，而不是文本文件。测评数据如下（精度和单位同上）： 从文本文件读入对照表：0.766 从二进制文件读入对照表：0.831 从文本文件读入对照表：0.774 从二进制文件读入对照表：0.833 表明这次改进失败了，从文本文件读入转码对照表更高效。 总结：用php对gb编码到utf-8编码的动态转换，如果每次转换的文本很小，适宜用二进制文件结合折半法转换；如果每次转换的文本较大，适宜用文本文件存储转码对照表，并在转换前一次性把对照表读入内存。 |
责任编辑：gzu521
您现在的位置:
