存储数据的奇怪字符编码，旧脚本显示它们很好，新脚本没有

Question

我正在尝试重写一个旧网站。
它是使用 perso/arabic 字符的波斯语。

CREATE DATABASE `db` DEFAULT CHARACTER SET utf8 COLLATE utf8_persian_ci;
USE `db`;

几乎我所有的表/列 COLLATE 都设置为utf8_persian_ci

我正在为我的新脚本使用 codeigniter，我有

'char_set' => 'utf8',
'dbcollat' => 'utf8_persian_ci',

在数据库设置中，所以没有问题。

所以这是奇怪的部分

旧脚本使用某种称为TUBADBENGINE或TUBA DB ENGINE ……没什么特别的。

当我使用旧脚本在数据库（波斯语）中输入一些数据时，当我查看数据库时，字符存储为عمران 。

旧脚本获取/显示数据很好，但新脚本使用与数据库相同的奇怪字体/字符集显示它们

因此，当我输入اااا ，数据库存储的数据看起来像عمراÙ ，当我在新脚本中获取它时，我看到عمراÙ但在旧脚本中我看到اااا

CREATE TABLE IF NOT EXISTS `tnewsgroups` (
  `ID` int(11) NOT NULL AUTO_INCREMENT,
  `fName` varchar(200) COLLATE utf8_persian_ci DEFAULT NULL,
  PRIMARY KEY (`ID`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_persian_ci AUTO_INCREMENT=11 ;

--
-- Dumping data for table `tnewsgroups`
--

INSERT INTO `tnewsgroups` (`ID`, `fName`) VALUES
(1, 'عمران'),
(2, 'معماری'),
(3, 'برق'),
(4, 'مکانیک'),
(5, 'test'),
(6, 'test2');

---

另一方面，当我直接在数据库中输入ااااا时

当然，我在数据库中存储了相同的اااا

新脚本显示正常

但是在旧脚本中我得到了????

任何人都可以理解这一点吗？

这是大号发动机

https://github.com/maxxxir/mz-codeigniter-crud/blob/master/tuba.php

旧脚本中的用法示例：

define("database_type" , "MYSQL");
define("database_ip" , "localhost");
define("database_un" , "root");
define("database_pw" , "");
define("database_name" , "nezam2");
define("database_connectionstring" , "");
$db = new TUBADBENGINE(database_type , database_ip , database_un , database_pw , database_name , database_connectionstring);
$db->Select("SELECT * FROM tnews limit 3");
if ($db->Lasterror() != "") { echo "<B><Font color=red>ÎØÇ ! áØÝÇ ãÌÏøÏÇ ÊáÇÔ ˜äíÏ";  exit(); }
for ($i = 0 ; $i < $db->Count() ; $i++) {
    $row = $db->Next();
    var_dump($row);
}

Answer 1

简而言之，因为这之前已经讨论过一千次了：

1. PHP 保存了一个字符串，比如"漢字" ，以 UTF-8 编码。 用于此的字节是E6 BC A2 E5 AD 97 。
2. 它通过设置为latin1的数据库连接发送此字符串。
3. 数据库接收字节E6 BC A2 E5 AD 97 ，认为那些代表latin1字符。
4. 数据库存储字符æ¼¢å （ E6 BC A2 E5 AD 97在latin1映射到的字符）。
5. 相同的过程反过来使 PHP 接收相同的字节，然后将其视为 UTF-8。 往返适用于 PHP，即使数据库没有按应有的方式处理字符。

所以这里的问题是数据输入数据库时​​数据库连接设置不正确。 您必须将数据库中的数据转换为正确的字符。 尝试这个：

SELECT CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8) FROM table_name

也许utf8不是你在这里需要的，实验。 如果UPDATE ，请将其更改为UPDATE语句以永久更新数据。

Answer 2

deceze 的回答非常好，但我可以添加一些信息，这些信息可能有助于处理大量记录，而无需手动测试它们。

如果转换CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8)失败，它将打印NULL而不是field_name内容。

所以我用这个来找到那些记录：

SELECT IFNULL(
    CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8)
    , '**************************************************')
FROM table_name

或者这个：

SELECT id, field_name, CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8)
FROM table_name
WHERE CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8) IS NULL

并且带有子句的UPDATE只影响转换成功的记录：

UPDATE table_name
SET
field_name = CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8mb4 )
WHERE
CONVERT(BINARY CONVERT(field_name USING latin1) USING utf8mb4) IS NOT NULL