[英]Lexicographical sorting for non-ascii characters
我通过以下代码对 ascii 字符进行了字典排序:
std::ifstream infile;
std::string line, new_line;
std::vector<std::string> v;
while(std::getline(infile, line))
{
// If line is empty, ignore it
if(line.empty())
continue;
new_line = line + "\n";
// Line contains string of length > 0 then save it in vector
if(new_line.size() > 0)
v.push_back(new_line);
}
sort(v.begin(), v.end());
结果应该是: aahr abyutrw bb bhehjr cgh cuttrew....
但我不知道如何按如下顺序对 ascii 和非 ascii 字符进行字典排序:a A À Á Ã brg Baq ckrwg CkfgF d Dgrn ... 请告诉我如何为它编写代码。 谢谢!
OP 没有,但我觉得值得一提:说到非 ASCII 字符,也应该考虑编码。
每个软件开发人员绝对、肯定必须了解 Unicode 和字符集的绝对最小值(没有借口!)
À、Á 和 Â 等字符不是7 位 ASCII的一部分,但在各种 8 位编码中被考虑在内,例如Windows 1252 。 因此,不允许某个字符(不是 ASCII 的一部分)在任何编码中具有相同的代码点(即数字)。 (大多数字符在大多数编码中都没有数字。)
但是, Unicode提供了一个唯一的编码表,其中包含任何其他编码的所有字符(我相信)。 有如下实现
char
存储)std::char16_t
或wchar_t
存储)std::char32_t
存储,或者,如果它有足够的大小,可能使用wchar_t
存储)。 关于wchar_t
的大小: 字符类型。
话虽如此,我在示例中使用了wchar_t
和std::wstring
来使变音符号语言环境和平台的使用独立。
std::sort()
中用于对一系列T
元素进行排序的顺序默认定义为
bool < operator(const T&, const T&)
T
<
运算符。
但是,有一些std::sort()
的风格来定义自定义谓词。
自定义谓词必须匹配签名并且必须提供严格的弱排序关系。
因此,我建议使用std::map
将字符映射到导致预期顺序的索引。
这是我在示例中使用的谓词:
// sort words
auto charIndex = [&mapChars](wchar_t chr)
{
const CharMap::const_iterator iter = mapChars.find(chr);
return iter != mapChars.end()
? iter->second
: (CharMap::mapped_type)mapChars.size();
};
auto pred
= [&mapChars, &charIndex](const std::wstring &word1, const std::wstring &word2)
{
const size_t len = std::min(word1.size(), word2.size());
// + 1 to include zero terminator
for (size_t i = 0; i < len; ++i) {
const wchar_t chr1 = word1[i], chr2 = word2[i];
const unsigned i1 = charIndex(chr1), i2 = charIndex(chr2);
if (i1 != i2) return i1 < i2;
}
return word1.size() < word2.size();
};
std::sort(words.begin(), words.end(), pred);
从下到上:
std::sort(words.begin(), words.end(), pred);
使用第三个参数调用,该参数为我的自定义订单提供谓词pred
。pred()
逐字符比较两个std::wstring
。 因此,比较是使用std::map
mapChars
的,它将wchar_t
映射到unsigned
即字符到我的顺序中的等级。mapChars
仅存储所有字符值的选择。 因此,在mapChars
中可能找不到 quest 中的角色。 为了处理这个问题,使用了一个帮助程序 lambda charIndex()
,它在这种情况下返回mapChars.size()
- 它被授予高于所有出现的索引。 CharMap
类型只是一个typedef
:
typedef std::map<wchar_t, unsigned> CharMap;
要初始化CharMap
,使用 function:
CharMap makeCharMap(const wchar_t *table[], size_t size)
{
CharMap mapChars;
unsigned rank = 0;
for (const wchar_t **chars = table; chars != table + size; ++chars) {
for (const wchar_t *chr = *chars; *chr; ++chr) mapChars[*chr] = rank;
++rank;
}
return mapChars;
}
必须使用包含按预期顺序的所有字符组的字符串数组来调用它:
const wchar_t *table[] = {
L"aA", L"äÄ", L"bB", L"cC", L"dD", L"eE", L"fF", L"gG", L"hH", L"iI", L"jJ", L"kK", L"lL", L"mM", L"nN",
L"oO", L"öÖ", L"pP", L"qQ", L"rR", L"sS", L"tT", L"uU", L"üÜ", L"vV", L"wW", L"xX", L"yY", L"zZ"
};
完整样本:
#include <string>
#include <sstream>
#include <vector>
static const wchar_t *table[] = {
L"aA", L"äÄ", L"bB", L"cC", L"dD", L"eE", L"fF", L"gG", L"hH", L"iI", L"jJ", L"kK", L"lL", L"mM", L"nN",
L"oO", L"öÖ", L"pP", L"qQ", L"rR", L"sS", L"tT", L"uU", L"üÜ", L"vV", L"wW", L"xX", L"yY", L"zZ"
};
static const wchar_t *tableGerman[] = {
L"aAäÄ", L"bB", L"cC", L"dD", L"eE", L"fF", L"gG", L"hH", L"iI", L"jJ", L"kK", L"lL", L"mM", L"nN",
L"oOöÖ", L"pP", L"qQ", L"rR", L"sS", L"tT", L"uUüÜ", L"vV", L"wW", L"xX", L"yY", L"zZ"
};
typedef std::map<wchar_t, unsigned> CharMap;
// fill a look-up table to map characters to the corresponding rank
CharMap makeCharMap(const wchar_t *table[], size_t size)
{
CharMap mapChars;
unsigned rank = 0;
for (const wchar_t **chars = table; chars != table + size; ++chars) {
for (const wchar_t *chr = *chars; *chr; ++chr) mapChars[*chr] = rank;
++rank;
}
return mapChars;
}
// conversion to UTF-8 found in https://stackoverflow.com/a/7561991/7478597
// needed to print to console
// Please, note: std::codecvt_utf8() is deprecated in C++17. :-(
std::wstring_convert<std::codecvt_utf8<wchar_t>> utf8_conv;
// collect words and sort accoring to table
void printWordsSorted(
const std::wstring &text, const wchar_t *table[], const size_t size)
{
// make look-up table
const CharMap mapChars = makeCharMap(table, size);
// strip punctuation and other noise
std::wstring textClean;
for (const wchar_t chr : text) {
if (chr == ' ' || mapChars.find(chr) != mapChars.end()) {
textClean += chr;
}
}
// fill word list with sample text
std::vector<std::wstring> words;
for (std::wistringstream in(textClean);;) {
std::wstring word;
if (!(in >> word)) break; // bail out
// store word
words.push_back(word);
}
// sort words
auto charIndex = [&mapChars](wchar_t chr)
{
const CharMap::const_iterator iter = mapChars.find(chr);
return iter != mapChars.end()
? iter->second
: (CharMap::mapped_type)mapChars.size();
};
auto pred
= [&mapChars, &charIndex](const std::wstring &word1, const std::wstring &word2)
{
const size_t len = std::min(word1.size(), word2.size());
// + 1 to include zero terminator
for (size_t i = 0; i < len; ++i) {
const wchar_t chr1 = word1[i], chr2 = word2[i];
const unsigned i1 = charIndex(chr1), i2 = charIndex(chr2);
if (i1 != i2) return i1 < i2;
}
return word1.size() < word2.size();
};
std::sort(words.begin(), words.end(), pred);
// remove duplicates
std::vector<std::wstring>::iterator last = std::unique(words.begin(), words.end());
words.erase(last, words.end());
// print result
for (const std::wstring &word : words) {
std::cout << utf8_conv.to_bytes(word) << '\n';
}
}
template<typename T, size_t N>
size_t size(const T (&arr)[N]) { return sizeof arr / sizeof *arr; }
int main()
{
// a sample string
std::wstring sampleText
= L"In the German language the ä (a umlaut), ö (o umlaut) and ü (u umlaut)"
L" have the same lexicographical rank as their counterparts a, o, and u.\n";
std::cout << "Sample text:\n"
<< utf8_conv.to_bytes(sampleText) << '\n';
// sort like requested by OP
std::cout << "Words of text sorted as requested by OP:\n";
printWordsSorted(sampleText, table, size(table));
// sort like correct in German
std::cout << "Words of text sorted as usual in German language:\n";
printWordsSorted(sampleText, tableGerman, size(tableGerman));
}
Output:
Words of text sorted as requested by OP:
a
and
as
ä
counterparts
German
have
In
language
lexicographical
o
ö
rank
same
the
their
u
umlaut
ü
Words of text sorted as usual in German language:
ä
a
and
as
counterparts
German
have
In
language
lexicographical
o
ö
rank
same
the
their
u
ü
umlaut
笔记:
我的初衷是用std::wcout
。 这对ä、ö、ü 不起作用。 因此,我查找了一种将wstring
转换为 UTF-8 的简单方法。 我已经知道 coliru 支持 UTF-8。
@Phil1970提醒我忘记提及其他内容:
字符串的排序(根据“人类字典”顺序)通常由std::locale
提供。 std::collate
提供依赖于语言环境的字符串字典顺序。
语言环境起着重要作用,因为字符的顺序可能因不同的语言环境而异。 std::collate
文档。 有一个很好的例子:
Default locale collation order: Zebra ar förnamn zebra ängel år ögrupp
English locale collation order: ängel ar år förnamn ögrupp zebra Zebra
Swedish locale collation order: ar förnamn zebra Zebra år ängel ögrupp
UTF-16 ⇔ UTF-32 ⇔ UTF-8 的转换可以仅通过位运算来实现。 对于任何其他编码的转换(排除 ASCII,它是 Unicode 的一个子集),我会推荐一个像libiconv这样的库。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.