日语/字符的编程技巧[关闭]

Question

我想编写一些Web应用程序来帮助我，也许还有其他一些应用程序，因为我正在学习日语，因此可以更好地学习日语。

我的问题是该站点将大部分使用英文，因此需要将流利的日语字符混合在一起，通常是平假名和片假名，但后来是汉字。 我正在接近完成这一目标。 我发现页面和源文件必须是unicode和utf-8内容类型。

但是，我的问题出在实际编码中。 我需要的是操纵假名文本字符串。 一个例子是：

need我需要采取该动词并将其转换为te形式けして。 我宁愿在javascript中执行此操作，因为这将有助于您进行更多的操作，但是如果我必须执行DB调用并将所有内容保存在DB中。

我的问题不仅是如何使用JavaScript进行操作，还有一些使用其他语言进行此类操作的提示和策略是什么。 我希望能更多地从事语言学习应用程序，但在这方面迷失了方向。

Answer 1

• 到处都坚持使用Unicode和utf-8。
• 远离本地日语编码：euc-jp，shiftjis，iso-2022-jp，但是请注意，如果继续，可能会在某些时候遇到它们。
• 熟悉用于执行诸如POS分析，单词分段等复杂工作的分段器。大多数从事日语NLP（自然语言处理）工作的人使用的标准工具都是按照受欢迎程度/能力排序的。

MeCab （最初在SourceForge上 ）很棒：它可以让您像

「日本語は、とても難しいです。」

并获取各种重要信息

kettle:~$ echo 日本語は、難しいです | mecab 
日本語 名詞,一般,*,*,*,*,日本語,ニホンゴ,ニホンゴ
は   助詞,係助詞,*,*,*,*,は,ハ,ワ
、   記号,読点,*,*,*,*,、,、,、
難しい 形容詞,自立,*,*,形容詞・イ段,基本形,難しい,ムズカシイ,ムズカシイ
です  助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
EOS

这基本上是对词性，阅读，发音等的详细描述。它也会帮您分析动词时态，

kettle:~$ echo メキシコ料理が食べたい | mecab 
メキシコ    名詞,固有名詞,地域,国,*,*,メキシコ,メキシコ,メキシコ
料理  名詞,サ変接続,*,*,*,*,料理,リョウリ,リョーリ
が   助詞,格助詞,一般,*,*,*,が,ガ,ガ
食べ  動詞,自立,*,*,一段,連用形,食べる,タベ,タベ
たい  助動詞,*,*,*,特殊・タイ,基本形,たい,タイ,タイ
EOS

但是，文档全部为日文，因此设置和弄清楚如何以所需方式格式化输出有点复杂。 有一些可用于ubuntu / debian的软件包，以及多种语言（包括perl，python，ruby）的绑定。

ubuntu的APT-repos：

deb http://cl.naist.jp/~eric-n/ubuntu-nlp intrepid all
deb-src http://cl.naist.jp/~eric-n/ubuntu-nlp intrepid all

要安装的软件包： $ apt-get install mecab-ipadic-utf8 mecab python-mecab

应该做我认为的把戏。

mecab的其他替代方法是ChaSen ，它是由MeCab的作者（他现在偶然在Google工作）写的，而Kakasi的功能要弱得多。

我绝对会避免使用自己的缀合例程。 问题在于，这将需要其他人已经做过的无数工作，并且最终不可能用规则覆盖所有边缘情况。

MeCab受统计驱动，并受数据负载训练。 它采用了一种称为条件随机场 （CRF）的复杂机器学习技术，其结果确实非常好。

和日本人玩得开心。 我不确定您的日语水平如何，但是如果您需要有关mecab的文档方面的帮助，也可以随时询问有关此问题的信息。 汉字在一开始可能会令人生畏。

Answer 2

我的问题不仅是如何在javascript中完成，而且还有其他在其他语言中执行此类操作的提示和策略是什么。

正如Barry所言，您要做的是非常基本的字符串运算-除了缺少的单词分隔符外，尽管这不是技术问题。

基本上，对于现代的支持Unicode的编程语言（我相信JavaScript自1.3版以来就是这种语言），日语假名或汉字与拉丁字母之间没有真正的区别-它们全都是字符。 字符串就是字符串。

困难之处在于必须在字符串和字节之间进行转换，因为这时您需要注意所使用的编码。 不幸的是，由于ASCII是拉丁字母的事实上的标准编码，因此许多程序员，尤其是说英语的人往往会掩盖这个问题，而其他编码通常会尝试兼容。 如果您只需要拉丁字母，那么您就可以轻松地对字符编码一无所知，相信字节和字符基本上是同一件事-编写程序以破坏非ASCII的任何内容。

因此，支持Unicode的编程的“秘密”是这样的：学会识别何时/何地将字符串/字符与字节进行相互转换，并确保在所有这些位置均使用了正确的编码，即将使用的编码相同。用于反向转换，并且可以对您正在使用的所有字符进行编码。 UTF-8逐渐成为事实上的标准，通常应在任何有选择的地方使用。

典型示例（非穷举）：

• 使用非ASCII字符串文字编写源代码时（在编辑器/ IDE中配置编码）
• 在编译或解释此类源代码时（编译器/解释器需要知道编码）
• 在将字符串读/写到文件时（必须在API或文件的元数据中的某处指定编码）
• 将字符串写入数据库时​​（必须在数据库或表的配置中指定编码）
• 通过网络服务器交付HTML页面时（必须在HTML标头或页面的元标头中指定编码；表单可能更棘手）

Answer 3

您需要做的是查看语法规则。 每个共轭都有一系列规则。 让我们以〜て形式。 伪代码：

def te_form(verb)
  switch verb.substr(-1, 1) == "る" then return # verb minus ru plus te
  case "る" #return (verb - る) + て
  case "す" #return (verb - す）＋して

基本上，将其分解为I，II和III型动词。

Answer 4

我完全不清楚您的问题。

但是，我有一些日语工作经验，所以我会给我2美分。

由于日语文本不具有单词分隔功能（例如空格），因此我们必须获得的最重要的工具是基于字典的单词识别器。

拆分文字后，使用“常规”工具即可更轻松地对其进行操作。

只有2种工具可以完成上述操作，并且作为副产品，它们还可以用作标记器（即名词，动词等）。

编辑：在使用w语言时，请始终使用unicode。

Answer 5

如果我没记错的话（日语学习的那一年我花了很多时间，所以我可能错了），那么您要替换的单词取决于单词中的最后一个或两个符号。 以您的第一个示例为例，以这种方式共轭时，任何以“す”结尾的动词将始终具有“して”。 む->んで同样。 您能否建立最后一个字符->共轭形式的映射。 您可能需要考虑例外情况，例如与xxって共轭的任何内容。

至于语言之间的可移植性，您必须根据它们的工作方式不同地实施逻辑。 该解决方案对于西班牙语也非常容易实现，因为词缀取决于动词以-ar，-er或-ir结尾（某些动词需要逻辑上的例外）。 不幸的是，那是我的多语言能力的局限，所以我不知道它会超越这两种能力。

Answer 6

由于日语中的大多数动词遵循一小部分可预测的模式中的一种，因此生成给定动词所有形式的最简单，最可扩展的方法是让该动词知道其应遵循的共轭形式，然后编写函数以生成每种形式在共轭上。

伪代码：

generateDictionaryForm(verb)
  case Ru-Verb: verb.stem + る
  case Su-Verb: verb.stem + す
  case Ku-Verb: verb.stem + く
  ...etc.

generatePoliteForm(verb)
  case Ru-Verb: verb.stem + ります
  case Su-Verb: verb.stem + します
  case Ku-Verb: verb.stem + きます
  ...etc.

不规则动词当然会是特殊情况。

此方法的某些变体适用于任何其他相当常规的语言（即非英语）。

Answer 7

尝试安装我的gem（rom2jap）。 它是红宝石。

gem install rom2jap

打开您的终端并输入：

require 'rom2jap'