まさおのChangeLogメモ / 2005-02-12

http://www.yakushite.net
コミュニティ型機械翻訳サイト。

各分野のコミュニティ内で Translation Memory とも言うべき辞書を共有
して、それを使った機械翻訳を提供する。
といった感じだろうか。

とりあえずメモ。

http://d.hatena.ne.jp/kazama/20041106#p1
文字コードと言語の自動検出の話題。

Mozilla の chardet モジュールとそれに関連する各種ライブラリがよく
まとまっている。
http://www.mozilla.org/projects/intl/chardet.html
http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

iChardet: mozilla/intl/chardet の Java 版:
http://www.i18nfaq.com/chardet.html

ちなみに、ICU4C ではエンコーディングの自動判別機能は提供していない
らしい…。
http://oss.software.ibm.com/icu/userguide/codepageConverters.html

また、以下の www-international@w3c.org ML の以下のスレッドでは多言
語の自動判別についてのアルゴリズム/ツールが挙げられている。
・What is a language detection algorithm?
http://lists.w3.org/Archives/Public/www-international/2004OctDec/thread.html#59