まさおのChangeLogメモ / 2008-06-19

- WorldWideScience: 690 users

昨年つくった某所の実験システムの検索機能は、安直に SQLite にデータ
を格納しておいて、LIKE オペレータをかましているだけという単純なも
のなのだけど、ここで「サービスラーニング」というフレーズで検索する
と11件がヒットするにも関わらず、「サービス and ラーニング」で検索
するとヒット件数1件のみに減ってしまう問題が判明した。

これは、使用しているSqliteエンジンの LIKE オペレータの照合アルゴリ
ズム内で utf-8 を仮定した読み込みが行われていることに起因する模様。
cf. src/func.c 中の patternCompare 関数。

SQLite内の文字列読み込み結果を確認するプログラム:

static const unsigned char sqlite3UtfTrans1[] = {
  0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07,
  0x08, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f,
  0x10, 0x11, 0x12, 0x13, 0x14, 0x15, 0x16, 0x17,
  0x18, 0x19, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e, 0x1f,
  0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07,
  0x08, 0x09, 0x0a, 0x0b, 0x0c, 0x0d, 0x0e, 0x0f,
  0x00, 0x01, 0x02, 0x03, 0x04, 0x05, 0x06, 0x07,
  0x00, 0x01, 0x02, 0x03, 0x00, 0x01, 0x00, 0x00,
};
int sqlite3Utf8Read(
  const unsigned char *z, /* First byte of UTF-8 character */
  const unsigned char *zTerm, /* Pretend this byte is 0x00 */
  const unsigned char **pzNext /* Write first byte past UTF-8 char here */
){
  int c = *(z++);
  if( c>=0xc0 ){
    c = sqlite3UtfTrans1[c-0xc0];
    while( z!=zTerm && (*z & 0xc0)==0x80 ){
      c = (c<<6) + (0x3f & *(z++));
    }
    if( c<0x80
        || (c&0xFFFFF800)==0xD800
        || (c&0xFFFFFFFE)==0xFFFE ){ c = 0xFFFD; }
  }
  *pzNext = z;
  return c;
}

int main(int argc, char** argv) {
    unsigned char *str = (unsigned char*) argv[1];
    unsigned int c, i;
    printf("ORIGINAL: %s\nORIGINAL: ", str);
    for(i = 0; i < strlen(str); i++) {
printf("\\x%02x", str[i]);
    }
    printf("\nConverted: ");
    while( *str ) {
c = sqlite3Utf8Read(str, 0, &str);
printf("\\x%02x", c);
    }
    printf("\n");
}

上記のutf-8読み込みコードにeuc-jpを食わせると、当然意図しない文字
化けをおこす。

% cc test_utf.c
% ./a.out "サービスラーニング"
ORIGINAL: サービスラーニング
ORIGINAL: \xa5\xb5\xa1\xbc\xa5\xd3\xa5\xb9\xa5\xe9\xa1\xbc\xa5\xcb\xa5\xf3\xa5\xb0
Converted: \xa5\xb5\xa1\xbc\xa5\x4e5e65\x261f25\x2e5\x3970

% ./a.out "サービス"
ORIGINAL: サービス
ORIGINAL: \xa5\xb5\xa1\xbc\xa5\xd3\xa5\xb9
Converted: \xa5\xb5\xa1\xbc\xa5\x13979

% ./a.out "ラーニング"
ORIGINAL: ラーニング
ORIGINAL: \xa5\xe9\xa1\xbc\xa5\xcb\xa5\xf3\xa5\xb0
Converted: \xa5\x261f25\x2e5\x3970

% ./a.out "「サービスラーニング」"
ORIGINAL: 「サービスラーニング」
ORIGINAL: \xa1\xd6\xa5\xb5\xa1\xbc\xa5\xd3\xa5\xb9\xa5\xe9\xa1\xbc\xa5\xcb\xa5\xf3\xa5\xb0\xa1\xd7
Converted: \xa1\xfffd\x4e5e65\x261f25\x2e5\xe5c21\xfffd

なにはともあれ、SQLite に utf-8 以外の文字コードでデータを格納して
はいけないというのが結論の模様。。。

SQLiteはバージョン2.xの頃から使っていたのだけど、以前は明示的に
utf8対応をenableしないかぎりは、euc-jp で格納しておいたとしたも、
文字コード変換などはされないという記憶があったのだけど。。。
気のせいだったのかも。。。

マニュアルには明示的に書かれていないので、注意が必要そう。