TechTalk demos

D1 FTS5 日本語全文検索
Code

Cloudflare D1 FTS5 日本語全文検索

SQLite FTS5 仮想テーブル + Intl.Segmenter によるトークン化で日本語全文検索を実現するデモです。

3 件(278ms)
「ベストプラクティス」で検索中
トークン化結果: ベスト | プ | ラ | ク | テ | ィ | ス

フロントエンド開発のベストプラクティス 2026年版

score: 22.11

フロントエンド開発においてベストプラクティスを守ることは重要です。パフォーマンス最適化、アクセシビリティ対応、セキュリティ対策など、多岐にわたる観点を総合的に考慮する必要があります。

フロントエンド開発のベストプラクティス 2026年版

score: 22.11

フロントエンド開発においてベストプラクティスを守ることは重要です。パフォーマンス最適化、アクセシビリティ対応、セキュリティ対策など、多岐にわたる観点を総合的に考慮する必要があります。

フロントエンド開発のベストプラクティス 2026年版

score: 22.11

フロントエンド開発においてベストプラクティスを守ることは重要です。パフォーマンス最適化、アクセシビリティ対応、セキュリティ対策など、多岐にわたる観点を総合的に考慮する必要があります。

検索してみよう

Intl.Segmenter のトークン分割は格納時と検索時で同じ結果になるため、複合語が分割されても検索は成功します。しかし、カタカナの長音（ー）の有無など表記揺れがあると、トークンが一致せず検索に失敗します。

ヒットする例

データベース
一般的なカタカナ語
TypeScript
英単語
ベストプラクティス
バラバラに分割されるが格納側も同じなのでヒット
プロパティ
格納テキストと同じ表記ならヒット
推し活
1文字ずつに分解されるがAND検索でヒット

ヒットしない例（表記揺れ）

サーバレス
長音なし「サーバ」≠ 格納側「サーバー」で不一致
プロパティー
長音あり「プロパティー」≠ 格納側「プロパティ」
セキュリティー
長音あり「セキュリティー」≠ 格納側「セキュリティ」
インタフェース
長音なし「インタフェース」≠ 格納側「インターフェース」

コンテンツを追加

サンプルデータ

テック系ブログ風のサンプルデータを一括登録します（10件）。

仕組みとスケーラビリティ

アーキテクチャ

  • fts_contents テーブルに原文を保存
  • fts_index (FTS5 仮想テーブル) に Intl.Segmenter でトークン化したテキストを保存
  • 登録時: 原文 → Intl.Segmenter でトークン分割 → FTS5 に格納
  • 検索時: クエリをトークン化 → FTS5 MATCH → rowid で原文を JOIN

スケーラビリティ目安

記事サイズD1 10GB での件数
短文 (150字)約 1,300万件
ブログ記事 (3,000字)約 50〜70万件
長文 (10,000字)約 15〜20万件

D1 コスト (Workers Paid $5/月〜)

  • Storage: 5GB 無料、超過分 $0.75/GB-月
  • Rows read: 250億/月 無料、超過分 $0.001/100万行
  • Rows written: 5,000万/月 無料、超過分 $1.00/100万行
  • 10GB フル利用でも月額 約 $8.75 程度

制限事項

  • カタカナの長音（ー）の有無など表記揺れには対応できない（正規化の前処理が必要）
  • D1 の 1行あたり最大サイズは 1MB
  • Intl.Segmenter のトークン化精度はランタイム (V8) の辞書に依存