テキストトークン化について
トークン化は自然言語処理（NLP）における基本的なステップです。テキストを「トークン」と呼ばれる小さな単位に分割します。これらのトークンは単語、文、さらにはサブワードにもなります。このツールを使えば、ブラウザ上で任意のテキストを即座にトークン化できます。
なぜこのツールを使うのか
- スマート文分割： 略語（例：「Mr.」、「U.S.A.」）のピリオドを正しく処理し、文を誤って分割しません。
- 用語識別: 一般的な複数単語の用語を識別し、まとめて保持します（例：「ニューヨーク」、「クレジットカード」）。
- JSONエクスポート： アプリケーション用の構造化データを必要とする開発者に最適です。
- データクリーニング： 余分な空白や句読点を除去するオプションのクリーニングです。
軽量でモダンなNLPライブラリ、Compromise.jsを搭載。