トークン化

自然言語処理では、まず文章を単語にトークン化する作業が必要だ。

このシステムは、入力されたテキストを自動でトークン化する機能を持つ。

セキュリティのため、クレジットカード情報をトークン化して保存している。