画像生成AIのためのプロンプト・呪文が実際にはどのようなトークンとして伝わっているかを見せてくれる「Tokenizer」 - GIGAZINE（ギガジン）

近年、文章(プロンプト)を入力するだけで画像が生成されるAIに関心が高まっており、誰でも簡単に画像生成AIを利用できる環境が整いつつあります。しかし、実際にAIがどのようにプロンプトを読み込んでいるのかを理解するのは困難です。プロンプトがどうやってAIに入力されているのかを視認できるウェブアプリ「Tokenizer」を、画像生成AIサービスを提供するNovelAIが公開しています。

Tokenizer - NovelAI
https://novelai.net/tokenizer

Hugging Face Courseで学ぶ自然言語処理とTransformer 【part5】
https://zenn.dev/ttya16/articles/0e3e1bff645f161fb4d7

画像生成AIにプロンプトを入力するにあたって必要となるのは自然言語処理(NLP)です。自然言語処理とは、人間が使用する自然言語をコンピューターで処理して内容を抽出する技術です。自然言語処理を行うためには、まず文章を「トークン」とよばれる単語に分解し、それぞれのトークンにIDを振る「トークナイズ」を行い、コンピューターが処理できる入力形式に変換する必要があります。それを可視化するプログラムが「Tokenizer」です。

「Tokenizer」にアクセスするとこんな感じ。まずプルダウンタブから使用したい自然言語処理のモデルを選択します。今回はデフォルトの「GPT-2 Tokenizer」を選択しました。

「Text Input」の欄に出力したいテキストを英語で入力します。今回は試しに「I have a pen」というテキストを入力してみます。

すると下の「Text」の欄に色分けされた「I have a pen」が出力されました。

次に、「Token IDs」のタブを選択すると[40, 423, 257, 3112]という4つの数字が表示されました。この工程でIDを振られたトークンが出力されています。これが「トークナイズ」の工程です。この工程を行うことでモデルの入力に必要な情報となるトークンを入力テキストに追加することができます。