言語モデルの事前学習、Hugging Face社のTransformersライブラリのような事前学習済みの単語ベクトルが含まれています。学習データ中の各例に対して、特定のトークン化、未来化などの言語モデルを適用し、シーケンスレベル、 センテンスレベルの表現を計算します。また、トークナイザーはテキストを トークンと複数のラベルの両方に分割する際にサポートすることができます。