N グラムは、計算言語学および自然言語処理 (NLP) で使用されるデータ構造の一種です。これらは、特定の場面で同時に出現する単語のグループです。たとえば、2 単語の N グラムは、「赤いリンゴ」などの単語のペアになります。これらは、特定のコーパス内の単語またはフレーズ パターンの頻度を測定するために使用されます。
N グラムは、言語モデリング、スペル修正、テキスト マイニングなどの計算言語学のさまざまな分野で使用されます。計算言語学における N グラムの最も一般的な応用は、大規模なテキスト コーパス内のパターンと関係を見つけることです。たとえば、盗作の検出、トピックに依存する単語の検索、言語モデルの構築に使用できます。
言語モデリングでは、N グラムを使用して、特定のコンテキストで単語がどのように出現する可能性があるかのモデルを構築します。これには、「N グラム尤度」として知られる、先行する特定の単語の後に単語が出現する確率が含まれます。言語モデリングの目標は、より複雑な統計モデルではなく単一の N グラム モデルを使用して、特定の言語を理解する精度を向上させることです。
テキスト マイニングでは、コーパスの統計的特性を決定するために N グラムが使用されます。これらは、コーパス内でどの単語が最もよく使用されているか、特定の単語がどのくらいの頻度で出現するかを測定し、テキストの感情を検出するために使用できます。
全体として、N グラムは計算言語学および自然言語処理 (NLP) における強力なツールであり、テキスト データの探索、言語モデルの構築などに使用されます。
