Python（NLP）で使える可読性インデックスとは？主要な指標と実装方法を解説

自然言語処理（NLP）とは、人間が日常的に使う言語をコンピュータに自動的に生成・理解させる技術に関する研究分野です。現在ではコンピュータ技術がほぼあらゆる業界に組み込まれており、NLPはますます注目度を高めています。本記事では、NLPの中でも「可読性（Readability）」というテーマに焦点を当てて解説します。可読性とは、あるテキストがどれほど読みやすく、理解しやすいかを示す概念です。

可読性インデックスとは

可読性インデックス（Readability Index）とは、テキストを読んで理解することの難易度（または容易さ）を数値で表した指標です。可読性を測定するテストにはさまざまな種類があり、それぞれ用途や適用言語が異なります。

一般的に「可読性とは、文書がどれほど容易に読めるかを示すものである」と定義されており、その計算手法は多数存在します。ただし、可読性テストは「読みやすさを予測するものと見なされるものの、可読性を判定する唯一の方法ではない」点にも注意が必要です。

一部のテストは言語に依存せず汎用的に使えますが、特定の言語に適したテストもあります。目的に合った可読性テストを選ぶためにも、それぞれの特徴を知っておくことが重要です。

主な可読性テスト一覧

ARI = 4.71 * (characters/words)
+ 0.5 * (words/sentence) -21.43

FRE = 206.835 − 1.015*(total words/
total sentences) − 84.6 * (total
syllables/ total words)

FKGL = 0.39 * (total words/ total
sentences) + 11.8 (total syllables/
total words) -15.59

CLI = (5.89 * (characters/ words)) −
(30 *(sentences/words)) − 15.8

GFI = 0.4 * (( words/ sentence) +
100 * (complex words/ words))

RIX = (Long Words/ Sentences)
(long words = 文字数が6より多い単語)

LIX = (total words/ total sentences) +
(long words/ total words * 100)
(long words = 文字数が6より多い単語)

Fleschインデックスによる判定プログラムの前提条件

それでは、実際にFleschインデックスを使ってテキストファイルの可読性を判定するPythonプログラムを見ていきましょう。まず、Fleschインデックスのスコアと読解学年の対応関係は以下のように仮定します。

上記の前提に基づき、Flesch-Kincaid Grade Levelの数式を使って、同等の学年レベルGを計算します。

FKGL = 0.39 * (total words/ total sentences) + 11.8 (total syllables/ total words) -15.59

サンプルコード

以下は、指定されたテキストファイルの文数・単語数・音節数をカウントし、Flesch-Kincaid Grade Levelから可読性レベルを判定するPythonプログラムの例です。

import os

# カレントディレクトリ内の.txtファイルを検索して可読性を判定する
dire = os.getcwd()
listOfdir = os.listdir(dire)
while True:
    UserFileName = input('Enter file name:')
    if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
        InputFile = open(UserFileName, 'r')
        text = InputFile.read()

        # 文数のカウント（句点・感嘆符・セミコロン・コロン・疑問符）
        sentence = text.count('.') + text.count('!') + text.count(';') \
                   + text.count(':') + text.count('?')

        # 単語数のカウント
        words = len(text.split())

        # 音節数の概算（母音を数え、語尾のe/es/edを調整）
        syllable = 0
        for word in text.split():
            for vowel in ['a', 'e', 'i', 'o', 'u']:
                syllable += word.count(vowel)
            for ending in ['es', 'ed', 'e']:
                if word.endswith(ending):
                    syllable -= 1
            if word.endswith('le'):
                syllable += 1

        # Flesch-Kincaid Grade Levelによる学年レベルの算出
        G = round((0.39 * words) / sentence + (11.8 * syllable) / words - 15.59)

        if G >= 0 and G <= 30:
            print('The Readability level is College')
        elif G >= 50 and G <= 60:
            print('The Readability level is High School')
        elif G >= 90 and G <= 100:
            print('The Readability level is fourth grade')
        print('This text has %d words' % (words))
    elif UserFileName not in listOfdir:
        print('This text file does not exist in current directory')
    elif not (UserFileName.endswith('.txt')):
        print('This is not a text file.')

実行結果

プログラムを実行すると、以下のようにテキストファイルの可読性レベルと単語数が出力されます。

Enter file name:dataVisualization.txt
The Readability level is College
This text has 64 words

まとめ

可読性インデックスを活用すれば、文章の難易度を客観的な数値として評価できます。本記事で紹介したように、ARIやFlesch Reading Ease、Flesch-Kincaid Grade Levelなど複数の指標が存在し、対象言語や用途に応じて使い分けることが重要です。Pythonを使えば、こうした指標を比較的簡単にプログラムへ組み込めるため、テキストマイニングやコンテンツ品質評価など、さまざまなNLPタスクに応用できます。