Python（NLP）の可読性インデックス？

自然言語処理は、自然言語の自動生成と理解の研究です。コンピュータ技術が今日ほとんどすべての産業に統合されているので、これは解決するためにますます興味深いタスクになりつつあります。自然言語処理内の1つの特定の分野を研究します。読みやすさ。これには、テキストの読みやすさを判断するというトピックが含まれます。これは、テキストを読んだり理解したりするのがどれほど難しいかを示しています。

読みやすさの指標は、テキストを読んで理解することがどれほど難しいか（または簡単か）を示す数値です。読みやすさを判断するためのいくつかの異なるテストがあり、それらには異なる使用分野があります。

「読みやすさは、ドキュメントを読みやすくすることを意味します」[13]。読みやすさを計算するためのさまざまなテスト[9]があります。読みやすさのテストは、「読みやすさの予測であると考えられていますが、読みやすさを判断する唯一の方法ではありません」

一部のテストは言語に依存しませんが、特定の言語により適したテストがいくつかあります。さまざまな読みやすさテストの知識は私たちにとって不可欠です。

ARI = 4.71 * (characters/words) 
+ 0.5 * (words/sentence) -21.43

FRE = 206.835 − 1.015*(total words/ 
total sentences) − 84.6 * (total
syllables/ total words)

FKGL = 0.39 * (total words/ total 
sentences) + 11.8 (total syllables/ 
total words) -15.59

CLI = (5.89 * (characters/ words)) − 
(30 *(sentences/words)) − 15.8

GFI = 0.4 * (( words/ sentence) + 
100 * (complex words/ words))

RIX = (Long Words/ Sentences)
(long words = words where number of characters > 6)

LIX = (total words/ total sentences) + 
(long words/ total words * 100)
(long words = words where number 
of characters > 6)

たとえば、以下は、テキストファイルの読みやすさを判断するためのフレッシュインデックスによるプログラムです。

仮定

上から、フレッシュキンケードの学年レベルの式を使用して、同等の学年レベルG-

FKGL =0.39 *（合計単語/合計文）+ 11.8（合計音節/合計単語）-15.59

コード

import os
dire = os.getcwd()
listOfdir = os.listdir(dire)
while True:
   UserFileName = input('Enter file name:')
   if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
      InputFile = open(UserFileName,'r')
      text = InputFile.read()
      sentence = text.count('.') + text.count('!') + text.count(';') + text.count(':') + text.count('?')
      words = len(text.split())
      syllable = 0
      for word in text.split():
         for vowel in ['a','e','i','o','u']:
            syllable + = word.count(vowel)
         for ending in ['es','ed','e']:
            if word.endswith(ending):
               syllable - = 1
         if word.endswith('le'):
            syllable + = 1
      G = round((0.39*words)/sentence+ (11.8*syllable)/words-15.59)
      if G > = 0 and G < = 30:
         print ('The Readability level is College')
      elif G > = 50 and G < = 60:
         print ('The Readability level is High School')
      elif G > = 90 and G < = 100:
         print ('The Readability level is fourth grade')
      print ('This text has %d words' %(words))
   elif UserFileName not in listOfdir:
      print ('This text file does not exist in current directory')
   elif not(UserFileName.endswith('.txt')):
      print ('This is not a text file.')

出力

Enter file name:dataVisualization.txt
The Readability level is College
This text has 64 words