【Python】文字列から重複する単語をすべて削除する方法

Pythonで文字列に含まれる重複した単語をすべて削除するには、まず文字列をスペースで区切って各単語をリストに格納します。そのうえで、いくつかの方法で重複を取り除くことができます。

ここでは、すべての単語を小文字に変換してからソートし、重複を除外して一意な単語のみを抽出する方法を紹介します。

ソートとループを使った方法

次のコードでは、split()メソッドで文字列を単語ごとに分割し、lower()で小文字に統一したあと、リストを走査して重複しない単語だけを新しいリストに追加しています。

sent = "Hi my name is John Doe John Doe is my name"

# 文字列をスペースで分割して各単語を取得
words = sent.split(" ")

# すべての単語を小文字に変換
words = [w.lower() for w in words]

# 単語をアルファベット順にソート
words.sort()

# 重複しない単語だけを抽出
unique = []
for word in words:
    if word not in unique:
        unique.append(word)

print(unique)

出力結果

実行すると、次のような出力が得られます。

['doe', 'hi', 'john', 'is', 'my', 'name']

大文字・小文字の違いを無視して比較しているため、「John」と「john」は同じ単語として扱われ、それぞれの一意な単語がアルファベット順に出力されます。

set()を使ったよりシンプルな方法

コードをもっと簡潔にしたい場合は、set()を使えば数行で重複を削除できます。sorted()と組み合わせれば、結果をソート済みのリストとして受け取ることも可能です。

sent = "Hi my name is John Doe John Doe is my name"
words = sent.split(" ")
unique = sorted(set(w.lower() for w in words))
print(unique)  # ['doe', 'hi', 'john', 'is', 'my', 'name']

元の出現順序を保ったまま重複を削除する方法

単語が最初に現れた順序を維持したい場合は、dict.fromkeys()が便利です。Python 3.7以降の辞書は挿入順序を保持するため、このテクニックで順序を守りながら重複だけを取り除けます。

sent = "Hi my name is John Doe John Doe is my name"
words = sent.split(" ")
unique = list(dict.fromkeys(w.lower() for w in words))
print(unique)  # ['hi', 'my', 'name', 'is', 'john', 'doe']

まとめ

• 文字列の重複削除は、まずsplit()で単語ごとに分割するところから始めます。
• 大文字と小文字を同一視したい場合は、lower()で事前に正規化しておきましょう。
• シンプルさを重視するならset()、出現順序を保持したいならdict.fromkeys()がおすすめです。