【初心者向け】Pythonで文章から重複する単語をすべて削除する方法

プログラミングでは、与えられた文章から重複する単語を取り除いて整理したい場面がよくあります。本記事では、Pythonの標準ライブラリ「collections.Counter」を活用して、文章内の重複単語を効率的に削除する方法を解説します。

処理の概要

たとえば、次のような文章が与えられたとします。

入力：I am a peaceful soul and blissful soul.
出力：I am a peaceful soul and blissful.

このように、「soul」という単語が2回出現している場合、2回目以降の出現を削除し、各単語が1回だけ含まれる文章を作成します。

アルゴリズムの手順

重複単語の削除は、以下のステップで実装できます。

1. Step 1： 入力された文章をスペース区切りで分割し、単語のリストを作成します。
2. Step 2： リスト内の各文字列（単語）を結合できる状態に整えます。
3. Step 3： Counterメソッドを使って辞書を作成します。キーに単語、値に出現回数（頻度）が格納されます。Counterは重複するキーを自動的に1つにまとめてくれるため、これだけで重複除去が実現します。
4. Step 4： 辞書のキー（＝ユニークな単語）だけを取り出し、スペースで連結して1つの文章に戻します。

サンプルコード

以下は、上記のアルゴリズムを実装したPythonコードです。

from collections import Counter

def remove_duplicates(st):
    # 文章をスペースで分割して単語リストを作成
    words = st.split(" ")
    # Counterで各単語の出現頻度をカウント（重複キーは自動的に統合される）
    dupli = Counter(words)
    # ユニークな単語だけを連結して文章に戻す
    result = " ".join(dupli.keys())
    print("重複削除後の文章 ::>", result)

# メイン処理
if __name__ == "__main__":
    st = input("Enter the sentence : ")
    remove_duplicates(st)

コードのポイント

• Counterの特性： collectionsモジュールのCounterは、リスト内の要素をキー、出現回数を値とする辞書を生成します。同じ単語が複数回登場しても、キーとしては1回だけ保持されます。
• 順序の保持： Python 3.7以降では辞書が挿入順を保持するため、元の文章での出現順序を維持したまま重複だけを除去できます。
• split()とjoin()： split()で文章を単語に分解し、join()で再び文章に組み立てるのが定番のパターンです。

実行結果

実際にプログラムを実行すると、以下のように動作します。

Enter the sentence : i am a peaceful soul and blissful soul
重複削除後の文章 ::> i am a peaceful soul and blissful

2回目に出現した「soul」が削除され、各単語が1回ずつ含まれた文章が出力されました。

まとめ

Pythonで文章から重複する単語を削除するには、split() → Counter → join()というシンプルな流れが有効です。Counterを使えば自前でループを書いて重複判定をする必要がなく、短いコードで直感的に実装できます。テキスト処理やデータクレンジングの基礎として、ぜひ活用してみてください。