MongoDBでキーフィールドをもとにコレクション内の重複ドキュメントをすべて検索する方法

MongoDBのコレクション内に存在する重複ドキュメントを、特定のキーフィールドをもとにすべて検索したい場合は、アグリゲーションフレームワーク（aggregate）を活用します。$groupステージでキーごとにドキュメントをグループ化し、$matchステージで出現回数が2件以上のグループのみを抽出することで、重複データを効率的に特定できます。

サンプルコレクションの作成

まずは仕組みを理解するために、実際にドキュメントを含むコレクションを作成してみましょう。以下のクエリを実行して、コレクションにドキュメントを1件ずつ挿入します。

> db.findDuplicateByKeyDemo.insertOne({"StudentId":1,"StudentName":"John"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b168d10a061296a3c3a")
}
> db.findDuplicateByKeyDemo.insertOne({"StudentId":2,"StudentName":"Carol"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b1f8d10a061296a3c3b")
}
> db.findDuplicateByKeyDemo.insertOne({"StudentId":3,"StudentName":"Carol"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b248d10a061296a3c3c")
}
> db.findDuplicateByKeyDemo.insertOne({"StudentId":4,"StudentName":"John"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b2d8d10a061296a3c3d")
}
> db.findDuplicateByKeyDemo.insertOne({"StudentId":5,"StudentName":"Sam"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b398d10a061296a3c3e")
}
> db.findDuplicateByKeyDemo.insertOne({"StudentId":6,"StudentName":"Carol"});
{
    "acknowledged" : true,
    "insertedId" : ObjectId("5c7f5b438d10a061296a3c3f")
}

挿入したドキュメントの確認

find()メソッドを使えば、コレクション内のすべてのドキュメントを表示できます。クエリは次のとおりです。

> db.findDuplicateByKeyDemo.find().pretty();

実行結果は以下のようになります。この時点ですでに「Carol」が3件、「John」が2件存在している点に注目してください。

{
    "_id" : ObjectId("5c7f5b168d10a061296a3c3a"),
    "StudentId" : 1,
    "StudentName" : "John"
}
{
    "_id" : ObjectId("5c7f5b1f8d10a061296a3c3b"),
    "StudentId" : 2,
    "StudentName" : "Carol"
}
{
    "_id" : ObjectId("5c7f5b248d10a061296a3c3c"),
    "StudentId" : 3,
    "StudentName" : "Carol"
}
{
    "_id" : ObjectId("5c7f5b2d8d10a061296a3c3d"),
    "StudentId" : 4,
    "StudentName" : "John"
}
{
    "_id" : ObjectId("5c7f5b398d10a061296a3c3e"),
    "StudentId" : 5,
    "StudentName" : "Sam"
}
{
    "_id" : ObjectId("5c7f5b438d10a061296a3c3f"),
    "StudentId" : 6,
    "StudentName" : "Carol"
}

重複ドキュメントを検索するクエリ

それでは、重複しているすべてのドキュメントを抽出するクエリを見ていきましょう。このパイプラインは、以下の4つのステージで構成されています。

• $group：StudentNameフィールドをキーにドキュメントをグループ化し、各ドキュメントの_idをUIDS配列に格納するとともに、COUNTERで出現回数をカウントします。
• $match：COUNTERが2以上（$gte: 2）のグループだけを抽出し、重複データ以外を除外します。
• $sort：COUNTERの降順に並べ替え、重複数の多いグループから順に表示できるようにします。
• $limit：結果の表示件数を上位10件に制限します。

> db.findDuplicateByKeyDemo.aggregate([
    ... { $group: {
        ... _id: { StudentName: "$StudentName" },
        ... UIDS: { $addToSet: "$_id" },
        ... COUNTER: { $sum: 1 }
    ... } },
    ... { $match: {
        ... COUNTER: { $gte: 2 }
    ... } },
    ... { $sort : { COUNTER : -1} },
    ... { $limit : 10 }
... ]).pretty();

実行結果は以下のとおりです。「Carol」が3回、「John」が2回出現しており、それぞれに該当するドキュメントのObjectId一覧も同時に確認できます。これにより、どのドキュメントが重複しているのかを正確に把握できます。

{
    "_id" : {
        "StudentName" : "Carol"
    },
    "UIDS" : [
        ObjectId("5c7f5b248d10a061296a3c3c"),
        ObjectId("5c7f5b438d10a061296a3c3f"),
        ObjectId("5c7f5b1f8d10a061296a3c3b")
    ],
    "COUNTER" : 3
}
{
    "_id" : {
        "StudentName" : "John"
    },
    "UIDS" : [
        ObjectId("5c7f5b2d8d10a061296a3c3d"),
        ObjectId("5c7f5b168d10a061296a3c3a")
    ],
    "COUNTER" : 2
}

なお、$limitの値や$matchの条件を調整すれば、大量のデータが格納されたコレクションでも柔軟に重複チェックを行えます。データクレンジングやユニークインデックス作成前の調査など、さまざまな場面で役立つテクニックなので、ぜひ活用してください。