MongoDBコレクションから重複を削除する方法｜unique制約の使い方を解説

MongoDBコレクションから重複を削除する方法

MongoDBのコレクションに重複データが登録されるのを防ぎたい場合は、ユニーク制約（unique: true）を設定するのが最も基本的かつ確実な方法です。対象フィールドにユニークインデックスを作成しておくことで、同じ値を持つドキュメントの挿入が自動的に拒否され、コレクション内に重複が存在しない状態を維持できます。

基本構文

以下のように、コレクション名とフィールド名を指定してユニークインデックスを作成します。「dropDups: true」を付けることで、インデックス作成時点で既に存在していた重複ドキュメントも削除され、各グループの最初の1件のみが残ります。

db.yourCollectionName.ensureIndex({yourFieldName: 1}, {unique: true, dropDups: true})

実際の動作を確認してみよう

ここからは、サンプルコレクション「demo604」を使って具体的な動作を見ていきます。まず、FirstNameフィールドに対してユニークインデックスを作成します。これにより、以降の重複挿入は許可されなくなります。

> db.demo604.ensureIndex({FirstName: 1}, {unique: true, dropDups: true});
{
   "createdCollectionAutomatically" : true,
   "numIndexesBefore" : 1,
   "numIndexesAfter" : 2,
   "ok" : 1
}

次に、ドキュメントを挿入していきます。「Chris」「Bob」「David」は問題なく挿入できますが、2回目の「Chris」はユニーク制約に引っかかり、エラーとなるのがポイントです。

> db.demo604.insertOne({FirstName:"Chris"});
{
   "acknowledged" : true,
   "insertedId" : ObjectId("5e960887ed011c280a0905d8")
}
> db.demo604.insertOne({FirstName:"Bob"});
{
   "acknowledged" : true,
   "insertedId" : ObjectId("5e96088aed011c280a0905d9")
}
> db.demo604.insertOne({FirstName:"David"});
{
   "acknowledged" : true,
   "insertedId" : ObjectId("5e96088ded011c280a0905da")
}
> db.demo604.insertOne({FirstName:"Chris"});
2020-04-15T00:31:35.978+0530 E QUERY [js] WriteError: E11000 duplicate key error collection: test.demo604 index: FirstName_1 dup key: { : "Chris" } :
WriteError({
   "index" : 0,
   "code" : 11000,
   "errmsg" : "E11000 duplicate key error collection: test.demo604 index: FirstName_1 dup key: { : \"Chris\" }",
   "op" : {
      "_id" : ObjectId("5e96088fed011c280a0905db"),
      "FirstName" : "Chris"
   }
})
WriteError@src/mongo/shell/bulk_api.js:461:48
Bulk/mergeBatchResults@src/mongo/shell/bulk_api.js:841:49
Bulk/executeBatch@src/mongo/shell/bulk_api.js:906:13
Bulk/this.execute@src/mongo/shell/bulk_api.js:1150:21
DBCollection.prototype.insertOne@src/mongo/shell/crud_api.js:252:9
@(shell):1:1

上記のように、重複した「Chris」を挿入しようとすると、エラーコードE11000 duplicate key errorが返されます。この仕組みによって、重複データの混入を確実に防ぐことができるのです。

find()メソッドで結果を確認

最後に、find()メソッドを使ってコレクション内の全ドキュメントを表示し、重複が排除されていることを確認しましょう。

> db.demo604.find();

このクエリを実行すると、以下のような出力が得られます。重複した「Chris」は1件しか存在していないことが分かります。

{ "_id" : ObjectId("5e960887ed011c280a0905d8"), "FirstName" : "Chris" }
{ "_id" : ObjectId("5e96088aed011c280a0905d9"), "FirstName" : "Bob" }
{ "_id" : ObjectId("5e96088ded011c280a0905da"), "FirstName" : "David" }

補足：新しいバージョンではcreateIndex()を使用する

なお、ensureIndex()およびdropDupsオプションは古いバージョンのMongoDB向けの機能です。MongoDB 3.0以降ではensureIndex()はcreateIndex()のエイリアスとなり、さらにMongoDB 4.2以降ではdropDupsオプション自体が削除されています。最新の環境では、以下のようにcreateIndex()を使うのが推奨されます。

db.yourCollectionName.createIndex({yourFieldName: 1}, {unique: true})

既に存在する重複データを整理したい場合は、集計フレームワーク（aggregate）で重複を検出してから個別に削除するか、アプリケーション側で一意性を保証する設計を行うのが現代的なアプローチです。新規コレクションであれば、データ投入前にユニークインデックスを作成しておくことで、後工程の手間を大幅に減らせます。