MySQLで重複データを抽出・削除する方法｜基本から応用まで実践SQLガイド│MySQL & MariaDBの世界

1 1. はじめに
2 2. 基本：キー列のみで重複を検出
3 3. 重複キーを持つレコード全体の抽出
4 4. 複数カラムでの重複検出
5 5. 重複レコードの除去（削除）
6 6. パフォーマンス考慮とインデックス戦略
7 7. 応用例：複雑ケース対応
8 8. まとめ
9 9. FAQ：MySQLの重複データ抽出・削除に関するよくある質問

1. はじめに

データベースを運用していると、「同じ内容のデータが複数登録されてしまった」「本来一意であるべき情報が重複している」といった問題に直面することは珍しくありません。特にMySQLなどのリレーショナルデータベースを活用している現場では、データの正確性や品質を保つために、重複データの抽出・管理は必須の作業となります。

たとえば、会員情報や商品データ、注文履歴など、業務システムの中核となるテーブルでは、ユーザーの操作ミスやシステムの不具合によって同一データが二重登録されるリスクがあります。そのまま放置しておくと、集計や分析の精度が下がったり、予期せぬバグやトラブルの原因となったりすることもあります。

こうした「重複データ問題」を解決するためには、まずはどのレコードが重複しているのかを抽出し、その後、状況に応じて重複レコードを整理・削除していく必要があります。しかし、MySQLの標準的なSELECT文だけでは「重複しているデータ」を効率的に見つけ出すことが難しい場合も多く、SQLの少し高度な書き方や実践的なテクニックが求められるのです。

本記事では、「MySQLで重複データを抽出する方法」をテーマに、基本的なSQL文から実用的な応用例、パフォーマンスへの配慮やよくあるエラーの対処法まで、幅広く丁寧に解説していきます。データベース初心者の方はもちろん、日々現場でSQLを書いているエンジニアの方にも役立つ内容となるよう、できるだけ実務に即した情報をお届けします。

2. 基本：キー列のみで重複を検出

MySQLで重複データを抽出する最も基本的な方法は、「特定のカラム（キー列）で同じ値を持つレコードが複数存在する」状態を見つけることです。この章では、重複のあるキー値を抽出するための代表的なSQL文と、その実行例を解説します。

2-1. GROUP BYとHAVING句を使った重複抽出

重複検出の基本は、GROUP BY句で指定したカラムごとにグループ化し、そのグループ内に2件以上のレコードが存在するものをHAVING句で絞り込む方法です。以下は典型的な例です。

SELECT キー列, COUNT(*) AS 重複数
FROM テーブル名
GROUP BY キー列
HAVING COUNT(*) > 1;

例：会員メールアドレスの重複を抽出する

SELECT email, COUNT(*) AS count
FROM users
GROUP BY email
HAVING COUNT(*) > 1;

このクエリを実行すると、同じメールアドレスが複数回登録されている場合、そのメールアドレスと重複件数（count）が一覧で表示されます。

2-2. GROUP BYによる複数列の重複抽出

もし2つ以上のカラムの組み合わせで重複を検出したい場合も、同じ考え方でGROUP BYに複数カラムを指定できます。

SELECT col1, col2, COUNT(*) AS 重複数
FROM テーブル名
GROUP BY col1, col2
HAVING COUNT(*) > 1;

この方法で、「同じ氏名・生年月日」「同じ商品ID・注文日」など複数の条件が完全一致している重複データも検出できます。

2-3. 重複レコードの総数を把握する

どのくらいの重複があるのか全体像を知りたい場合は、サブクエリを使って重複の合計件数を算出することも可能です。

SELECT SUM(重複数) AS total_duplicates
FROM (
  SELECT COUNT(*) AS 重複数
  FROM テーブル名
  GROUP BY キー列
  HAVING COUNT(*) > 1
) AS duplicates;

このクエリは、重複しているグループそれぞれの「余分な数」を合計します。

このように、GROUP BYとHAVINGを組み合わせることで、MySQLでシンプルかつ効率的に重複データを抽出することができます。

3. 重複キーを持つレコード全体の抽出

前章では、「重複しているキー値」だけをリストアップする方法を紹介しました。しかし実際の現場では、「どのレコードが重複しているのか、その中身をすべて確認したい」というケースがよくあります。たとえば、重複して登録されたユーザー情報の詳細や、商品データの中身を個別に精査したい場合です。

この章では、重複キーを持つすべてのレコードを抽出するための実践的なSQLパターンを解説します。

3-1. サブクエリを使って重複レコードを抽出する

もっとも基本的な方法は、重複しているキー値の一覧をサブクエリで取得し、それに一致するレコードを全件取得するというものです。

SELECT *
FROM テーブル名
WHERE キー列 IN (
  SELECT キー列
  FROM テーブル名
  GROUP BY キー列
  HAVING COUNT(*) > 1
);

例：重複しているメールアドレスの全レコードを抽出

SELECT *
FROM users
WHERE email IN (
  SELECT email
  FROM users
  GROUP BY email
  HAVING COUNT(*) > 1
);

このクエリを実行すると、「users」テーブル内でメールアドレスが重複している全ての行（IDや登録日など含む）が抽出されます。

3-2. EXISTS句による効率的な抽出

大量データやパフォーマンスを意識する場合は、EXISTS句を使う方法も有効です。INとEXISTSは似ていますが、データ量やインデックス状況によって高速化されるケースがあります。

SELECT *
FROM テーブル名 t1
WHERE EXISTS (
  SELECT 1
  FROM テーブル名 t2
  WHERE t1.キー列 = t2.キー列
  GROUP BY t2.キー列
  HAVING COUNT(*) > 1
);

例：メールアドレスの重複レコード（EXISTS句）

SELECT *
FROM users u1
WHERE EXISTS (
  SELECT 1
  FROM users u2
  WHERE u1.email = u2.email
  GROUP BY u2.email
  HAVING COUNT(*) > 1
);

3-3. 注意点とパフォーマンス

サブクエリのパフォーマンスは、データ量が多い場合に大きく影響します。適切にインデックスが設定されていれば、IN・EXISTSどちらも実用レベルで動作します。
ただし、複雑な条件や複数カラムで重複を判定したい場合、SQLが重くなることもあるため、事前に必ずテスト環境で動作確認しましょう。

このように、重複キーに該当する全レコードの抽出は、サブクエリやEXISTS句を使うことで実現できます。

4. 複数カラムでの重複検出

重複データの判定条件は、必ずしも単一のカラムだけとは限りません。実務では「複数のカラムを組み合わせて一意性を保証したい」という場面が頻繁にあります。たとえば、「氏名＋生年月日」「商品ID＋色＋サイズ」など、複数項目がすべて同じ場合を重複とみなしたいケースです。

この章では、複数カラムで重複を抽出する方法について詳しく解説します。

4-1. GROUP BYで複数カラムを指定して重複検出

複数カラムで重複を検出したい場合は、GROUP BY句にカンマ区切りで複数カラムを指定します。HAVING COUNT(*) > 1で、組み合わせが2件以上存在するものだけを抽出できます。

SELECT col1, col2, COUNT(*) AS 重複数
FROM テーブル名
GROUP BY col1, col2
HAVING COUNT(*) > 1;

例：「first_name」「birthday」で重複を抽出する場合

SELECT first_name, birthday, COUNT(*) AS count
FROM users
GROUP BY first_name, birthday
HAVING COUNT(*) > 1;

このクエリを使えば、「同じ名前・同じ生年月日」の組み合わせが複数回登録されているケースを特定できます。

4-2. 複数カラムの重複レコード全体を抽出する

重複キーの組み合わせを持つすべてのレコード詳細が必要な場合、サブクエリで重複したペアを取り出し、その組み合わせに該当する全行を抽出します。

SELECT *
FROM テーブル名 t1
WHERE (col1, col2) IN (
  SELECT col1, col2
  FROM テーブル名
  GROUP BY col1, col2
  HAVING COUNT(*) > 1
);

例：「first_name」「birthday」重複の全レコード

SELECT *
FROM users u1
WHERE (first_name, birthday) IN (
  SELECT first_name, birthday
  FROM users
  GROUP BY first_name, birthday
  HAVING COUNT(*) > 1
);

このクエリで、たとえば「田中太郎・1990-01-01」という組み合わせが複数登録されている場合、その詳細データがすべて取得できます。

4-3. 完全一致の重複判定（COUNT DISTINCT）

もし「複数カラムの全てが完全に同じ値の行が何件あるか」を知りたい場合、COUNT(DISTINCT ...)を組み合わせて集計することもできます。

SELECT COUNT(*) - COUNT(DISTINCT col1, col2) AS 重複件数
FROM テーブル名;

このSQLは、テーブル内での完全な重複件数の概算ができます。

4-4. 注意点

複数カラムで重複検出する場合も、インデックスを適切に設定しておくことで検索速度が大きく向上します。
カラム数が多い場合やNULLを含む場合、意図しない重複抽出になることもあるため、条件設計は慎重に行いましょう。

このように、複数カラムの重複検出・抽出もSQLの工夫次第で柔軟に対応できます。

5. 重複レコードの除去（削除）

重複データの抽出ができたら、次に必要となるのが「不要な重複レコードの削除」です。実務では、重複しているうちの“どれか1件だけを残し、それ以外を削除する”という処理がよく行われます。ただし、MySQLで重複を自動的に削除する場合は、意図しないデータロスを防ぐため、削除対象を明確に絞り込む必要があります。

この章では、安全に重複データを削除する代表的な方法と、その際の注意点について詳しく解説します。

5-1. サブクエリ＋DELETEで重複を削除する

重複レコードのうち「最古」または「最新」だけを残して他を削除する場合、サブクエリを利用したDELETE文が役立ちます。

例：IDが一番小さい（古い）レコードを1件だけ残して、それ以外を削除する

DELETE FROM users
WHERE id NOT IN (
  SELECT MIN(id)
  FROM users
  GROUP BY email
);

このクエリは、「emailごとに一番小さいid（最初に登録されたレコード）だけを残し、同じemailを持つその他の行をすべて削除します。

5-2. MySQL特有のエラー（エラー1093）回避方法

MySQLでは、サブクエリ内で自身と同じテーブルを参照してDELETEするとエラー1093が発生することがあります。この場合は、サブクエリの結果を一時テーブル（derived table）としてラップすることで回避できます。

DELETE FROM users
WHERE id NOT IN (
  SELECT * FROM (
    SELECT MIN(id)
    FROM users
    GROUP BY email
  ) AS temp_ids
);

このようにサブクエリをさらにSELECT * FROM (...) AS エイリアスでラップすることで、エラーを防止しつつ安全に削除が行えます。

5-3. 複数カラム重複の場合の削除

複数カラムの組み合わせで重複を削除したい場合も同様に、複数カラムをGROUP BYし、それ以外のレコードを削除します。

例：「first_name」「birthday」で重複するレコードのうち、最初の1件以外を削除

DELETE FROM users
WHERE id NOT IN (
  SELECT * FROM (
    SELECT MIN(id)
    FROM users
    GROUP BY first_name, birthday
  ) AS temp_ids
);

5-4. 削除時の安全対策・ベストプラクティス

重複削除はデータを失うリスクが高い操作です。必ず以下の点に注意してください。

バックアップの取得：削除前にテーブル全体や対象レコードのバックアップを必ず保存しておきましょう。
トランザクションの活用：可能な場合はトランザクション機能を使い、「間違った削除」を即座にロールバックできるようにしましょう。
まずはSELECTで対象件数を確認：「本当に削除対象が想定通りか？」を事前にSELECT文で抽出・確認する習慣を付けましょう。
インデックスの確認：重複判定に使うカラムにインデックスを付与することで、パフォーマンスや正確性が向上します。

このように、MySQLではサブクエリや一時テーブルを活用することで安全に重複データを削除できます。削除操作は慎重に、十分な検証とバックアップ体制を整えてから実行しましょう。

6. パフォーマンス考慮とインデックス戦略

MySQLで重複データの抽出や削除を行う場合、テーブルのデータ量が多くなるほどクエリの実行速度やサーバー負荷が問題となります。特に大規模なシステムやバッチ処理では、パフォーマンスを意識したSQL設計や、インデックスの最適化が重要です。この章では、重複データ処理におけるパフォーマンス向上のコツとインデックス設計のポイントについて解説します。

6-1. EXISTS、IN、JOINの使い分け

重複データを抽出する際に用いられるINやEXISTS、JOINなどのSQL構文は、それぞれ特性やパフォーマンス傾向が異なります。

IN
サブクエリの結果セットが少量の場合は高速ですが、結果が多くなるとパフォーマンスが低下しやすいです。
EXISTS
条件を満たすレコードが見つかった時点で検索を打ち切るため、テーブルが大きい場合やマッチ件数が少ない場合に有効です。
JOIN
結合することで一度に多くの情報を取得できますが、不要なデータまで結合してしまうと逆に遅くなることもあります。

パフォーマンス比較例

構文	少量データ	大量データ	コメント
IN	◎	△	結果セットが多いと遅い
EXISTS	◯	◎	大規模DBで有利
JOIN	◯	◯	適切なインデックス必須

実際のシステムやデータ量に応じて、最適な構文を選ぶことが大切です。

6-2. インデックス設計の重要性

重複チェックや削除対象となるカラムには、必ずインデックスを設定しましょう。インデックスがないと、テーブル全件スキャンが発生し、極端に遅くなります。

インデックス設定例

CREATE INDEX idx_email ON users(email);

複数カラムで重複判定する場合も、複合インデックスが有効です。

CREATE INDEX idx_name_birthday ON users(first_name, birthday);

インデックスの設計によっては、読み込み速度や検索効率が大きく変化します。
※ただし、インデックスの増やし過ぎは書き込み速度低下やストレージ増加の原因になるため、バランスが重要です。

6-3. 大量データのバッチ処理

データ量が数万〜数百万件規模の場合は、一度に全件処理するのではなく、小分けにしてバッチ実行するのが安全です。
削除や更新時は一度に処理する件数を限定（例：LIMIT 1000）し、複数回に分けて実行することでロック競合やパフォーマンス低下を防げます。

DELETE FROM users
WHERE id IN (
  -- サブクエリで抽出した重複レコードのうち先頭1000件
)
LIMIT 1000;

6-4. 実行計画（EXPLAIN）の活用

SQLの実行計画を確認できるEXPLAINを使い、実際のクエリがどのように実行されているかを分析しましょう。インデックスが有効活用されているかどうか、全件スキャン（ALL）が発生していないかなどを事前にチェックできます。

EXPLAIN SELECT * FROM users WHERE email IN (...);

このように、パフォーマンスとインデックス戦略を意識しておくことで、大量データの重複処理も安全かつ効率的に行えます。

7. 応用例：複雑ケース対応

実務の現場では、単純な重複検出や削除だけでなく、「さらに複雑な条件を加えたい」「安全に分割実行したい」といった高度なニーズも少なくありません。この章では、複数条件付きの重複処理や、安全性・信頼性を重視した運用テクニックなど、応用的な実践例を紹介します。

7-1. 複数条件付きでの重複削除

重複しているレコードのうち、特定の条件を満たすものだけを削除したい場合、WHERE句をうまく活用します。

例：同じメールアドレスかつ「退会済み」の重複だけ削除

DELETE FROM users
WHERE id NOT IN (
  SELECT * FROM (
    SELECT MIN(id)
    FROM users
    WHERE status = '退会済み'
    GROUP BY email
  ) AS temp_ids
)
AND status = '退会済み';

このように、WHEREやGROUP BYに条件を加えることで、「残したい／削除したいレコード」の絞り込みができます。

7-2. バッチ処理や分割実行のすすめ

データが膨大な場合や、ロック競合・パフォーマンス低下を避けたい場合は、バッチ処理を活用しましょう。

削除対象を一度に全件処理せず、LIMITを使って分割実行
トランザクション制御を利用し、万が一のエラー時にはロールバック
バックアップやログ出力によるリスク管理

DELETE FROM users
WHERE id IN (
  SELECT id FROM (
    -- 条件で絞り込んだ重複レコードIDを抽出
  ) AS temp_ids
)
LIMIT 500;

このように分割すれば、システムへの負荷を大幅に抑えられます。

7-3. 複雑な重複定義への対応

業務ごとに「重複」とみなす条件が異なる場合、サブクエリ・CASE文・集計関数を組み合わせて柔軟に対応します。

例：「同じ商品ID、注文日が同じで、かつ価格も一致している」場合だけを重複とみなす

SELECT product_id, order_date, price, COUNT(*)
FROM orders
GROUP BY product_id, order_date, price
HAVING COUNT(*) > 1;

さらに、重複のうち「最も新しいものだけ残す」等の複雑な判定も、サブクエリやROW_NUMBER()（MySQL 8.0以降）を使えば実現できます。

7-4. トランザクションやバックアップのベストプラクティス

削除や更新は必ずトランザクションでラップし、途中で問題が発生した場合はROLLBACKで元に戻せるようにしておきましょう。
重要なテーブルや多くのレコードを扱う場合は、事前に必ずバックアップを取得します。バックアップ後に削除作業を行うのが安全です。

このような応用・高度なテクニックを押さえておけば、どんな現場でも柔軟かつ安全に重複データ処理が可能になります。

8. まとめ

本記事では、MySQLを用いた重複データの抽出と削除について、基本から応用まで体系的に解説してきました。ここで、主要なポイントを改めて整理します。

8-1. 記事の要点のおさらい

重複データの検出
単一カラムだけでなく、複数カラムを組み合わせた重複の抽出が可能です。GROUP BYとHAVING COUNT(*) > 1の組み合わせは、あらゆる重複検出の基本パターンとなります。
重複レコード全体の抽出
サブクエリやEXISTS句を活用することで、重複しているキー値に該当するすべてのレコードを取り出すことができます。
重複レコードの削除
MIN(id)やMAX(id)で代表値を残しつつ、サブクエリ＋DELETE文を応用することで、不要な重複のみ安全に削除できます。MySQLのエラー1093回避も重要なポイントです。
パフォーマンスとインデックス
大規模データや複雑条件での処理には、適切なインデックス設定やバッチ処理、EXPLAINによる実行計画の確認が不可欠です。
実務的な応用テクニック
条件付き削除や分割実行、トランザクション管理、バックアップ取得など、実務で失敗しないためのポイントも合わせて押さえておきましょう。

8-2. 用途別・おすすめアプローチ早見表

シーン	おすすめ手法
単一カラムの重複検出	GROUP BY＋HAVING
複数カラムの重複検出	GROUP BY 複数カラム＋HAVING
重複レコード全件取得	サブクエリ（IN/EXISTS）
安全な削除	サブクエリ＋一時テーブルでDELETE
大量データを高速に処理	インデックス＋バッチ処理＋EXPLAIN
条件付きの重複削除	WHERE句やトランザクションと組み合わせ

8-3. 今後のトラブルを防ぐために

重複データは「登録時に防止」することも重要です。

テーブル設計時は一意制約（UNIQUE）の活用を検討しましょう。
既存データの定期的なクリーンアップと監査も、運用トラブルの早期発見につながります。

MySQLによる重複データの抽出と削除は、SQLの基礎から応用まで幅広い知識と実践力が求められる分野です。今回の記事内容が、現場のデータ整備やシステム運用に役立てば幸いです。
疑問や具体的なケースがあれば、FAQや専門家にぜひご相談ください。

9. FAQ：MySQLの重複データ抽出・削除に関するよくある質問

Q1. なぜ`DISTINCT`ではなく`GROUP BY`＋`HAVING`を使うのですか？

DISTINCTは重複を「取り除く」ための機能ですが、「どの値が何回重複しているか」を調べることはできません。一方、GROUP BYとHAVING COUNT(*) > 1を組み合わせることで、「どの値が複数回登場しているか」「重複件数は何件か」といった詳細な情報を抽出できます。

Q2. `IN`と`EXISTS`はどちらを使うべきですか？

少量データであればどちらも差はありませんが、テーブルが大きい場合やインデックスが有効な場合は、EXISTSの方が高速になることが多いです。実際の環境で両方を試し、EXPLAINで実行計画を確認するのがおすすめです。

Q3. 複数カラムでの重複判定はどうすればいいですか？

GROUP BYで複数カラムを指定し、HAVING COUNT(*) > 1を使えば、「全てのカラムが同じ組み合わせ」の重複を検出できます。例：GROUP BY first_name, birthday

Q4. DELETE文で「エラー1093」が発生します。どう対処すればいいですか？

MySQLは「DELETE文で自身と同じテーブルをサブクエリで参照」するとエラー1093を返します。これを回避するには、サブクエリの結果を一時テーブル（SELECT * FROM (...) AS エイリアス）でラップしてください。

Q5. 重複データを安全に削除するにはどうすればいいですか？

削除前に必ずバックアップを取得し、まずはSELECTで削除対象を確認してください。可能であればトランザクションを利用し、必要に応じて分割削除やバッチ処理を行いましょう。

Q6. データ量が多くてクエリが遅いときの対策は？

重複判定に使うカラムにインデックスを設定し、処理件数が多い場合はLIMITを使ったバッチ処理で分割実行してください。EXPLAINでクエリの実行計画をチェックし、不要なフルスキャンが発生していないかも確認しましょう。

Q7. 重複登録を根本的に防ぐには？

テーブル設計時にUNIQUE制約や一意キーを設定すれば、同じ値の重複登録を未然に防ぐことができます。運用開始後は定期的に重複チェックとデータクレンジングを実施すると良いでしょう。

Q8. MariaDBや他のRDBMSでも同じ方法が使えますか？

基本的なSQL構文（GROUP BY・HAVING・サブクエリ）はMariaDBやPostgreSQLなど他のRDBMSでも共通して使えます。ただし、DELETE時のサブクエリ制限やパフォーマンス特性には製品ごとの差があるため、必ず事前に動作確認を行ってください。

MySQLで重複データを抽出・削除する方法｜基本から応用まで実践SQLガイド