MySQLで大量のSELECT結果をチャンク単位で分割取得する方法

はじめに：なぜチャンク分割が必要か

MySQLで大規模なテーブルに対してSELECTを実行する際、全行を一括取得するとメモリ消費やレスポンス時間の面で非効率になることがあります。そんなときに有効なのが、ORDER BYとLIMITを組み合わせて、結果セットを小さなチャンク（塊）に分けて段階的に取得する手法です。

基本構文：ORDER BY LIMITで行を絞り込む

チャンクごとにデータを取得するには、以下のような構文を使用します。

SELECT * FROM yourTableName
ORDER BY yourColumnName
LIMIT 0, 10;

このクエリはテーブルから10行を取得します。LIMITの第1引数「0」は結果セットの開始位置（ゼロ始まりのインデックス）、第2引数は取得する最大行数です。つまり「オフセット, 取得件数」の順で指定します。

オフセットをずらして次のチャンクを取得する

続くレコード（11〜30行目）を取得したい場合は、開始位置を10にずらします。

SELECT * FROM yourTableName
ORDER BY yourColumnName
LIMIT 10, 20; -- 11行目〜30行目

さらに31〜50行目を取得する場合は次のようになります。

SELECT * FROM yourTableName
ORDER BY yourColumnName
LIMIT 30, 20; -- 31行目〜50行目

一時テーブルを活用した効率的な取得方法

元テーブルへの問い合わせを繰り返すと、そのたびにソート処理のコストが発生します。あらかじめ対象データを一時テーブルに退避しておけば、以降のチャンク取得が高速になります。

手順1：一時テーブルを作成してデータを格納する

DROP TEMPORARY TABLE IF EXISTS yourTemporaryTableName;
CREATE TEMPORARY TABLE yourTempTableName
AS
(
   SELECT * FROM yourOriginalTableName
   ORDER BY ...
   LIMIT 0, 100
);

手順2：一時テーブルからLIMIT句で必要な範囲だけ取得する

SELECT * FROM yourTemporaryTableName LIMIT 0, 100;
SELECT * FROM yourTemporaryTableName LIMIT 100, 1000;

チャンクサイズ（LIMITの値）は用途に応じて自由に設定できます。処理が完了したら、一時テーブルを明示的に削除しておくのが良い習慣です。

DROP TEMPORARY TABLE yourTemporaryTableName;

実践デモ

それでは、ここまでの内容を実際に試してみましょう。まずはデモ用のテーブルを作成します。

mysql> CREATE TABLE getRecordsDemo
    -> (
    -> Id int NOT NULL AUTO_INCREMENT,
    -> PRIMARY KEY(Id)
    -> );
Query OK, 0 rows affected (1.68 sec)

次に、INSERT文で空のVALUES()を多数並べることで、まとめて738件のレコードを挿入します。

mysql> INSERT INTO getRecordsDemo VALUES(),(),(),(),(),(),(),(),(),(),
       /* ...空のVALUES()を合計738回指定... */;
Query OK, 738 rows affected (0.34 sec)
Records: 738 Duplicates: 0 Warnings: 0

続いて、このテーブルの全データ（738件）を格納する一時テーブルを作成します。

mysql> DROP TEMPORARY TABLE IF EXISTS TempRecord;
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> CREATE TEMPORARY TABLE TempRecord
    -> AS
    -> (
    -> SELECT * FROM getRecordsDemo ORDER BY Id LIMIT 0,738
    -> );
Query OK, 738 rows affected (0.03 sec)
Records: 738 Duplicates: 0 Warnings: 0

これで準備完了です。あとはLIMIT句を使って、任意のチャンク単位で結果を取り出せます。

ケース1：先頭の10件を取得する

mysql> SELECT * FROM TempRecord LIMIT 0,10;

出力結果：

+----+
| Id |
+----+
|  1 |
|  2 |
|  3 |
|  4 |
|  5 |
|  6 |
|  7 |
|  8 |
|  9 |
| 10 |
+----+
10 rows in set (0.00 sec)

ケース2：次の20件（11〜30行目）を取得する

mysql> SELECT * FROM TempRecord LIMIT 10,20;

出力結果：

+----+
| Id |
+----+
| 11 |
| 12 |
| 13 |
| 14 |
| 15 |
| 16 |
| 17 |
| 18 |
| 19 |
| 20 |
| 21 |
| 22 |
| 23 |
| 24 |
| 25 |
| 26 |
| 27 |
| 28 |
| 29 |
| 30 |
+----+
20 rows in set (0.00 sec)

ケース3：さらに次の20件（31〜50行目）を取得する

mysql> SELECT * FROM TempRecord LIMIT 30,20;

出力結果：

+----+
| Id |
+----+
| 31 |
| 32 |
| 33 |
| 34 |
| 35 |
| 36 |
| 37 |
| 38 |
| 39 |
| 40 |
| 41 |
| 42 |
| 43 |
| 44 |
| 45 |
| 46 |
| 47 |
| 48 |
| 49 |
| 50 |
+----+
20 rows in set (0.00 sec)

まとめ：押さえておきたいポイント

• LIMITの第1引数（オフセット）はゼロ始まり。第2引数は「終了位置」ではなく「取得件数」である点に注意しましょう。
• 少しずつ分割して読み出すことで、アプリケーションのメモリ負荷を抑えられます。
• 一時テーブルは接続（セッション）が切れると自動的に削除されますが、明示的なDROPも推奨されます。
• オフセット方式は後方のページほど処理が遅くなる傾向があるため、超大規模データでは「WHERE id > 最後に取得したID LIMIT n」というキーセットページネーションの検討も有効です。