Pythonのzip関数でイテレータを並列処理する方法と注意点

はじめに

リスト内包表記（List Comprehension）を使うと、元のリストに式を適用して、新しいリストを簡単に生成できます。例として、リスト内の各要素に5を掛ける処理を見てみましょう。まずは、シンプルなforループを使った書き方です。

a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
multiply_by_5 = []
for x in a:
    multiply_by_5.append(x*5)
print(f"Output \n *** {multiply_by_5}")

出力結果

*** [5, 10, 15, 20, 25, 30, 35, 40, 45, 50]

リスト内包表記を使えば、適用する式と繰り返し対象の入力シーケンスを指定するだけで、同じ結果をより簡潔に得られます。

# リスト内包表記
multiply_by_5 = [x*5 for x in a]
print(f"Output \n *** {multiply_by_5}")

出力結果

*** [5, 10, 15, 20, 25, 30, 35, 40, 45, 50]

複数のリストを足し合わせる

次に、2つのリストの要素同士を足し合わせるケースを考えてみます。

# 1. 数値のリストを作成
list1 = [100, 200, 300, 400]
list2 = [500, 600, 700, 800]

# 2. 2つのリストを足して新しいリストを作成
list3 = []

# forループを使う場合
for i in range(len(list1)):
    added_value = list1[i] + list2[i]
    list3.append(added_value)
print(f"Output \n*** {list3}")

出力結果

*** [600, 800, 1000, 1200]

ここで重要なのは、派生リスト（この場合はlist3）の各要素が、インデックスを通じて元のリストの要素と直接対応しているという点です。

zip関数を使ったエレガントな解決策

同じ処理をzip関数で実現してみましょう。ここでは、100・200・300・400を含む整数のリストと、500・600・700・800を含む整数のリストの2つを用意します。これらは変数に代入して定義できますが、リストである必要はありません。タプルなど、他のシーケンス型でも構いません。

zip関数は、これらのリストから要素のペアをまとめて生成します。つまり、list1の100とlist2の500がペアになり、以降も同様です。イテレーションの中で、各タプルを変数aとbにアンパックしながら処理していきます。

list4 = []
list4 = [(a + b) for a, b in zip(list1, list2)]
print(f"Output \n*** {list4}")

出力結果

*** [600, 800, 1000, 1200]

上記の解決策は非常にスマートに見えますが、実際のコードに適用する前に、知っておくべき重大な問題があります。

zip関数の落とし穴：長さが異なるイテレータ

組み込み関数zipは、入力されたイテレータの長さが異なる場合に予期しない動作をします。実際に試してみましょう。

# リストに新しい数値を追加
list1.append(1000)
print(f"Output \n*** Length of List1 is {len(list1)} , Length of List2 is {len(list2)}")

# zipを使ってリスト同士を足し合わせる
list5 = [(a + b) for a, b in zip(list1, list2)]
print(f"*** {list5}")

出力結果

*** Length of List1 is 5 , Length of List2 is 4
*** [600, 800, 1000, 1200]

出力結果を見ると、list1に追加したはずの要素が結果に反映されていないことがわかります。追加した要素は確かにlist1に存在するのに、zipの出力には現れません。

これはzipの仕様によるものです。zipは、どちらか一方のイテレータが使い果たされるまでタプルを生成し続けます。つまり、list1の方が多くの要素を持っていても、短い方のlist2が先に尽きた時点でループが終了してしまうのです。

さらに厄介なのは、例外などで警告されない点です。そのため、本番環境でzipを使用する際は十分な注意が必要です。

itertools.zip_longestで問題を解決

この問題への対処法として、Pythonのitertoolsモジュールに用意されているzip_longest関数があります。zip_longestは、片方のイテレータが尽きた後も処理を続行できる便利な関数です。

from itertools import zip_longest

list6 = []
for a, b in zip_longest(list1, list2):
    if b is None:
        print(f" << do your logic here >> ")
    elif a is None:
        print(f" << do your logic here >> ")
    else:
        list6.append(a + b)
print(f"Output \n*** {list6}")

出力結果

<< do your logic here >>
*** [600, 800, 1000, 1200]

このように、zip_longestを使えば、どちらかのイテレータがNoneになった箇所を検出しながら、すべての要素を漏れなく処理できます。

まとめ

• zip関数は、複数のイテレータを並列に処理したい場合に非常に便利です。

• 長さの異なるイテレータを渡すと、zip関数は短い方に合わせて処理を打ち切るため、意図しないデータ損失が発生する可能性があります。

• 長さの異なるイテレータを安全に扱いたい場合は、itertoolsのzip_longestを使用しましょう。