スライス - 静かなる名辞

【python】反転させて先頭n個取るスライス

2018-06-08T05:51:06+09:00

　タイトルの通りのものが必要になりました。一体どう書くのでしょう？

とりあえず反転させる

>>> lst = list(range(20))
>>> lst[::-1]
[19, 18, 17, 16, 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

　ま、これは常識（python廃人の皆さんには）。

n個取ってみる

>>> lst[::-1][:10]
[19, 18, 17, 16, 15, 14, 13, 12, 11, 10]

　こうするとリストオブジェクトの生成が二回繰り返されるので遅いはずです。

　できればスライス一発で済ませたい。

やってみる

>>> lst[:9:-1]
[19, 18, 17, 16, 15, 14, 13, 12, 11, 10]

　なんとなくできたような気になりますが、

>>> lst[:3:-1]
[19, 18, 17, 16, 15, 14, 13, 12, 11, 10, 9, 8, 7, 6, 5, 4]

　逆向きなのでした。スライスも左から順に評価される（切り出してから反転）のでしょうか。

正しい（？）やりかた

>>> lst[:-4:-1]
[19, 18, 17]

　微妙な違和感が・・・

先頭n個取って反転

　これもやってみよう。考え方は同じです。

>>> lst[2::-1]
[2, 1, 0]

測ってみた

>>> import timeit
>>> timeit.timeit(lambda : lst[::-1][:3])
0.35431641300010597
>>> timeit.timeit(lambda : lst[:-4:-1])
0.20682314900022902

　計測誤差ではないようです。かくして約43%の高速化が実現されました。

追記：書き上げて投稿してから思いついた別解

>>> lst[:-4:-1]
[19, 18, 17]
>>> lst[-3:][::-1]
[19, 18, 17]

　結果は同じ。これだと反転するリストが小さいので速いのでは？　と思いました。

　効果を見やすくするために、長さ1000のリストで試してみます。

>>> timeit.timeit(lambda : lst[:-4:-1])
0.21827364299997498
>>> timeit.timeit(lambda : lst[::-1][:3])
2.8037329549997594
>>> timeit.timeit(lambda : lst[-3:][::-1])
0.33725221500026237

　早い順に、

1つのスライスで反転と切り出しをやる
後ろ3つを取ってから反転
ぜんぶ反転させてから先頭3つを取る

　となりました。

　「ぜんぶ反転させてから～」が遅いのはまあ、予想通りですが、「後ろ3つを取ってから～」は1つのスライスでやる方法に勝てておらず、リストが小さいときの「ぜんぶ反転させてから～」と同程度。つまりオーバーヘッド分が同程度あるということです。また、built-inのスライスはそうとう気が効いてるみたいです（恐らく、lenを見てどの順番で切っていくか決めているのでは？　確認していませんが・・・）。

　結論としては、とにかくできるだけ1つのスライスで書いちゃおう、ということになると思います。ただし、実際には大した時間じゃないので、可読性重視で分けるのも不可ではない、という程度です。

【python】1つおきにリスト・文字列などから抽出する

2018-05-09T16:34:09+09:00

　スライスの基本的な話なんだけど、意外と知らない人が多いと思うので。

　スライスで1つおきに取り出すには、こうする。

>>> "hogehoge~"[::2]
'hghg~'

　スライスで指定できるのはstart, stop, stepであり、上のように指定するとstart, stopはNoneでstepが2になる。

　参考：【python】sliceのちょっと深イイ（かもしれない）話 - 静かなる名辞

　ではstepを1にすると？　これは元の文字列が返る。

>>> "hogehoge~"[::1]
'hogehoge~'

　たまにこれをreverseに悪用（？）する人がいる。[::-1]と指定するとそういう挙動になるので。

>>> "hogehoge~"[::-1]
'~egohegoh'

　でもこれは可読性が悪い、というか完全に初見殺しなので、やめた方が良いと思う。reversedというものがあるので、そっちを使おう。

　・・・と思って書いてみたけど、腹立たしいことに空気を読まない子（iteratorで返してくれるアレ）なので、こんな真似をする必要がある。

>>> "".join(reversed("hogehoge~"))
'~egohegoh'

　どっちがマシかなぁ・・・。

　話をもとに戻して、[::-1]でこうなるということは、これもできる。1つおきに取り出して逆転させる。

>>> "hogehoge~"[::-2]
'~ghgh'

　便利、なのだろうか（どんなときに？）。

【python】sliceのちょっと深イイ（かもしれない）話

2018-05-09T16:32:34+09:00

　リスト（じゃなくてもだけど）に次のようにアクセスするとき、内部的には__getitem__が呼ばれていることは、歴戦のpythonistaの皆さんには常識でしょう。

>>> lst = [1,2,3,4,5]
>>> lst[0]
1

　この様子を自作クラスで観察してみましょう。

>>> class Hoge:
...     def __getitem__(self, k):
...         print("__getitem__!")
...         return k
... 
>>> h = Hoge()
>>> h[0]
__getitem__!
0
>>> h["hogehoge~"]
__getitem__!
'hogehoge~'

　Hogeクラスは__getitem__が呼ばれると、「__getitem__!」とprintしてから__getitem__の引数をそのまま返します。上の結果から、実際に__getitem__が呼ばれていることがわかります。

　[]は__getitem__の糖衣構文と言っても、まあ良いでしょう*1。

　これで「ほーん、そうか」と納得しかけてしまいますが、「ちょっと待て、じゃあスライスはどうなるんだ・・・？」というのが疑問として浮かんできますね。

lst[0:5]

　一体何が渡るというんでしょう。「0:5」なんてオブジェクトはありませんから（そのまま書いても構文エラー）、スライスの場合は__getitem__とは違う仕組みで処理されるのでしょうか？

　そうはなっていません。

>>> h[0:5]
__getitem__!
slice(0, 5, None)
>>> type(h[0:5])
__getitem__!
<class 'slice'>

　おおお、sliceオブジェクトなんていうのが渡っている・・・。

　このsliceオブジェクトは、普通にpythonを書いている限り目にする機会はほとんどないと思います。

　それでも、公式ドキュメントにはしっかり載っています。

class slice(start, stop[, step])
range(start, stop, step) で指定されるインデクスの集合を表す、スライス (slice) オブジェクトを返します。引数 start および step はデフォルトでは None です。スライスオブジェクトは読み出し専用の属性 start、stop および step を持ち、これらは単に引数で使われた値 (またはデフォルト値) を返します。これらの値には、その他のはっきりとした機能はありません。しかしながら、これらの値は Numerical Python および、その他のサードパーティによる拡張で利用されています。スライスオブジェクトは拡張されたインデクス指定構文が使われる際にも生成されます。例えば a[start:stop:step] や a[start:stop, i] です。この関数の代替となるイテレータを返す関数、itertools.islice() も参照してください。

2. 組み込み関数 — Python 3.6.5 ドキュメント

　なるほど～、こいつが渡ることで、あとは受けるオブジェクトの__getitem__が然るべき処理をしてくれればスライスが実現する仕組みになっているんですね。よくできてる・・・。

「いや、ちょっと待て。numpyで使うアレはどうなってるんだ」

　こういう奴のことですね。

a[:,0]

　上記sliceオブジェクトはstart, stop, stepしか持たないので、こういうスライスは手に負えなさそうです。

　なんてこった、今度こそ__getitem__では処理しきれなくて、なにか違う仕組みで処理されているのか・・・

　いません。

>>> h[:,0]
__getitem__!
(slice(None, None, None), 0)
>>> type(h[:,0])
__getitem__!
<class 'tuple'>

　__getitem__なのは間違いないみたいですが、なぜかtupleが返ります。0要素目は空のslice, 二番目は入力がそのまま・・・？　一体どうなっているんだ？

　実はこうなっています。

>>> h[::,0:1:2,0:-1:-2,0,1,2,3]
__getitem__!
(slice(None, None, None), slice(0, 1, 2), slice(0, -1, -2), 0, 1, 2, 3)

　なるほど、カンマで区切られたものごとにtupleの要素になっているのか！

　……と、書きましたが一応ちゃんと説明しておくと、そもそも「pythonのtuple」はカンマで区切られた要素によって成立する構文です。関数の引数リストなど、他の構文と被る場合はそちらが優先的に扱われますが。

>>> 1,2,3
(1, 2, 3)

　これについてはドキュメントに説明があります。

4. 組み込み型 — Python 3.6.5 ドキュメント

　要するに、単に添字の中にtupleを書いているだけ、とみなしてもまあ良いでしょう*2。

　わかっちゃえばなんてことはないですね。とても自然な仕様です。あとは受け取った側で然るべき処理をするだけ。

　このように、スライスの裏ではsliceオブジェクトが暗躍しています。なんとなくこういうことを知っていると深イイと思えますね。また、なんとなくスライスの構文がよくわからなかった人も、この仕様が理解できれば自然に複雑なスライスを書けるようになることでしょう（その結果、難読コードが量産されてしまうかもしれないが・・・）。

余談

>>> lst = [0,1,2]
>>> lst[:,0]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: list indices must be integers or slices, not tuple

　上のことがわかっていれば理解できますが、そうでないと絶対理解不能なエラーメッセージです（tupleなんかないじゃんかって）。

追記：2018/06/21

　この話はドキュメントのどこに載っているんだろうとずっと思っていましたが、見つけました。

6. 式 (expression) — Python 3.6.5 ドキュメント

スライス表記に対する意味付けは、以下のようになります。プライマリの値評価結果は、以下に述べるようにしてスライスリストから生成されたキーによって (通常の添字表記と同じ __getitem__() メソッドを使って) インデクス指定できなければなりません。スライスリストに一つ以上のカンマが含まれている場合、キーは各スライス要素を値変換したものからなるタプルになります; それ以外の場合、単一のスライス要素自体を値変換したものがキーになります。一個の式であるスライス要素は、その式に変換されます。適切なスライスは、スライスオブジェクト (標準型の階層参照) に変換され、その start, stop および step 属性は、それぞれ指定した下境界、上境界、およびとび幅 (stride) になります。式がない場所は None で置き換えられます。

　説明の内容はこの記事と基本的に同じですが、グダグダなこの記事と比べると、さすがによくまとまっています。公式は偉い。

*1:細かいことを言うと、lst[0] = "hoge"など代入する場合、del dct[0]などdel文を呼ぶ場合などは__getitem__とは異なったメソッドが呼ばれます。あくまでも単純に値を参照する場合の話です

*2:sliceオブジェクトに変換されるので単純な処理ではないが