静かなる名辞

pythonとプログラミングのこと



pickle

【python】sqlite3に任意のpythonオブジェクトを突っ込む

データベースにpythonオブジェクトをinsertしておいて、必要になったときにselectして取り出せたら便利だよね。sqlite3のドキュメントを見ると、一応やり方自体は書いてある。 12.6. sqlite3 — SQLite データベースに対する DB-API 2.0 インタフェース — Pyt…

【python】pickleの速度を見る

pickleが遅くて困った経験、ありませんか? 私はありませんが、実際問題としてpickleの速度ってちょっと気になりますよね。 という訳で、測ってみました。 # coding: UTF-8 import sys import pickle import time import numpy as np for obj_size in [10,50…

【python】multiprocessingはアホみたいにメモリ食うよって話

タイトルで落ちてるんだけど、それなりに大きい(それでも数GBとかそんなもん)データをmultiprocessingで処理しようとしたら、メモリが溢れて大変だった。 multiprocessingはプロセス間でメモリを共有しない。ということは、必然的にそうなるしかないのだが…