python tips 開発者向け

　D²MatE拠点メンバー及び関係者には、Webexメッセージにプログラミング等の質問サイト "東工大MDX-PYTHON質問箱” が用意されています。
pythonやプログラミングに限らず、回答できる質問には対応し、必要に応じてこのページで公開します。

　下記tipsのいくつかは、tklib (tkApplication、tkFit、tkFit_m、tkPlotEvent など) に実装されています

プログラム開発者 (特に tkinter、matplotlib）のTips

02-python-tips.pdf

以下の資料が含まれています

print()の出力先を変える方法
　
Matplitlibのグラフでマウスクリックに応答する方法
・データ点をクリックしたら、コンソールにデータ情報を表示します
matplotlibによるインタラクティブプログラミングも参考にしてください。
　
最小化ライブラリ scipy.optimize.minimize() で使えるアルゴリズム
最小化ライブラリ scipy.optimize.minimize() のcallback関数の使い方
最小化ライブラリ scipy.optimize.minimize() でEarly Stopさせる方法
scikit-learnで使える回帰アルゴリズム

モジュールにおけるテスト

　モジュールを単独で実行する場合だけ特定の関数を呼び出すには、__name__ 変数を利用します。
モジュールプログラムから実行した場合は __name__ に "__main__" が入りますが、他のプログラムから import された場合は、そのモジュール名が入ります。
そのため、以下の構文により、モジュールが単独で実行された時だけ main() 関数を呼び出すことができます。
モジュールの場合、main() 関数にモジュール関数・クラスのテストプログラムを書いておくと便利です。

void main():
...

if __name__ == "__main__":
main()

変数型の型

基本型
if type(a) is int: # 整数型
if type(a) is float: # 浮動小数点型
if type(a) is str: # 文字列型
if type(a) is list: # リスト型
if type(a) is tuple: # タプル型
その他オブジェクトのインスタンス
if isinstance(a, numpy.ndarray): # 変数 a が numpy ndarray型であれば True

オブジェクトの属性へのアクセス

基本
obj.var              # オブジェクトのインスタンス obj の属性 (メンバー変数) var を参照
obj.var = a         # オブジェクトのインスタンス obj の属性 (メンバー変数) var に a を代入
obj.func()           # オブジェクトのインスタンス obj の属性 (メンバー関数) func() を呼び出す
　　属性 var, func が存在しないとエラーになってプログラムが停止する
文字列で属性を扱う
getattr(obj, "var")      # obj.var と同じ
setattr(obj, "var", a)   # obj.var = a と同じ
getattr(obj, "func")()   # obj.func() と同じ
　　getattr() で要素 var, func が存在しないとエラーになってプログラムが停止する
   第3引数としてデフォルト値を渡すと、attributeが存在しない場合もエラーにはならず、デフォルト値が返ります:
　　　　例: getattr(obj, "var", None)
基本型でないオブジェクトの属性の全て
__dict__ リスト型変数で参照できる。
　　__dict__[var] 要素 var が存在しないとエラーになってプログラムが停止する
　
存在しない属性への参照
.classの場合、getattr() を使うことで、指定した属性が存在しない場合にも対応できる。
getattr(obj, "var", None) # obj.var が存在すれば obj.var が、存在しない場合は Noneが返る
辞書型変数の場合、get()を使う
d.get("var", None)

ctrl-cによる割り込み

解決方法: signalモジュールの signal.signal() 関数で handler関数を設定する

注: scipy.optimizeでは、ライブラリ内で割り込み設定をしている様子。使えない

import signal

class tkStopHandler():
    def __init__(self):
    self.stop_flag = False

def __call__(self, signal, frame):
    while 1:
        print("")
        print("Type 'yes' if terminates the program>> ", end = '')
        keyin = input()
       if keyin == 'yes':
            print(" Stopping")
            self.stop_flag = True
            return True
       else:
            print(" Cancelled")
            break

       return True

stop_hander = tkStopHandler()
signal.signal(signal.SIGINT, stop_hander)

# ctrl-cの割り込みテスト: ここまで
#while(True):
#   if stop_hander.stop_flag:
#       exit(0)

matplotlibによるインタラクティブプログラミング

　matplotlibはpythonの標準的なグラフ作成モジュールです。matplotlibのwindowでは、Tk のイベントを使ってインタラクティブなプログラムを作ることができます。
グラフ中のデータ点をクリックした際に、データ情報をコンソールに表示する疑似コードを以下に示します。

# x, y にデータのリストを入れて、グラフを描画します
fig = plt.figure()
ax1 = fig.add_subplot(1, 1, 1)
ax1.plot(x, y)

# グラフを表示しますが、plt.show() を使うとプログラムが停止してしまうため、plt.pause() を使います。
# グラフは再描画されますが、プログラムは継続します
plt.pause(0.1)

# データの集合 (xlist, ylist) のうちから、データ (x,y) に一番近いindexを探して返します。
def find_nearest_data(x, y, xlist, ylist):
minr2 = 1.0e300
ihit = None
for i in range(len(xlist)):
    xi = xlist[i]
    yi = ylist[i]
    r2 = (x - xi)**2 + (y - yi)**2
    if minr2 > r2:
      minr2 = r2
      ihit = i

return ihit, minr2

# マウスの左ボタンがクリックされたときに呼び出されます。
def onclick(event):
# event.inaxesに、クリックされた位置が含まれる axis 変数が返されます。
# ax1 内でクリックされた場合だけ次の処理をします。
if event.inaxes != ax1:
    return

# (event.xdata, event.ydata)に、ax1に対応する (x, y) の値が入っています
# データの集合 (x, y) のうちから、データ (xe, ye) に一番近いindexを取得します
idx, r2 = find_nearest_data(event.xdata, event.ydata, x, y)
print("")
# クリックした点に一番近いデータ (x[idx], y[idx]) をコンソールに表示します。
print(f"clicked at idx = {idx}: x = {x[idx]} y = {y[idx]}")

# マウスの左ボタンクリックイベント button_press_event を onclick() に紐づけます (bind)
fig.canvas.mpl_connect("button_press_event", onclick)

# plt.pause()を使うとプログラムが最後まで進行してしまうので、input() 関数を呼ぶことで、
# ENTERを入力するまでプログラムの終了を待ち状態にします
print("")
print("Press ENTER to terminate")
input()

pythonの高速化

注: pythonの長所はあくまでも、プログラムを簡単に作成、実行できる点です。
　　さまざまな工夫を使って高速化する必要がある場合は、コンパイル言語を使って実装しなおすほうが良いこともあります

　pythonは基本的にインタプリタ型言語であり、実行時にテキストのソースプログラムを機械語に翻訳しながら実行します。
また、オブジェクト指向言語であり、全ての関数、変数はオブジェクトとして扱われます。多くのスクリプト言語 (あるいは Light Weight Language: LWL) と同様、
pythonのオブジェクトは辞書型変数 (__dict__) が実体です。そのため、オブジェクトのattributeへのアクセスは非常にオーバーヘッドが大きくなります。

　それに対し、C/C++で実装されている組み込み構文・関数やモジュールの実行速度は格段に速くなります。以下の注意を払うことで
pythonプログラムの高速化ができるかもしれません。

同じ機能があるのであれば、なるべく組み込み構文・関数、C/C++で実装されているモジュールを使う。
・ブロック型for文の代わりに、リスト内包表記を使う。ループ変数を参照する必要がない場合は _ 変数をループ変数とする。
・ for文の代わりに、sum()やmap()などの組み込み関数を使う
頻繁に参照するオブジェクト変数は局所変数に代入して使う
不要な型変換を減らす
・ファイル変換を行う際、数値をテキストファイルから読み込み、浮動小数点型に変換してから出力テキストファイルに書き出すのは無駄です。
　文字列型のまま処理をします。
・不要な整数型への型変換をしないことは、浮動小数点 => 整数変換の際の丸め誤差を避ける意味でも有効です。
大きな数値テーブルを読み込む場合、numpy.load_txt() や pandas.load_csv() を使うより、組み込み関数 read()/readlines() を使う方がはるかに高速です。
これは、load_txt()/load_csv() などでは、自動的にnumpy.ndarray()やpandas.DataFrame()に変換されるため、型変換のオーバーヘッドが大きいためと思われます。
読み込んだ数値を計算に使用する場合には load_txt()/load_csv() が必要になりますが、ファイル変換だけの場合は、read()/readlines()で読み込んだ文字列を、文字列のまま処理すべきです。
細かい文字列変数の結合を繰り返さない。
メモリー領域の取得はオーバーヘッドの大きい作業です。例えば、テキストファイルを１行ずつ読み込んで、そのたびに文字列型に連結するような
操作は、頻繁にメモリー領域の取得・解放・コピーを繰り返し、遅くなります。
・ファイルをすべて文字列変数に読み込む場合は、read() 関数で読み込む
・多数の文字列を連結する場合、リスト変数にいれて、最後に "".join() 関数を使う (方が早いかもしれない。bench markでの確認はしていません)
C/C++で書き、pythonから呼び出す

　ただし、上記のような工夫 (C/C++などで書き直すことを除く) をしたとしても、実行速度はコンパイル言語にはまったくかないません。
スクリプト言語と比較しても、例えば、オブジェクトを使わないperlと比べても数分の１の速度になります
（perlでオブジェクト変数アクセスを主にするとpythonと同程度まで遅くなります）。

注： pythonのコードをバイトコンパイルすこともできます。ただし、オブジェクトにattributeを動的に追加したり、eval() を使うコードには事前コンパイルは機能しません。
　参考: Pythonのコードをバイトコンパイルする方法

注： pythonのバージョンアップによって実行速度が改善されていることがあります。

注: python3.13から Just in time コンパイラの実装が始まりました。まだ十分な性能は出ていないようですが、将来的には高速化される可能性があります。

注： pythonと言語互換性が高いMojoを使うことも、高速化のための現実的なオプションです