multiprocessing

機械学習モデルのパイプラインを作成していると、並列処理を行いたい場面が出てくるとおもいます。私も同様に、データの前処理→並列処理でモデル学習という流れでパイプラインを作成していました。しかし、前処理の内部実装を変えた途端に、突然並列処理が動かなくなりました。 結論 spawnを使う。 def main(): preprocessing() # 前処理メソッド train_test() # 並列で学習するメソッド if __name__=="__main__": multiprocessing.set_start_method('spawn') #ここを追加 main() 環境 OS: Ubun…