SciPy

これは何？ 一変数関数 $f\colon\mathbb{R}\to\mathbb{R}$ を与えられた閉区間 $\Omega \subseteq \mathbb{R}$ 上で最小化する $x^\star$ を求める方法について扱う 最適化問題として記述すると以下のように表される: \begin{align} \min \quad &f(x) \\ \mathrm{s.t.} \quad &x \in \Omega. \end{align} アルゴリズムの詳細には一切触れず，scipy.optimize モジュールに含まれる以下の関数を用いる: minimize_scalar shgo mini…

Pythonから利用できる数学処理ライブラリ、Scipyを使ったディジタルフィルタの設計・評価方法の続きをまとめていきます。 前回同様、数学的な話やディジタルフィルタについての概要は飛ばし、フィルタ設計・評価に使えるサンプルプログラムを載せただけですが、何かに使えれば幸いです。 前の記事： dango-study.hatenablog.jp 本記事で紹介したコード: github.com 開発環境について $wmic os get caption >Microsoft Windows 10 Pro $wmic os get osarchitecture >64ビット $python -V Py…

最近は Python でセンサデータを確認したり、特徴を取ったりな仕事をしています。 その中で最近「データの極大値・極小値を取る」ことをやりました。Python で行う方法を調べると、よく出てくるのは scipy の signal モジュールで、 import numpy as np from scipy import signal a = np.array([1, 2, 3, 4, 5, 4, 3, 2, 1]) b = signal.argrelmax(a, order = 1)[0] print(b) # [4] と、確かに極大値となっているところのインデックスを取得できるのですが、 最…

Pythonから利用できる数学処理ライブラリ、Scipyを使ったディジタルフィルタの設計・評価方法をまとめました。 と言っても数学的な話やディジタルフィルタについての概要は飛ばし、フィルタ設計・評価に使えるサンプルプログラムを載せただけですが、何かに使えれば幸いです。 開発環境について $wmic os get caption >Microsoft Windows 10 Pro $wmic os get osarchitecture >64ビット $python -V Python 3.7.6 $pip list -V scipy 1.4.1 目次 開発環境について サンプルプログラム 評価用…

（以下の情報はすべて記事執筆時（2021/04）のものです） この記事ではanaconda有償化の影響を回避しながら高速化されたIntel MKL版のnumpyを簡単にインストールする方法を解説します。 2020/04にanacondaが大規模商用利用ではanacondaとdefaultsチャンネルの使用を有償化したことは有名かと思います。 これにより仕事でIntel MKL版numpyを手軽にインストール出来なくなりそうだったので、利用規約に抵触しない形で簡単にIntel MKL版numpyをインストールする方法を調べ、まとめました。 scipy、scikit-learnの高速化版も見つけた…

はじめに Python3のWaveファイルの入出力(read / write)には複数の方法があり，使用する際に毎回混乱するため，ライブラリごとの操作方法と，メリット・主な用途をまとめる． 対象 研究・開発で音データを利用する方 Scipy, Waveなどのライブラリの違いや，データの型の違いに混乱している方・ライブラリごとの比較をしたい方 MATLABなど別のプログラミング言語で音データを扱っていたが，Pythonで試す・変更する可能性のある方 とりあえずコピペすれば動作するwaveファイル読み書きのPython3コードが欲しい方 目次 はじめに 対象 目次 音声ファイルの読み書き Scip…

統計学の備忘録的な学習メモ（1）に引き続き、Python（Scipyなど）を用いた統計学の勉強に関するメモです。（2）では主に様々な分布および検定についてまとめています。個人的な備忘録の意味合いが強く、他記事と書き方が異なっており、説明なども少なめです。今後は予告なく内容を追加・修正するかもしれません。※環境はJupyter Notebookの想定です。 インポートするライブラリ 二項分布のプロット 二項分布を用いた検定 t分布のプロット t分布を用いた母平均の区間推定 1群のt検定 対応のある2群のt検定 対応のない2群のt検定（Welchのt検定） カイ二乗分布のプロット ピアソンのカイ二…

06/27(月) 午前11時半起床。日付が変わるまでに先週の週記を書き上げて投稿したいので、微妙な眠気を抱えつつも起きてしまうことにした。 まず今日が提出期限になっている課題を済ませる。ゲーム理論。今週の課題も簡単で、定義に従って計算するだけ。ただ戦略形ゲームの表を埋めようとしたらこの計算をあと15回繰り返さなければならないので、ちょうどよい難易度の問題がなかったのかなと思ったりした。一応教科書も毎回目を通しているので、それで少し時間はかかっている。 課題を終えてちょうど昼過ぎになったので学食に行こうとしたら、天気が不安定らしかった。確かに外は曇っている。急に雨が降り出したら嫌なので外出を取り…

自力での実装はできなかった。

目的 機械学習・レコメンデーション やりたいこと 対象のユーザーが好きそうなアニメを予測して、おすすめする 最終的に欲しいアウトプットイメージ userAは、●●（アニメ名）がおすすめ この予測モデルの精度は、▲▲（評価指標） 実装手順 ライブラリのインストール、インポート データのフィルター分け 予測モデルの作成 Content filtering Collaborative filtering 実装コード # google colaboratoryで実装するため、googleDriveとマウントする from google.colab import drive drive.mount('/…

いい加減時代の潮流に乗ろうということで機械学習を学びたいと思う。またRはともかくとしてPythonは未経験であるため、丁度良い書籍として統計的機械学習の数理100問 with R (with R) (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazon統計的機械学習の数理100問 with Python (機械学習の数理100問シリーズ)作者:讓, 鈴木共立出版Amazonを用いることにする。 前回 7. 決定木 7.1 回帰の決定木 7.1 回帰の決定木における論点 7.2 分類の決定木 7.3 バギング 7.4 ランダムフォレスト 7.5 ブースティング 7.6 Rによるシ…

SciPyとmatplotlibの学習で書いたコードです。実行すると2つの正規分布の解（根）を求め、グラフに交点から横軸への垂線を描画します。根の存在を前提としてコードを簡略化しています。ここではscipy.optimize.root_scalarを使用しますが、sympyを使う方法もあります。 import numpy as np from scipy.stats import norm from scipy.optimize import root_scalar import matplotlib.pyplot as plt #正規分布のPDF f1 = lambda x: norm.pd…

「外れ値は除外すべし！」と統計や機械学習ではよく耳にする（気がしている）。 外れ値の論理的な理解はさておき、いつものごとく実現損益データを使って実装してみる！ 目的 外れ値の除外 やりたいこと 実現損益データの実現損益額から、外れ値を除外する 使用するデータ 実現損益履歴 外れ値を除外する前の実現損益 外れ値を除外した後の実現損益 外れ値を除外する前の実現損益額 実装したコード # データの読み込みdf = pd.read_csv('realized_pl.csv', encoding='shift-JIS')# 目的の列のデータ型を変換df['実現損益[円]'].astype(str)df[…

プログラミング言語Pythonの数値計算ライブラリNumPyで行列、その計算をあつかう方法を見てみたいと思います。行列といえば連立一次方程式が思い浮かびますが、NumPyで方程式を解く方法は次の過去記事で解説しています。あわせて読んでみてください。pianofisica.hatenablog.com 行列の入力 行列の線形和・積・冪乗 行列の転置 複素係数の行列 行列の複素共役 行列の随伴共役 ベクトルの入力 ベクトルの線形和 ベクトルの内積 行列の固有値・固有ベクトル 行列式 行列の固有和（トレース） 逆行列 LU分解 コレスキー分解 QR分解 特異値分解 (adsbygoogle = wi…

ノック85 : データの分布をみてスケーリング手法を考えよう スケーリングとは、異なる範囲にあるデータを同じ範囲に統一する作業のことです。 データの扱い方によっては、スケールの大きなデータに引っ張られて、スケールの小さなデータの特長が結果に反映されにくくなります。小さな値の特長も機械学習に反映させるため、大きいデータを小さな値にスケーリングする処理が必要となります。 まず、describeで基本データを確認します。 import seaborn as sns from sklearn.model_selection import train_test_split import pandas a…

SciPyとmatplotlibの学習で書いたコードです。実行すると標準正規分布と下側・上側2.5%領域を描画します。 import numpy as np from scipy.stats import norm import matplotlib.pyplot as plt # 正規分布で使う平均値と標準偏差 mean_sd = (0, 1) # グラフのプロット plt.rcParams["font.family"] = "MS Gothic" #日本語表示対応 fig, ax = plt.subplots() x = np.linspace(-5, 5, 1000) #ax.axhli…

こんな感じのグラフを見ると、「なんか分析してる」って感じしますよね？（語彙が乏しくてすいません。） 下のような手順で、画像のようなグラフを描画してみようと思います。 ヒストグラム コード import matplotlib.pyplot as pltimport numpy as np# 対象データ(平均0、標準偏差10の正規乱数を1000個生成)x = np.random.normal(0, 10, 1000)# figureを生成するfig = plt.figure()# axをfigureに設定するax = fig.add_subplot(1, 1, 1)# axesにplotax.hi…

これは何？ WORLDって何？ インストール 試した 特徴量を抽出し、音声を合成 音声の変換 本命 参考サイト通り ちょっと改善？ とは思ったものの 次回予定 参考元 余談 これは何？ pyworldというライブラリで遊んだ時の記憶です。 未来の271108へ。 このライブラリに対するメモ書きではないのでいつか理解する日が来たらメモ書きをしてください。 WORLDって何？ 多分、「PyWorldVocoder」のこと。少なくとも遊んだ時の参考サイトにはそう書いてあった。 インストール pip install pyworld なお、参考サイトにはこう書いてあった。 先にscipyを入れておかない…