jupyterlab

概要 目まぐるしく変化しているように見える機械学習の開発環境の、とりあえず最先端と思われる一つを抑えておく。 いま興味がある転移学習を使えば、個人レベルでも面白いことができないかと思いチュートリアルから始めてみる。 各種インストール 事前にminicondaをインストールしておく Anaconda Promptを起動 conda create -n pytorch python=3.7 conda activate pytorch conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch conda ins…

メモ リモートのサーバーのdocker-composeを使って構築されたJupyterlabに接続できなくなったら，全端末を閉じて再sshで接続できないか試す． 下手にdocker-compose restart をするとカーネルが再起動されて面倒なことになるので注意．

みんな大好き金曜日。 1週間（正しくは5日間だけど）続けられた達成感もあってウッキウキ。 今回は機械学習に必要なデータの準備について説明していくよ。 そしてついに始まるプログラミング。 とりあえず機械学習してみたい！って方向けの自由に利用可能なデータを使った方法と、自分で用意したデータの形を整えて使う方法の2種類を紹介していきます。 本日の内容はコチラ↓ そもそも機械学習ではどんなデータを用意すればいいの？ （初心者向け）irisデータセットを使ってサクサク準備！ （中級者向け）自作のデータを整えてみよう！ ではでは早速始めていこう。 そもそも機械学習ではどんなデータを用意すればいいの？ 機械…

Plotlyは インタラクティブなグラフをかけるデータ可視化ツールです。 オフライン環境でhtml, pngに出力する方法、jupyterlabにインラインでグラフを出力する方法をまとめました。 環境 Ubuntu 20.0.4 Python 3.8.10 インストール グラフをhtml出力するためにplotlyをインストールします。 pip install plotly 次にグラフをpngで保存するためにkaleidoをインストールします。 pip install kaleido 最後にjupyterlabのインラインでグラフを描くためにjupyterlabの拡張機能をインストールします。 …

決定木アルゴリズムはロジックを可視化しやすいことがメリットです。 JupytarLabでもツリーの内容を可視化することができます。しかし、可視化するためにはGraphvizというソフトを使用するのが一般的なのですが、 そのインストールに一手間かかるので手順を記載します。 Graphvizをダウンロード 使用するためにはGraphiviz自体をWindowsにインストールする必要があります。 pipでもインストールできるみたいですが、venv等の仮想環境を使用している場合はいろいろ面倒なのでWindowsにインストール要です。 www.graphviz.org "not all tools an…

データサイエンスや機械学習の案件を進めるとき、皆さんはプロトタイプ開発に何を使ってますか？ PyQt5やTkinterなど、選択肢はいろいろあるかと思います。 私は、分析やモデル作成はJupyterlab上をやっているなら、そのままJupyterlab上でお客様に見せられるような簡易的なGUIが素早く作れたら楽だと思いました。 UI/UXを考えるのは、プロトタイプ作成⇔相手との認識合わせを繰り返してからでも良さそうだという考えです。 そこで、Jupyterlab上でインタラクティブな簡易GUIを作成できるipywidgetsを使ってみました。 今回は、ipywidgetsによるJupyterl…

参考ページ https://pypi.org/project/pytrends/ https://github.com/GeneralMills/pytrends https://dev.classmethod.jp/articles/pytrends_introduction/ インストール $ pip install pytrends コード from pytrends.request import TrendReq ## 日本時間に合わせるためにtzに540を指定する。tzは分の値を指定する pytrends = TrendReq(hl='ja-JP', tz=540) ## トレンドを…

pytorchの公式イメージをベースとしてスクレイピング系とboosting系を乗っける。 jupyter-labも使える。 想定としてはwebのデータをNN系とboosting系で機械学習する人向け。 自然言語系の環境も整えたいけどやったことないからだれか・・・chrome-driverのバージョンは自分が使っている(であろう)ブラウザから「ヘルプ→chromeについて」みたいなところからバージョンを確認して揃える。 ※2022年7/4時点では以下で動作確認。Dockerfile FROM pytorch/pytorch:latest ENV TZ=Asia/Tokyo RUN ln -sn…

背景 Jupyter Labは、初期設定のままだと、ローカル端末での使用を想定したものになっている。 リモートサーバー上のJupyter Labにリモートからアクセスするには、別途設定が必要となる。 検証環境 ローカルPC：mac OS 12.1 (Monterey) リモートサーバー：Ubuntu 20.04、Anacondaにてpython3.9.12を使用 1. Jupyter Labをインストールする Project Jupyter | Installing Jupyterに従う。 リモートサーバーにsshで入り、コマンドラインにて、 pip install jupyterlab を実…

SREの林です。今回は社内の面白い取り組みを紹介します。 その名も"MLOps勉強会"です。 MLOps勉強会の発足の経緯 MLOps勉強会での学び MLOpsが事業に貢献できるかは慎重に考える Amazon SageMaker への興味 まとめ Photo by Markus Winkler on Unsplash databricks.com "MLOps"が何かは上記のリンク先が詳しいですが、一部を引用すると以下の通りです。 MLOps stands for Machine Learning Operations. MLOps is a core function of Machine …

真剣にFXの勉強を始めてから1ヶ月半が経ちました。「よくわかんないけどとりあえず機械学習に手を出してみるか」というスタート時の状態からようやく方向性が固まってきたので、この1ヶ月半でしたことを振り返ってみます。 ①機械学習の勉強と準備 全くの未経験だったので本を買って基礎から勉強しました。最低限の知識を身に着けたところで環境を構築（Python+JupyterLab）し、FXTFの口座を持っていたためそこからヒストリカルデータをダウンロードしました。 ②データ加工 データ加工はpandasではなくVB.NETで行うことにしました。理由はpandasだと本格的なデータ加工ができないと思ったのと、…

こんにちは。ksr_cyclです。 少し前にアカウント作成を行い、そのままになっていたので、 今日はSageMaker Studio Labを触ってみたいと思います。 SageMaker Studio Lab 似たようなサービスでGoogle Colaboratoryがありますが、現在はPreview版ということもあってColabのような有料版は無く、 無料版のみになっています。 利用にあたっては、トップ画面からアカウント作成のリクエストを行います。 稀にリクエストが通らないことがあるようですが、 私の場合は、リクエストから数日でアカウント作成が行えました。 ログインすると以下の画面になります…

Pythonの環境構築が難航している 途中経過をメモ 教材がコマンドプロンプト、anaconda3(jupyternote or jupyterlab)、googecolaboなどバラバラなので、知識が散逸する。 jupyternotebookでKaggle dataset（titanic）をダウンロードして表示する方法 jupyterNotebook を起動する方法 anaconda3を起動して選択するかコマンドプロンプトでjupyter notebookを呼び出す

こんにちは。AS部DS1課の戸塚です。 以前Papermillを使う機会があったので、本記事ではPapermillの特徴や用途について書いていきたいと思います。 Papermillとは PapermillはJupyter Notebookをバッチ実行するためのツールです。 Papermillを使えば，ノートブックに引数を与えた上でバッチ実行できるため，パラメータごとにノートブックを作成せずに済みます。 また、S3上のNotebookを直接に読み書きする機能を持っており、実行結果をS3上にNotebookとして保存することができます。 JupyterLabとは Jupyter LabとはJupy…

お久しぶりです． 今回は音楽の話ではなく，プログラミングの話題です． 開発環境を手軽に構成・削除できるDocker環境上でJupyter Labを立ち上げ，ホストOS側のブラウザ（＝Dockerコンテナの外）から利用できるようにする方法を紹介します． 環境 準備 手順の概要 1 作業フォルダの作成 2 Dockerfileを作成 3 docker-compose.ymlの作成 4 requirements.txtの作成 5 Dockerイメージの作成・コンテナの起動 6 トークンを取得し，JupyterLabにアクセス Dockerコンテナの停止・再開など 後からNode.jsとnpmをインス…

はじめに 本記事では、Pythonで使用するモジュールを一式インストールする方法を紹介します！ Pythonで使用するモジュールを一つ一つ打込んで、めんどくさいし、時間がかかっているということはないですか？この記事はあなたのそんな悩みを解決します！ この記事を読むと手間のかかるモジュールのインストールを自動化・時短化して、あなたの時間を作り出すことができます！ 最後に一般的なモジュールを自動的にインストールするバッチファイル（.bat）を公開しているので、ぜひ確認してみてください！ はじめに Pythonとは？ Pythonでのモジュールとは？ Pythonモジュールを一式インストールするバッ…

jupyter labの拡張機能であるVariableInspectorをインストールする際にいくつか詰まった点 インストールのためのメモ インストールのための必要条件 git拡張を外す pip uninstall jupyterlab-git gitdb GitPython latex拡張を外す：自分の環境には入っていなかったが、そうらしい ver 3.0.7を使う：ver 3.0.9では‘AppOptions’ object has no attribute ‘extensions’が発生 jupyter labextension install @lckr/jupyterlab_vari…

'22/04/13更新：堅牢性のためにエラー処理などを追加 本記事では、下図のようにホテル情報を抽出する雛形コードを載せました。使用するライブラリは「requests」です。 はじめに、楽天IDが必要なので、登録してない場合は登録します。そして、次のリンク先にアクセスして、楽天にログインします。https://webservice.rakuten.co.jp/documentation 次に、APIを使うにはApplication IDを取得する必要があるため、下図右上の「New App」をクリックします。 すると、下図のような登録画面に切り替わります。ここではWeb APIと連携するアプリ名…

キノコードさんの「徹底解説」 "windowsでの環境構築"を参考にプログラミングできる環境を構築していく！ https://www.youtube.com/channel/UCGlgXjYVoHLD86TQQ799WIw しかし３日×２時間かけてもできない。。 せっかくインストールしたアプリを アンインストールしてインストールしてのルー－－－プ◎◎◎ 私はdockerを使わずにやろうと思っているのですが ①anaconda pythonのディストリビューション jupyterlabなどのツールが含まれる ②visual studio code プログラムを書くためのエディタ ③visual …