KNIME

・"Excel Writer"などの出力系ノードは、その先がない。 ・ループする際は、ループしたい領域をLoop StartとLoop Endで挟むが、Writer系のノードを繰り返したい場合はどうすれば良いか？ ⇒ Loop Endで作った表は無視して、Loopで挟んだ領域からWriterを生やしてしまえば良い。 ・例えば、EXCELを読み込んで、EXCELを書き出すだけのワークフローを作成した（下図）。 ・実行すると、Loop EndからLoop Startまでを何度も繰り返すので、結果としてWriterも繰り返される。 ・Loop EndでKNIMEが頑張ってpileしてくれているデータ…

はじめに 覚えてほしいこと やりたいこと - XPath XMLとは？ 事前準備 - GET RequestでサイトマップをXMLで取得 XPathの使い方 Workflow - XPath Confirm - XPath Configure - Xpath Step1 - XML Column - 対象のXMLコラムを指定 Step2 - XPath Summary - 抽出ルール指定 ちょっと一言 Multiple tag optionsの種類について おわりに KNIMEに関する本 参考リンク // はじめに こんにちは、まっきーです。今回は「XML構造を簡単に分解するNode」を解説し…

・人間がデータを俯瞰する際には、Matrix形式の表（あくまでイメージだが、2つの従属変数、1つの目的変数に対して、従属変数の1つを縦に、もう1つを横に、目的変数を値として展開した表）で表現すると見やすい。 ・一方で、データベースなどを取り扱う際には、List形式の表（複数の従属変数と1つの目的変数に対して、従属変数を総当たりで縦に列挙し、それに応じた目的変数を書き連ねた形式の表）の方が都合が良い。 ・Matrix形式の表をList形式に変換する際には、pivotやunpivotなどのノードを使う。 ・だが今回は、なんとなくこれらのノードを使わずにMatrixをListに変換するワークフローを…

・例えば、表から列を抽出する際に、"Column Filter"をよく使う。 ・flow variableで抽出する列を操作する場合に、ひとつの列を抽出するだけなら、適当に表を作成して"Table Row To Variable"ノードで変数化すれば良い。 ・複数の列を抽出したい場合はどうすれば良いか。 ・少し調べてみたところ、"Create Collection Column"が便利なようだった。 ・どういうノードかというと、複数の列をくっつけてListにした列を作成するというもの（下図）。 ・複数の条件を一つのセルの中に押し込められるので、結構便利。 ・「ループ変数＋固定値」で抽出する列名…

・いろいろな人が、同じフォーマットでEXCELシートのレポートを作成し、それが一つのフォルダに無造作に放り込んであるとする。 ・特定のフォルダ中のすべてのEXCELファイルのすべてのEXCELシートを纏めるワークフローを作りたい。 ・ついでに、データのソースがどのファイルのどのシートか追えるようにしたい。 ・作成したワークフロー（一例）。 ・大まかなステップとしては、①フォルダの中のファイル情報を収集する、②ファイル情報をもとにシートの情報を収集する、③個々のシートを読み込みをファイルごとに繰り返す、④個々のファイルの読み取りをすべてのファイルで繰り返す、という感じ。 ・ついでに、ファイルとシ…

・"column filter"などのノードの設定ウィンドウで、enforce exclusionとenforce inclusionを選ぶラジオボタンがある。 ・基本的に何も弄らずデフォルト（enforce exclusion）を使っていた。 ・元のデータが変わる際にエラーの原因になるようなので、忘れないように残しておく。 ・例えば、tableから"column filter"でcolumn3を抜き出す場合を考える（下図）。 ・includeにcolumn3を持ってきて、その他をexcludeに持ってくる（下図）。 ・デフォルトだと"enforce exclusion"が選択されており、この…

・データ登録ワークフローでは、"Column Merger"を追加したいデータの種類（列数）の分だけ用意しなければならなかった。 ・追加したいデータの種類が登録するたびに変わったり、多くの種類のデータを一度に登録したい場合、このやり方には限界がある。 ⇒ Loopを使って、汎用性を上げたい。 ・作ったワークフロー ・今回使用したLoopは"Recursive Loop"であり、直訳すると「再帰ループ」。Endまで行ったら、Startにデータを返すLoopを使用した。 ・通常のLoopは、くるくる回るというよりも、何度も実行するというニュアンスの方が強い。 ・Loop内では、①統合する「列名」と…

Patcore, Inc. 2021年の1QにMarvin Sketchのアップデートがあり、Marvin Sketch上で各種化学計算を行えるようになりました。これまでCalculator Pluginsのライセンスを持っていないと正規版として利用できなかったのですが、その制限がなくなったため、Marvin Sketchのライセンスを持っているだけで利用可能になります。つまり、アカデミックライセンスをお持ちの場合は無料で利用できます。Marvin 21.x以降のバージョンが対応していますので、古いバージョンをお使いの方は最新化をお願いします。 この変更により、化学構造を描画すると同時に物理化…

・業務上、基本的にデータはEXCELで取り扱っていおり、私のEXCELの使い方では埒が明かない際には、KNIMEを使っている。 ・EXCELマクロ（やPython）を使いこなすことができればKNIMEを使わなくても大抵の問題は解決しそうだが、私はプログラマーではないし、プログラム言語を使いこなすだけのコストをペイできるほどデータ取り扱い業務が多くない。 ・私のデータ取り扱いツールの位置づけは、基本的にEXCELのショートカットと関数でできるだけのことは実行し、厳しそうならチープなマクロで対処するか、KNIMEで捏ね繰り回す、という感じ。 ⇒ 習得の難易度が低いツールでなるべく何とかしよう、とい…

はじめに 覚えてほしいこと 使用環境 Homebrewのインストール方法 Step1 - ターミナルを開く Step2 - Homebrewのトップページに書かれているコードをコピペする Step3 - パスワードを入力してインストール開始 Step4 - Next Stepに書かれているコードをコピペする Step5 - インストールが完了しているか確認する ちょっと一言 Warning: /opt/homebrew/bin is not in your PATHとは？ おわりに Mac M1購入者におすすめするガジェット おすすめTypeC変換器： 7 in 1 TypeC変換器 その２：…

はじめに 覚えてほしいこと やりたいこと 事前準備 Google Drive Connectorの使い方 Workflow Confirm - Google Drive Connector Configure - Google Drive Connector 注意点 Google Drive ConnectorとExcel Readerの繋ぎ方 Excel Reader / Excel Writer - ポートの増やし方 Excel Reader v4.3の使い方 Workflow - Excel Reader Configure - Excel Reader Step1 - Input Lo…

はじめに 覚えてほしいこと やりたいこと 事前準備 Googleスプレッドシートを用意 Google Authentificationでアカウント認証 Google Sheets Connectionでスプレッドシートを読み込みます宣言 Google Sheets Reader / Google Sheets Writer の使い方 Install - 前準備 Workflow Confirm Confirm - Google Sheets Reader Confirm - Google Sheets Writer Configure - Google Sheets Reader Step1 …

はじめに 覚えてほしいこと - Selenium print option やりたいこと - Web Page もしくはhtmlをPDFに自動変換 きっかけ - 無料ブログのデメリットへのリスクヘッジ - Webページの自動バックアップ 使用環境 全体フロー Step1 - 必要モジュールのImport Step2 - 印刷オプションの設定 - Chrome Driver Print Option Step2.1 -appStateの定義 Step2.2 -prefの定義 - appStateを引数に格納する Step2.3 -chopt の定義 - Chromeのオプションとして格納 Ste…

・KNIMEでデータを渡したり、変数として指定する際に、データの型を用途に合わせる必要がある。 【よく使うデータ型】 ・string：文字列。汎用性が高い。空欄とかもデフォルトで文字列と解釈される。 ・integer：数字（整数）。Javaだと32ビットなので、だいたい±2^31。±20億くらい？ ・double：数字（少数とかの実数全体）。 ・long：数字（桁数の多い整数）。Javaだと64ビットなので、だいたい±2^63。 ・Date&Time：日時。 ・boolean：true/falseもしくは1/0。基本的に変数として使うっぽい。 ・path：ファイルパスのための型。基本的に変数と…

はじめに 覚えてほしいこと やりたいこと - Google API Nodes 拡張機能のインストール方法 Step1 - 使ってみたいNodeをNode Pitで見つける Step2 - Preferenceに対象のUpdate Siteを追加する Step2.1 - Preference（設定）を開く Step2.2 - Available Software Sitesに対象のURLを追加 Step3 - Install KNIME extensions... 希望の拡張機能を指定してインストール Step3.1 - File>Install KNIME extensions... を開く…