AWK

データを読み込んで、ある列とある列を掛算して、ファクターかけたりするのに、 わざわざコンパイルするほどのことでもないかなぁ〜と思って最近はawkを使うことがよくあるたぶんコンパイルした方が実行速度も早いけど、コードを書いて、makefileを用意して、さらにそれらをぶん回すシェルスクリプトを書くなら 最初からシェルスクリプトでawkを1行書いた方が早く終わりそう・・・・もちろんシェルスクリプトに書かずにawk用のスクリプトを用意してawk -f hoge.awkとかで食わせるのもありだと思う・・・ たぶんそうする利点は、awkファイル特有のインデントなどをきちんと使えるとか？知らんけど話をタイ…

こんにちは、データサイエンス部の荻です。 はじめに データサイエンス部で隔週の社内勉強会を行っており、その内容を共有します。 今日は、データの受領・前処理・納品などで時短になる、簡単なシェルコマンドで解決する方法を紹介します。 前回の記事の続きになります。 データ分析のためのシェルワンライナー入門1（カラム名が同じCSVファイル複数のファイルを一つのファイルにまとめる） - SENSY Product Dev Tech Blog データ分析のためのシェルワンライナー入門2（大量のエクセルファイルを全連結して、csvで吐く） - SENSY Product Dev Tech Blog 今回の課題…

こんにちは、データサイエンス部の荻です。 はじめに データサイエンス部で隔週の社内勉強会を行っており、その内容を共有します。 今日は、データの受領・前処理・納品などで時短になる、簡単なシェルコマンドで解決する方法を紹介します。 今回の課題 「顧客からデータを受け取る際、データが大量で10〜20ファイルに分割されたCSVファイルが送られてきた」 これらのデータを処理する際に、Jupyterで開くにしても、RDBに登録するにしても、データを一つのファイルにまとめたいですよね。 そこで、コピペで完了するシェルワンライナーを作成しましたので、その活用方法と使用方法をご紹介します。 コマンド awk '…

LinuxやMacでログを整形するときに、awkをよくつかっているのですが、後ろの行から何行目のみを取得したいときがあって、調査したら、以下の方法で取得できるようです。 awk -F'\t' '{print $(NF-1), $NF}' input_file タブ区切りにしてます。 後ろから１行目、２行目を指定してます。 input_fileは、整形したいファイル名をいれてください 忘れそうなので、メモとして残しときます。

それでは表題の通り、awkコマンドで疑似乱数を使ってみる srand()でまず初期シードを与えて、rand()で乱数を出力させるsrandに何も引数を与えないと、現在時刻が初期シードになる randの返り値は0から1の実数0から100までの整数の乱数が欲しい場合は int(100*rand()) とすればよい ------------ これを使ってデータを作成してみる awk 'BEGIN{srand(0); for(j=0; j<5; j++){ for(i=0;i<5;i++){ print j, i,int(100*rand()) }print "" }}' > hoge.txt 1行に…

awkにはcosやらsinやらexpやらintやらよく使われる関数が一通り揃っている しかし今回10を底とするlog xが欲しかったが、そのままでは出てこなかった 調べてみたら awk '{print log(x)/log(10)}' hoge.txt でよかった なんでこうなるかは、高校2年生で習いましたね(底の変換公式・・・・だよね？) ちなみになんでこんなことをしようとしたかは、ROOTで横軸をlogにしてからヒストグラムを取りたかったから自分の設定ではヒストグラムを取ってから横軸がlogになってしまう・・・・

Zenn に書きました。 zenn.dev