AWK

AWK は非常に強力な言語なのですが、残念なことに標準の関数として四捨五入を行うことができません。 そこで今回、任意の桁に対して四捨五入を行う方法をメモしておこうと思います。 小数点以下で四捨五入する 任意の桁で四捨五入する おわりに 小数点以下で四捨五入する つまり、小数点第1位の数を四捨五入することを考えます AWK にはint(x)が用意されているので、それをうまく使います。 元の数に対して 0.5 を足したもののintをとってあげる（整数部分のみ取り出す）と、元々の小数点いかが 0.5 以上のもののみ、1つ上の整数になり 0.4 以下と差別化できることがわかります $ echo 3.1…

ワンライナーで awk 内で for 文を回したくなることが多々あるのですが、いつも方法を忘れるのでこれを機にまとめておきたいと思います。 基本的な使い方 各行の和を求める （おまけ）九九表を作る おわりに 基本的な使い方 基本は、 for( i=<start>; i<=<end>; <increment> ){ action } の形をしており、他の言語と似ていると思われます。 以下では 1 から 5 までループを回し、そのインデックスを出力させています。 $ awk 'BEGIN{for(i=1; i<=5; i++){print i}}' 1 2 3 4 5 余談ですが、上記のように入力…

awk で小数点以下を含む計算するときの注意 少数を含む計算の注意点 小数点以下が有限の桁で記述できないような少数は、ある程度の桁数で近似を行うしかないため、以下のような（一見）不思議な現象が起きます。 $ awk 'BEGIN {print int(70.21 * 100)}' 7020 # なお、整数部分の桁数に依存するようです $ awk 'BEGIN {print int(30.21 * 100)}' 3021 $ awk 'BEGIN {print int(1000.21 * 100)}' 100021 これは awk が特別なのではなく、python でも同様のことが起こります。 …

AWKの勉強用ファイルをコマンドラインから作ろうとして苦戦したので、できるまでに調べたこととかをまとめる。自分がたどった軌跡をそのまま書くので見るに堪えない。備忘録、感想文。 勉強用ファイル：awkで操作する用のファイル。/usr/binディレクトリの中の普通のファイル（test -f でひっかかるタイプの(ディレクトリとか、リンクとかでない)）の名前とサイズを並べたファイル。 １行コマンドラインでエレガントに作りたかったけど、到底できませんでした。 なので大きく4つのステップで実行していった。 binディレクトリ配下のファイル名を抽出してまとめた一覧ファイルを作成する。 一覧ファイルを整形し…

awk 入門 awk の使い方を簡単に紹介し、「awk 何それ？」っていう状態から「awk 使ったことあるよ」っていう状態になることを目指します。 awk 入門 awk オプション 基本パターン 各フィールドへのアクセス方法 pattern の記述方法 特殊な pattern 省略形 変数 awk 組み込み変数 環境変数 String メソッド よく使う関数一覧 使用例 Numeric メソッド よく使う関数一覧 使用例 おわりに awk ファイルもしくは標準入力から渡された文字列を、パターン解析し処理していくような言語です。 「ワンライナーで、パイプの一要素として使う方法」と「１ファイルに …

タイトルの通り。windows(wsl2)での開発環境を構築し始めてて、なんらかのコマンドでawkのversionが上がってしまって、以下のwarnがでるようになってしまった。（たぶん $ apt update -y かな、、？） warningなので、実行はできるものの、毎回出てくるの気持ち悪い。 調べると、awkは2019年に8年ぶりのメジャーアップデートをしたとのこと。その流れでubuntuのupgradeでversionが上がってしまった、のかな？ awkのversionは、 $ awk -V GNU Awk 5.0.1, API: 2.0 (GNU MPFR 4.0.2, GNU M…

いままでこんな状態だった 雰囲気で株をやっているジェネレーター ので、標準正規表現と拡張正規表現の違い、それからgrepとsedとawkをざっくり勉強し直しました。 せっかくなので、役に立ちそうなことと感じたことをブログに書き残しておきます。 まとまりのない記事になりましたが、僕と同じく雰囲気で使っている方の学習のきっかけになれば。

はじめに インフラエンジニア初学者のぽれいんと申します。 転職する前はプログラミングスクールにて主にHTML、CSS、Ruby、MySQL等について学びました。 ※このブログでは自分が後々、見返すことができるようにまとめることを目的としていますが、もし需要があるようでしたら是非ともご覧ください。 <前回の記事> porain.hatenablog.com <参考記事> awkコマンドの基本 - Qiita sedコマンドの備忘録 - Qiita uniqコマンドについて詳しくまとめました 【Linuxコマンド集】 はじめに date awk 区切り文字の指定 sed wc cut sort u…

こんにちは、GX 推進グループの平井です。CTF について書こうとも思ったのですが CTF についての記事はたくさんあるので、 ちょっとマニアックではありますが OpenVPN について腰を据えてじっくり読んでみようかと思います。 マトリックス、007のようなシリーズものになるかもしれません。 リポジトリやソースコード OpenVPN の GitHub リポジトリはこちらです。 github.com2021年10月11日時点での最新バージョンは2.5.4で、最新版のソースコードはこちらからダウンロードできます。 openvpn.net 拡張子ごとのファイル数 blog.tech-monex.c…

LinuCエヴァンジェリストの鯨井貴博@opensourcetechです。 WSLとは？ WSLは、Windows Subsustem for Linuxの略で、 WIndows環境でLinuxを実行する機能です。 docs.microsoft.com https://docs.microsoft.com/ja-jp/windows/wsl/about WSLの用途や対象ユーザーは？ 以下に書かれていますが、 "主に開発者、特に web 開発者、オープンソースプロジェクトでの作業、または Linux サーバー環境へのデプロイのためのツールです。 wsl は、Bash、一般的な linux ツー…

直前のコマンドを引数を変えて実行 例えば以下のように、1-10 までの素数を求めるワンライナーがあります。 $ seq 10 | factor | awk 'NF == 2' 動作を確かめた後で様々な数値で試したいとき、そのまま 10 を書き換えてもよいですが以下の方法があります。 $ !!:s/10/100 $ fc -s 10=1000 $ ^10^10000 以下のように for 文にも使えます $ for i in {1..3}; do echo $i; done 1 2 3 $ ^3^12 for i in {1..7}; do echo $i; done 1 2 3 4 5 6 7…

Kubernetesを雰囲気で使わないための修行Kubernetes The Hard Way On VirtualBoxの6日目。 今回はKubernetes のControl Planeを作成します。 いよいよそれっぽくなってきました。 Bootstrapping the Kubernetes Control Plane 今回は高可用性のために2つのインスタンスにControl Planeを設定します。また、Kubernetes API Serverをリモートクライアントに公開するためのロードバランサも作成します。 以下のコンポーネントが2つのノードにインストールされます Kubernet…

シェルスクリプトで標準出力・標準エラー出力を全てログに書き込みたかったり。 エラーだけ取りたかったり、そうではなかったり。画面表示もさせたかったり、そんな悲しい時。 exec にリダイレクトを指定し、シェルスクリプトのリダイレクト先を変更してログに流し込んだり。 tee でログの書き込みと標準出力を行わせたり。 サンプル１ 「exec &>」で 標準出力・標準エラー出力 をログに書き込む時。 #!/bin/bash log=/usr/local/var/log/gorira/$(date '+%Y%m%d-%H%M%S').log exec &> >(awk '{print strftime(…

10/04(月) 正午起床。寝ている間に大学院科目の先行履修の書類が受理されたとのメールが来ていた。一安心。 手癖でYouTubeを開くと、チュウニズム14新曲のAJ動画が投稿されていた。2人目が出たらしい。 www.youtube.com シャワーを浴びて学食に行く。先週金曜日から秋学期が始まったということで生協の営業時間も更新されており、学食の昼の部は30分伸びて午後2時まで営業しているので、かなり余裕があった。帰ってきてから1時間くらいかけて溜めていた分の日記を書き、投稿した。 それから夕方のインターン先の定例会までは、それに向けた作業をしていた。とりあえず進捗報告用のスライドを1ページ…

みなさんどうも 高配当株＆グロース株のハイブリッド長期投資戦略で、海外移住を夢見る米国株投資家アイアーンマンです！ ９月に入り日経が爆上げで絶好調！と思いきや中国恒大集団デフォルト問題、FOMCでのテーパリング開始時期が迫りつつあることなどが要因で軟調な展開となってきましたね。 １０月もまだまだ不安定な相場が続く状況です。 ここで意識されるのが 株価の暴落が本当に起こるのか？ 暴落が起こるとすればいつ？ ということじゃないでしょうか？ 特に投資をはじめたのが昨年のコロナショック以降の方だと、暴落未経験なので気が気じゃないのではと思います。 自分自身株式投資をスタートしたのが２０１９年春からだっ…

今回は、Shift_JIS と utf-8 の変換などについて扱います。 [目次] 文字コード xxd で実験してみる 元に戻す １バイトずつチェック 2進数から文字列を復元 nkf Shift_JIS のファイルを UTF-8 に変換する UTF-8 のファイルを Shift_JIS に変換する おまけ まとめ おまけ：アルファベットは大文字で おわりに 文字コード 以降で扱うために必要な、文字コードの知識・並びに Linux の標準文字コードである utf-8 を簡単に説明します。 あまり詳しくないため、その辺はご容赦ください。 xxd で実験してみる # 16 進数ダンプ等をしてくれます…

TSUBAMEみたいな、UGE*1*2でジョブ管理している計算機に大量のジョブを投げたは良いものの、qstatで一覧を見てもどれがどの計算だかわかんねえやこれってなる人いますか？私のことです。いやジョブ名なりスクリプト名なり変えろよって話なのかもしれないですけど（みんなどうやっているんだろう）。 自分の場合、分子動力学とかをやっているのだが、条件が違うだけでやっている計算は同じという事も多い。それ故ジョブスクリプト名は使いまわしで、ディレクトリを変えてジョブを投げるタイプ。ジョブ名を付けていたこともあるがそれはそれで面倒。というかファイル名を変えるとえらいことになるタイプなので…。メールオプシ…

複数行の出力を加工してコマンドに適用します。 タグが付いていないイメージを削除 xargs -L 1 docker images | grep "<none>" | awk '{ print $3 }' | xargs -L 1 docker rmi

使用文字列 docker images で出された文字列 REPOSITORY TAG IMAGE ID CREATED SIZE name latest abcdefghijkl About a minute ago 615MB <none> <none> abcdefghijkl 3 minutes ago 615MB <none> <none> abcdefghijkl 5 minutes ago 615MB 使用 docker images | awk '{ print $3 }' IMAGE abcdefghijkl abcdefghijkl abcdefghijkl