AWK

今このThinkPad T42のスペックではsqlを使えないみたい。

[目次] AWK で約分 （おまけ）ruby, python なら一瞬 おわりに AWK で約分 方針： 素因数分解して、分子の素因数は +1, 分母は -1 とカウントして、AWK の連想配列に突っ込む 最終結果として、a[] の値がプラスのものはその数だけ分子に、マイナスのものは分母にもっていく (例) 6/8 を約分してみる $ echo 6/8 | tr '/' '\n' | factor |\ awk 'NR == 1{for(i=2; i<=NF; i++){a[$i] += 1}} NR == 2{for(i=2; i<=NF; i++){ a[$i] -= 1}} END{fo…

こんにちは マネックスラボのMです。 今日はawkについて語っていきたいと思います。 マネックスラボではMONEX VIEW、MONEX VISON、MONEX 投資力診断などのサービスを開発していますが 開発の過程でデータ確認を行うことがよくあります。そして私はデータ確認にLinuxコマンドを多用します。 Linuxコマンドの中で最も優秀なのってなんでしょうね。 というソシャゲの最強キャラを言い争うような発言はしたくありませんが、 私はawkが好きです。優秀かどうかというより好きって表現が似合いますねawkには。 実は別にawkに詳しいわけでもありませんので、語るというほどの事もなく、 今日…

AWK は非常に強力な言語なのですが、残念なことに標準の関数として四捨五入を行うことができません。 そこで今回、任意の桁に対して四捨五入を行う方法をメモしておこうと思います。 小数点以下で四捨五入する 任意の桁で四捨五入する おわりに 小数点以下で四捨五入する つまり、小数点第1位の数を四捨五入することを考えます AWK にはint(x)が用意されているので、それをうまく使います。 元の数に対して 0.5 を足したもののintをとってあげる（整数部分のみ取り出す）と、元々の小数点いかが 0.5 以上のもののみ、1つ上の整数になり 0.4 以下と差別化できることがわかります $ echo 3.1…

awk で小数点以下を含む計算するときの注意 少数を含む計算の注意点 小数点以下が有限の桁で記述できないような少数は、ある程度の桁数で近似を行うしかないため、以下のような（一見）不思議な現象が起きます。 $ awk 'BEGIN {print int(70.21 * 100)}' 7020 # なお、整数部分の桁数に依存するようです $ awk 'BEGIN {print int(30.21 * 100)}' 3021 $ awk 'BEGIN {print int(1000.21 * 100)}' 100021 これは awk が特別なのではなく、python でも同様のことが起こります。 …

AWKの勉強用ファイルをコマンドラインから作ろうとして苦戦したので、できるまでに調べたこととかをまとめる。自分がたどった軌跡をそのまま書くので見るに堪えない。備忘録、感想文。 勉強用ファイル：awkで操作する用のファイル。/usr/binディレクトリの中の普通のファイル（test -f でひっかかるタイプの(ディレクトリとか、リンクとかでない)）の名前とサイズを並べたファイル。 １行コマンドラインでエレガントに作りたかったけど、到底できませんでした。 なので大きく4つのステップで実行していった。 binディレクトリ配下のファイル名を抽出してまとめた一覧ファイルを作成する。 一覧ファイルを整形し…

awk の連想配列の機能を使って、（シンプルな）uniqコマンドと同様の機能を実装できることが分かったので紹介したいと思います。 uniq コマンドとは awk による uniq の実装 連想配列？ 使い方 おわりに uniq コマンドとは awk の前にまず、uniqコマンドの復習からしましょう。その名の通り、重複のないユニークな値のみを取り出すコマンドです。 注意点として、uniqに渡す前に各行がソートされている必要があります。そのため、sort | uniqで１セットだと思っても間違いないと思います。 # sort しておかないと失敗する echo -e '1\n2\n4\n2\n1' …

www.youtube.com 上のやつです。「PowerShell一行自動化(Automation)ちゃんねる」という題で、PowerShellのtips動画(たまに考え方を発信した動画)をYouTubeに上げています。(このブログ経由での流入を期待です🙏🏻) YouTubeは今はエンタメが主流だと思うんですが、もうブログもどんどんみられなくなっているし、ブログよりも動画で何か発信するほうが将来性ありそうなので、日本語、英語の2言語対応でYouTube動画を作っています。あとは、技術系もブログやドキュメントより(公式の)動画見た方がざっくり理解する上ではわかりやすいと思っています。 やっぱり…

バージョンアップによるbuild結果の差分を見るときなど特定のディレクトリ内の全ファイルを md5でchecksumを取得して差分が出てるファイルを特定できると便利なのでやり方をメモ🗒 mac ubuntu 参考 mac ls -Fd $(find $FIND_PATH)で特定ディレクトリ以下のファイル + ディレクトリを取得し、 grep -v "/$"でディレクトリを除外、xargs md5でchecksumを取得します。 ファイル名 + checksum FIND_PATH=$PWD ls -Fd $(find $FIND_PATH) | grep -v "/$" | xargs md5…

この記事ではGitの派生元ブランチ(親ブランチ)の特定と変更方法を紹介します。 間違った親ブランチからブランチを作成してしまいコミットもしてしまった時などに有効です。 派生元ブランチの特定方法 $ git show-branch | grep “*” | grep -v "$(git rev-parse --abbrev-ref HEAD)" | head -n 1 | awk -F'[]~^[]' '{print $2}' grep "*"：*がついてる行のみ表示 grep -v "$(git rev-parse --abbrev-ref HEAD)"：カレントブランチを除外 head -n…

問題１０５ ディスク使用量の集計

参考記事 serverあれこれ: Raspberry Pi(Raspbian Buster)/Debian 10(Buster)にDokuWikiをインストールする sudo apt-get -y install php7.3 libapache2-mod-php7.3 apache2 php7.3-mbstring php7.3-xml wget http://download.dokuwiki.org/src/dokuwiki/dokuwiki-stable.tgz tar xvfz dokuwiki-stable.tgz sudo mv dokuwiki-2018-04-22b /var…

前回の記事では --project を毎回渡せという主張を展開していたけど切り替える話。 blog.pokutuna.com gcloud コマンドには構成を管理するサブコマンド gcloud config configurations がある。管理するプロジェクトが多くない場合は、カレントプロジェクトを設定しつつ切り替える運用でもよいのではないでしょうか。 また、複数の Google アカウントを切り替える場合も configuration を作って切り替えるのがいい。カレントプロジェクトは設定しない派だけど、個人の @gmail.com と勤務先の Google Workspace のログ…

06/13(月) 先週は週記を投稿してすぐ布団に入った。午後0時半就寝。 午後4時過ぎ起床。あまりの眠気に体が動かず、5分おきにセットしていた目覚ましに助けられ何とかインターン先定例会の前に布団から這い出た。先週もほとんど何もしていない。昨日の夕方から回していた学習は未だにlossが下がり続けていたので、ログ出力から途中経過を見てそれっぽいことを言ったりしてお茶を濁した。 勉強会はリファクタリングの話。こういうのは宗教的な要素を多分に含んでいて、自分の感覚と合わないものも多い。競プロをやっていて書き捨てのコードばかり触れているからと思っていたが、実は統合開発環境を使わずほぼ素のVimだけでコー…

問題１１１ ロードアベレージの調査

golang/goのissues傾向を調べるため、パッケージなどprefixごとにどのくらいのissueが作られているのかを簡単&ざっくりですが調べてみました。 # Github API(v3) から愚直にpagingしつつissueを取得します # credentialなしでも叩けますが、rate limitが緩和されるので付与(credentialなしで60/h,ありで5000/h) $ for i in {1..600}; do curl -XGET "https://api.github.com/repos/golang/go/issues?page=$i&per_page=100&s…

2022-06-19現在のステータス。 https://eel3.hatenablog.com/entry/2021/06/20/211327 から1年経て、こうなっている。なおCSS、HTML、XMLはひとまず除外する。人工言語ではあるけれども「プログラミング言語」という括りに含められるか否かは議論が分かれる気がする。*1 よく使っている AWK (Gawk) 単純なテキストレコードの処理はAWKで十分間に合う。今の時代、自作ツールをnawkやGNU awk単体で実装するのは苦行すぎて*2皆無なものの、シェルスクリプトやMakefileにAWKのコードを埋め込むなどして他のコマンドと組み合わ…

1.3.f xargs 1.3.g bash 1.4.a find 問題1 問題3 rename ls-U 1.3.f xargs xargsはコマンドに引数を渡し実行するはたらきをします．以前は出力を横に表示させるはたらきをしていましたが，これはxargsの引数が指定されなかった場合はechoを実行する仕様を使った物です． 1.3.g bash bashをコマンドとして使う事でワンライナー上の出力をコマンドとして実行する事が出来ます．awkを使ってmkdir ...という文字列を出力します． $ seq 4 | awk '{print "mkdir "($1%2 ? "odd_" : "ev…

特定の文字列以降を抽出したい 以下のように”abcd123ABCD=123ABCD”という文字列があったときに、"="以降の文字列を抽出する。 $echo "abcd123ABCD=123ABCD" | awk '{print substr($0,index($0,"=") )}' =123ABCD "="からカウントして2文字だけを表示する場合は、以下のように記載すr。 $echo "abcd123ABCD=123ABCD" | awk '{print substr($0,index($0,"=") ,2)}' =1 "=”より前の文字列を表示したい場合は、以下のように記載する。 $echo…