AWK

あるところで、とてもおもしろいawkプログラムを見かけました。次のコードです。 $ awk 'NF' data.txt コードとしてはたったこれだけです。ごくごく短いプログラムです。 これがどういう動きをするのか、想像つきますか？ 実はこれは、data.txt から空白行を取り除いて、データだけを出力してくれるプログラムです。 data.txt は、下図のように入力された、空白行混じりのテキストファイルです。 データが入力されたテキストファイル data.txt 上記テキストファイルを対象にして、$ awk 'NF' data.txt を実行すると、空白行が取り除かれて、次のように出力されます…

Windows OS のコマンドラインシェル PowerShell *1のスクリプトなどを書いていて、少し違和感を覚えるのが、比較演算子です。長年使用してきたVBAの場合は、＝＜＞などの記号が当てられています。これがPowerShellとなると、ハイフンとアルファベット小文字の並びとなっています。-eq -ne -gt -le などです。覚えやすくて直感的なのは、アルファベットよりも記号の方でしょう。 ネット情報を探ってみると、やはりPowerShellの演算子は覚えにくい、という意見がちらほら見られます。 そこで、アルファベットの並びが何を意味するのか、一覧表にまとめました。下図のとおりです…

１ AWKでWindows改行（CRLF）のCRだけ削除 ２ どこが怪しかった？の疑問点 ３ なぜこれでよいのか、その理屈 ４ Linux対応のテキストファイル生成の理屈 ５ 補足（おまけ） １ AWKでWindows改行（CRLF）のCRだけ削除 テキストデータ処理が得意なプログラミング言語AWK（オーク）のことをネットで調べていたら、次の情報を見かけました（下図のとおり）。 改行コードCRを削除するgsubコード 上記のWebページは、⇒ https://note.com/brain_surfing2/n/nf431e47c6a19 Windows改行（CRLF）のCRだけを削除する方法を…

コンピュータのプログラミングにおいて、スペースやダブルクォート（ダブルクォーテーション）の有無は決定的に重要です。スペースやダブルクォートのありなしで、ただそれだけのために、動かなったり、意図どおりの結果にならなかったりします。 プログラミング中にトラブル発生 このことは、プログラミング言語AWKにおいても同様です。 awkプログラム内では、文字列定数はダブルクォート（"）で囲む必要があります。そういうルールになっています。 だから、'$2 == "hogehoge"{print $3}' という書き方になります。 一方で、部分文字列を含むのかの判定に正規表現を使用するには、部分文字列をスラッ…

１ 正規表現を使った部分一致検索 ２ シェルスクリプトによってデータ検索 ３ AIによる解決とその解説 ４ まとめ １ 正規表現を使った部分一致検索 テキスト処理のためのプログラミング言語AWKは、正規表現に対応しています。 AWKは、 awk 'パターン{アクション}' ＜入力ファイル＞という形で実行しますが、そのパターンに正規表現が使えるのです。 その正規表現を利用すれば、部分一致検索が容易です。 パターンの箇所に「$3 ~ /（部分文字列）/」という形で記述すると、第３フィールドのデータが部分文字列を含む場合に一致します。 「~」（チルダ）が照合演算子で、左辺と右辺が「一致する」（左辺の…

パソコンに向かう犬 エイホ、カーニハン、ワインバーガーの共著「プログラミング言語AWK」を読んでいて、非常に基本的なことをあまり意識していなかったと、気づかされました。 awk内での文字列の記述です。 上記書籍のアクションに関する説明で、次のように記述されています。 「文字列定数は、"Asia"や"hello,world"あるいは""のように、文字の並びを引用符で囲むことによって作られる」（プログラミング言語AWK 初版 44ページ） 「文字列定数はダブルクォーテーションマークで囲んだ０個以上の連続する文字である」（プログラミング言語AWK 第２版 209ページ） この場合の「定数」というのは…

１ awkの疑問と答え ２ 初学者が抱く疑問 ３ 変数の扱い（説明） ４ 実例を呈示（検索用のスクリプト） ５ 補足（注意すべき点） ６ まとめ １ awkの疑問と答え 【疑問】 シェルスクリプト内でawk（オーク）を使用するとき、シェルスクリプト側で値を代入した変数をawk内でそのまま使用できないか。【答え】 できない。 シェルスクリプト側で値を代入した変数は、awk内では通用しない。【対応策】 awkの-vオプションによって、改めて変数に値を代入して、awkで利用可能なawk用の変数を別途用意する。 ２ 初学者が抱く疑問 上記の問題は、私がプログラミング言語awkにまだ詳しくなかった頃に抱…