シェル芸

お世話になっております。FLINTERSでデータエンジニアをしている堀と申します。今回の投稿はFLINTERSブログ祭りの記事です。テーマは #データ分析 #SQL #技術 です。 本日は爆速分析SQLエンジンのDuckDBを紹介したいです。 そもそも https://duckdb.org/ brew install duckdb ポイント インストールかんたん パッと起動して、さまざまなデータソースにSQL分析ができる 豊富なインプット方法、アウトプット方法 ローカルのデータファイル（CSV, JSON, parquet, Excel） http(s)でアクセスできるデータファイル S3/G…

bashのシェルスクリプトで正規表現を使う方法をまとめます 正規表現でパターンマッチ bash の演算子 "=~" を使います例 x=1234 if [[ $x =~ ^[0-9]+$ ]]; then echo "x is number" else echo "x is not number" fi 正規表現で部分文字列を取り出す マッチした部分文字列が必要な場合は，bashの組み込み変数 BASH_REMATCH を使います x=1234-ABC if [[ $x =~ ^(.*)-(.*)$ ]]; then echo ${BASH_REMATCH[1]} echo ${BASH_REM…

問題１６０ SSL証明書の調査

問題１５９ 複数のドメインのチェック 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。

問題１５７ pingのパケット解析

フォルダの中にたくさんある動画ファイルをサーチして，ファイル名と再生時間を CSV形式のファイルにまとめて出力するワンライナーです find -name "*.mp4" | sort -g | while read f ; do d=`ffprobe "$f" 2>&1 | grep Duration | cut -d' ' -f 4`; echo $f, $d; done > movie-list.csv これで movie-list.csv が出力されます．エクセルなどで開く際は区切り文字で","を指定してください

問題１５６ 複数のIPアドレスが登録されているドメイン 問題のファイルは https://github.com/shellgei/shellgei160 からダウンロードできる。