POSIX

POSIX Shell をおさらいする中で、/bin/sh プロセスの environ をデバッガーで直接見てみたい、と思ってちょこちょこいじってました。 GDB であれば、show environment で終わりなんのですが、FreeBSD はずいぶん前に GDB と袂を分かっており、現在利用可能なのはLLDBです。そして、LLDB には show environment に対応したコマンドが存在しません。 どうやら LLDB の中の Python インタプリタ で Python オブジェクトとして the environment を取得してイテレーションするのが一番手っ取り早い方法のよう…

sh の振舞を lldb で確認したいと思ったのですが、FreeBSD インストール時に base-dbg を指定していませんでした。そこで、base-dbg を追加でインストールします。 おおまかな手順は、 freebsd.org から使用中のバージョンの base-dbg.txz をダウンロード。 それを上書き展開でインストール。 freebsd-update でシステム全体のパッチレベルを合わせる。 シェルの作業履歴は次の通り。 roku@fbsd:~/Developer/freebsd $ ftp -a ftp.freebsd.org Trying XXX.XXX.XXX.XXX:21…

parameters をやっているときにふと考えたことをメモしておく。 コマンドラインは日々自然と使っているので、もう母国語みたいになってしまっている。つまり、文法とか聞かれても全然答えられないんだけど、自然に正しく使うことができる。それは本来プログラミング言語の習得方法として望ましいものではあるのだけれど、それだからこそ見えなくなってしまうものもある。 例えば、 $ echo a b c というのは echo というユーティリティがこういう形式で引数を受けとって動作するようにできていると思ってしまいがちだが、これはそうではなくてシェルコマンド言語で書かれたコマンドにすぎない。実際にこのコマン…

2.5.2 Special Parameters 。 Special parameters とは何でしょうか。ざっと眺めてみると、the shell interpreter が各種処理の副作用として値を設定するもののようです。まあ positional parameters もそうなんですが。わざわざ名称をわけた理由はなんでしょうか。先々わかるかもしれません。 さて、まず '@' です。これは positional parameters に展開します。と、コンセプトはシンプルなのですが、振舞はちょっと複雑です。まずその仕様を理解するための準備として fields とは何かを確認しましょう。 P…

2.4 Reserved Words は予約語です。 The shell command language の予約語は、 ! { } case do done elif else esac fi for if in then until while の16個。実装によっては次の4つが予約語に加えられることも。 [[ ]] function select FreeBSD の sh はどうでしょうか。man sh を見るかぎりはこれら4つは予約語ではないようです。 さて、これら予約語が実際に予約語として認識されるかどうかは tokens の配置によります。そのルールは、 The first wor…

2.3 Token Recognition は入力を tokens に分割する処理を定義しています。処理の記述自体は簡明なのでここに再掲はせず、気になったところだけ書きます。 まず、この仕様書で tokens とは何かというと、3. Definitionsによれば、 In the shell command language, a sequence of characters that the shell considers as a single unit when reading input. A token is either an operator or a word. です。oper…

2.2 Quoting は引用の仕組みです。「引用」というと引用元の文章は何か有名だったり権威があるものだったりすることが多いのでちょっと違和感がありますが、「私が書いた通りに繰り返せ」という指示も「引用しなさい」と言えなくもないですね。 さて、the shell command language において、文字に機能（LISPのリーダーマクロのようなもの）が割り当てられており、その文字自体を the shell interpreter に読ませるには引用が必要な文字は次のとおり： The application shall quote the following characters if …

今回はPodについて勉強していこうと思います。 DevOpsやMLOps、SREなどの肩書を持っている方であれば仕事で使用しているので理解がある方が多いかと思いますが、 他のエンジニアはPodという単語をなんとなく知っているくらいかと思います。 kubernetesを使用していくとも、AWSやGCPの公式ドキュメントではたびたび使用されているような単語ですね。 kubernetesを使用しているクラウドサービスを運用していればもちろん理解しておけなければならないでしょう。 Pod とは？ Podとは、同じ実行環境上で動くアプリケーションコンテナとストレージボリュームの集まりのことです。 Kub…

POSIXとは POSIXは、Portable Operating System Interfaceの略で、UNIX(OSの一種)に関する標準的なインターフェースを定めた規格のこと。 UNIXに関する標準的な規格とは… UNIXは様々なところで改良や拡張が行われたため、UNIX系OSと呼ばれるOSが複数存在する。 そのため、あるUNIX系OSでは動いていたアプリケーションが別のUNIX系OSでは動かないというような問題が起こらないように、あるいはUNIX系OSで動くように開発されたアプリケーションであれば、どのUNIX系OSでも利用できるように「UNIX系OSにおける、アプリケーションがOSの…

Poetryの使い方を簡単にまとめました。後半では自分がつまづいた箇所の解決法を紹介しています。 基本コマンド $ poetry new <project-name> 新たにプロジェクトを作成します。 $ poetry install 仮想環境を立ち上げます。 $ poetry shell 仮想環境を有効にします。 $ poetry add <package-name> 仮想環境にパッケージを追加します。 以下では知っておくと役に立つかもしれない情報を紹介します。 仮想環境の配置場所について 仮想環境はプロジェクトディレクトリで $ poetry env info を打つことで確認でき下のよう…

個人の活動ログです。とりあえず必要最低限。 購入したMac やったこと Terminalの導入 今回は kitty を導入してみました。特に吟味して選定したわけではなく標準出ないものを使ってみようというチャレンジです。 kovidgoyal/kitty: Cross-platform, fast, feature-rich, GPU based terminal homebrew 現時点の背景整理と対応方針 M1の場合アーキテクチャがarm64です。直近M1登場前までのIntelのアーキテクチャのMacのため作りが違います。念の為ターミナルで確かめると以下の通り。 % uname -m arm…

【デジスマチーム ブログリレー6日目】 こんにちは、デジスマチームに所属している大和です。 タイトルに含まれるOpenAPIという文字から、ChatGPTやGPT-4で話題のOpenAIと見間違えた方もいらっしゃるかもしれませんが、今回はREST APIのスキーマ定義に使用されるOpenAPIの話をします。 私が所属するデジスマチームではデジスマ診療というサービスを開発しており、マイクロサービスアーキテクチャでOpenAPIを利用して開発しています。 なお、システムのアーキテクチャについては以下の記事が詳しいです。 www.m3tech.blog 今回はどのような構成でOpenAPIを利用し、…

ChatGPTにソースコードからプログラムの概要説明を作ってもらう実験をやってみました。 世の中にはドキュメントが無く、なんならコメントもほぼ入っていないソースコードがたくさんあってツール等で手軽に仕様書作りたい需要はたくさんあると思います。手持ちの実験用ソースコード(大半は当ブログで紹介してことがあるもの)を何本かChatGPTさんに 「Please explain what the following source code does briefly.」 とお願いしてみました。英語でお願いしているのは現時点でChatGPTは英語の方が日本語よりはるかに高速かつ確実に処理されるため。 1本目…

前回できたlibmrubyc.aをlibディレクトリーに置いてみるるが全く無視されている様だ。 それではとダウンロードしたmrubycディレクトリーを丸ごとlibディレクトリーに置いてみる。 エラーは出ているがmrubycのMakefileを読み込んでうまい具合にやろうとしている様だ。 mruby/cを動かすためにmain.cppファイルを書き換える。 main()処理のサンプルが mrubyc/sample_c/sample_include.c にある。 これをこのままmain.cppにコピーする。 このサンプルでは mrubyc のバイナリーを sample_include_bytecod…

はじめに NineOCR とは NineOCR が抱える課題 Amazon SageMaker Training とは SageMaker Training の始め方 事前準備 AWS が提供しているコンテナイメージを拡張する方法 独自のコンテナイメージに SageMaker Training Toolkit をインストールする方法 スクラッチでコンテナイメージを作成する方法 まとめ 学習ジョブの実行 学習結果の確認 終わりに はじめに こんにちは、研究開発部の石井です。 本エントリーでは、弊社の OCR エンジン「NineOCR」の開発フローに SageMaker Training を導入し…

REVISIOのエンジニア片岡です。 先日2月14日、Snowflakeの大規模イベントSNOWDAY JAPANに参加・登壇してきました。 登壇資料はこちら。 speakerdeck.com ANAインターコンチネンタルホテル東京＋オンラインでの開催でしたが、オフラインイベントの独特の雰囲気と盛り上がりを久しぶりに体感できて非常に楽しかったです。 沢山の興味深いセッションや趣向を凝らした会場設営、コミュニティイベント含めてSnowflakeの世界観が感じられたイベントでした。 さて、タイトルにあるようにSNOWDAYでは時間の都合で紹介しきれなかった部分があったので、ここに書いておこうと思い…

日記 今日書いたコード fix · Gurrium/SwiftKilo@e9d29de · GitHub 感想 read(_, _:, _:)の使い方がよく分からなかったが定義元がDarwin.POSIX.unistdだったのでread(2) - Linux manual pageっぽい。

自分の好きな方法．標準ライブラリのpathlibを使う． fmtsリスト内の拡張子を増やすことで他の画像フォーマットも一気に取得できる． from pathlib import Path # IMAGE_DIRは任意のディレクトリ fmts = ['.png', '.PNG', '.jpg', '.jpeg', '.JPG'] files = [str(f) for f in Path('IMAGE_DIR').glob('**/*.*') if f.suffix in fmts] # Posixで欲しい場合は str(f) を単に f にする

こんにちは、クラウドセキュリティアーキテクトの大島悠司です。 先日のAWS re:Invent 2022で、「Amazon InspectorがLambda関数の診断をサポート」が発表されました。 私も普段からこの機能を使わせてもらっているのですが、意図的に脆弱なパッケージを入れても検知しないことがあり、気になったので調査してみました。 aws.amazon.com 以前の検証記事 devblog.nuligen.com まずは結論から (1)バージョンが古いレイヤーを追加する (2)pipコマンドで取得 (3)WindowsでWebサイトから取得 「(2)pipコマンドで取得」を深堀りする …