eBPF

主に9月に開かれる某Kaigiの関係とか、色々があり、C言語以外の言語でBPFバイナリを作ることができないか模索しています*1。某Slackなどで相談させてもらっていますが、こんな感じ（資料後半）。 docs.google.com その予備調査として、BPFバイナリとしてlibbpfが取り扱えるELF形式のバイナリがどのようなものか調べています。 これ、なんかドキュメントがあるような気もせんでもないですが、まあぼく自身ELF形式に詳しくないこともあり実際のファイルを眺めながら調べた結果*2を残しとこうと思います。 *1:Rustならredbpfというものがあります、サンプル見るとクソかっこいい…

RubyKaigiも近付いたしeBPFの機運を高めようとしている。 タイトルですが、そういうことができます。 www.kernel.org このドキュメントにも「どうすればできる」と言うところが書いておらず、最終的にカーネルのサンプルを眺めることになる。 elixir.bootlin.com elixir.bootlin.com

メモ程度に。 追記 @ 2021/04/20 12:41 inode番号と同じになるようになっているらしい。なので、 cgpath = ARGV[0] puts File::Stat.new(cgpath).ino これだけでいいです... 以下は、構造体キャストの例として残す。 github.com この実装によると name_to_handle_at をつかってcgroupを表すディレクトリ のファイルハンドルを取る ファイルハンドルを以下の構造体にキャストする struct cgid_file_handle { unsigned int handle_bytes; int handle_…

そろそろBPFのことを思い出そうと思って記事を書く。 シリーズです: udzura.hatenablog.jp udzura.hatenablog.jp

Rubyで利用できるUSDTは probes.d というファイルに定義されている。 USDTとは: udzura.hatenablog.jp 以下の記事はbpftraceとUSDTを理解している前提で書いていきます。

前回の続きです。 udzura.hatenablog.jp 今回はlibbpf-toolsにあるexecsnoopのコマンドライン部分をRustに移植する。まず、Rustのworkspaceを使って以下のように execsnoop クレートを作成した。 bpf/ ディレクトリにBPFのプログラムを置く。

BCCのRubyバインディングを開発しています。 udzura.hatenablog.jp で、RbBCCを omnibus を使ってOSパッケージに固めて、配布することにしました（TODO: 今度ちゃんとGitHub Packagesにする）。 github.com このパッケージはlibbccとそれが依存するライブラリを同梱した形で配布しているので、インストールしたらいきなり動かせると思います。 Ubuntu Focalであれば...。 Fedora 向けrpmはそのうち追加します。 なお、もしかしたら libgcc-s1 を追加でインストールしないと動かないかも。

JJUG CCC 2023 Spring に参加しました！ 今回、なんとJJUG CCC 参加9年目にして初登壇してきました。色んな人から「えっ、初？」って言われましたｗ1 セッションは、javap を使ってクラスファイルを読んでみよう という、ややマニアックな内容です。頑張って調べた内容を色々詰めたので、javap を使ったことがある人にも使ったことがない人にもなにか得られるものがあったとしたら、幸いです。 ちなみに、このセッションではバイトコードについては時間の関係もあって簡単に触れただけだったのですが、ちょうど David Buck さんの "Java Bytecode Crash Co…

クリティカルな部分が間違っていたら非常にやさしく教えてください。 意訳が多分に含まれるので参考にしないでください。 今回読むもの github.com これ。

6WIND VSRは、前々回の記事にて記載したとおり、高性能かつスケーラブルなソフトウェアルータ製品群である事をセールスポイントとしている。 6WIND VSRを含めCisco CSR1000vやJuniper vMX等のようなソフトウェアルータでは、パケットを高速に処理する為の仕組みが各ネットワーク機器ベンダによって開発および実装されている。 今回は、6WIND VSRに実装されているパケット高速処理の為の仕組みであるFast Pathの設定に触れてみた。 6WIND VSRのデプロイおよびL3ルーティングまでの流れは以下を参照。 https://debslink.hatenadiary.j…

ACS事業部の谷合です。 今回一つの流れとなっている持続可能なシステムについてのセッションのご紹介を行います。 Motivation 一般的に1-10%のDC、ICT間で総電力量が増えているそうです。 そこで、ソフトウエアシステム自体にエネルギー量の計算をさせ、説明責任を持たせたいとのことで、開発を行っているとのことでした。 主には以下のデータを取得することを目的としているようでした。 Keplerでワークロードごとのエネルギー消費量計算を行う 二酸化炭素 総電力量 OpenTelemetry + Jaegerでの監視をもとにPodレベルで計算を行う ストレージリクエスト電力量 今回は主にKe…

こんにちは、ACS 事業部の谷合です。 今日からKubeCon EU 2023にVirtualで参戦しています。 キーノートで発表され、気になった事柄を簡単にご紹介します。 Keynote: Welcome + Opening Remarks - Priyanka Sharma, Executive Director, Cloud Native Computing Foundation & Chris Aniszczyk, CTO, Cloud Native Computing Foundation 今後のイベントについて KubeCon EU 2024 フランスはパリで3/18-22に開催さ…

はじめに Xilinxのgithub に、「The Nanotube Compiler and Framework」 なるものが公開されました。 github.com 上記の README.md には、 Nanotube is a collection of compiler passes, libraries, and an API to facilitate execution of EBPF XDP and similar networking code on an FPGA in a SmartNIC. The compiler takes EBPF XDP C code as inp…

概要 はじめに 目的 実行環境 計測方法 準備 Linuxカーネルの再構築 必要なパッケージのインストール BPFスクリプトの修正 実験結果 IO要求の発行回数 メタデータ書き込み総量 書き込み頻度とオフセット パフォーマンス おわりに 変更履歴 参考 注意 本記事は、特定の環境下における特定の書き込みパターンを測定した結果であり、ファイルシステムの優劣を決めるものではない。 概要 本記事では、eBPF と fio を用いて、次のようなストレージへの書き込み特性について確認した。 IO要求の発行回数 書き込み総量 書き込み頻度とオフセット Linuxファイルシステム (ext4, xfs, n…

4/6 更新。Amazon上の煽り文を最新化＆公式サイトから目次を転載 一部だけ翻訳にかかわった「入門モダンLinux」という本が4月7日に出るので宣伝を兼ねた紹介をします。 原著は「Learning Modern Linux」です。 本書のタイトルを目にしてまず思うのは「モダンLinuxとはいったいなんぞや」でしょう。これについてはamazonにも載っている煽り文をご覧ください。 Linuxはサーバ、組み込み機器、スーパーコンピュータなどにおいて存在感を示してきました。近年では、オンプレミスのシステムだけではなく、クラウドサービスでも広く使われています。本書は、前半でLinuxを使いこなす上…

2023年2月23日の海外で人気の記事をランキング形式で紹介します。 記事の一部の意訳をあわせて紹介しています。 1位 アトミックセミ 2位 最高裁、自分たちがインターネットの未来を決めるのに最適な選択ではないことを認める｜AppleInsider（アップルインサイダー 3位 ヴァイキングはヴェネツィアの偉大なライオンにルーン文字でタグをつけた 4位 アマゾン社員、アンディ・ジャシーCEOに帰社義務の取り下げを迫る 5位 データセントリックAI入門 6位 3割近くがリモートワークのまま、労働者は掘り下げられる 7位 マーメイドチートシート 8位 イーロン・マスク、Twitterのアルゴリズムを…

eBPF の tc (classifier) を使ってパケットを触ってみる話をしたので、資料を貼ります。 docs.google.com eBPF は一度慣れるとかなり便利な仕組みで、見るべき場所が分かっていればそれなりに気軽に使うことができる。ただ、ドキュメントがだいぶ整備されてきたとはいえまだまだ最初の一歩の敷居は高いと思う。 この資料は、eBPF 開発の最初の一歩を踏み出したい人向けに作った。 eBPF を書いてデバッグし組み込むには、一体何を行う必要があってどこを見たらいいか？をハマりポイントとともに重点的に書いてみた。

オライリー・ジャパンさんの『詳解 システム・パフォーマンス 第2版』が無事刊行されたようでめでたい。 詳解 システム・パフォーマンス 第2版作者:Brendan GreggオライリージャパンAmazon 前職で制作のお手伝いをしていたものの、完成一歩手前である再校まで作成した（電子PDFとEPUBの準備もしておいた）ところで退職となったので、行方を気にし続けていた。 本書は、コンピューティングパフォーマンス分析の第一人者と言える、Brendan Greggの著作。最近だとeBPFの分野で有名か。著者紹介にはNetflixと書いてあるけど、昨年5月にIntelに転職したらしい。 旧版（邦訳版は2…

読んだ本 マネージング・フォー・ハピネス とりあえず半分くらい そのほかの出来事 CNCFキャッチアップ中 セキュリティトレンドはeBPFとSBOM https://www.cncf.io/blog/2023/01/17/cloudnativesecuritycon-2023-3-key-areas-to-watch/ DevOps界隈のトレンド まずはセキュリティの強化に力を入れたい https://www.cncf.io/blog/2023/01/17/trends-for-devops-engineering-in-2023/ cloud nativeの継続 セキュリティの強化 開発と運…