eBPF

eBPFのヘルパー関数には bpf_get_prandom_u32() というものがあります: （Chromeの「この箇所へのリンク」を使いました） bpf-helpers(7) - Linux manual page これは色々な用途に使える（まず想像するのはサンプリングとか？）と思いますが、おみくじに使ってみました。

1. はじめに 2. BPFとは 3. BPFで実現できること 4. BPFの仕組み 4.1 BPFプログラムを開発しClang/LLVMでコンパイルしてバイトコードにする 4.2 bpftoolでバイトコードからスケルトンヘッダを作成し、BPFアプリケーションで読み込む 4.3 BPFプログラムの結果を保存するmapを作成 4.4 BPFプログラムをカーネルにロード 4.5 イベントが発生したらBPFプログラムが実行され結果をmapに保存 5. BCCとは 5.1 BCC-Tools 5.2 BCCを使った開発 6. CO-RE 6.1 BPFプログラムをCO-RE対応する場合 6.2 CO…

この記事は、分散アプリケーションを構成するネットワークサービス間の依存関係マップを構築するための基礎技術の改善提案をまとめたものである。第8回WebSystemArchitecture研究会での発表と同等の内容であり、そのときのスライドを以下に掲載しておく。 また、本手法のプロトタイプと評価実験のためのコードを次のGitHubリポジトリに公開している。 1. はじめに クラウドの普及により、サービス事業者は機能追加やアクセス増加への対応が容易となっている。その一方で、クラウド上に展開される分散アプリケーション内の構成要素の個数と種類が増加しているため、構成要素の依存関係が複雑化している。そのた…

主に9月に開かれる某Kaigiの関係とか、色々があり、C言語以外の言語でBPFバイナリを作ることができないか模索しています*1。某Slackなどで相談させてもらっていますが、こんな感じ（資料後半）。 docs.google.com その予備調査として、BPFバイナリとしてlibbpfが取り扱えるELF形式のバイナリがどのようなものか調べています。 これ、なんかドキュメントがあるような気もせんでもないですが、まあぼく自身ELF形式に詳しくないこともあり実際のファイルを眺めながら調べた結果*2を残しとこうと思います。 *1:Rustならredbpfというものがあります、サンプル見るとクソかっこいい…

メモ程度に。 追記 @ 2021/04/20 12:41 inode番号と同じになるようになっているらしい。なので、 cgpath = ARGV[0] puts File::Stat.new(cgpath).ino これだけでいいです... 以下は、構造体キャストの例として残す。 github.com この実装によると name_to_handle_at をつかってcgroupを表すディレクトリ のファイルハンドルを取る ファイルハンドルを以下の構造体にキャストする struct cgid_file_handle { unsigned int handle_bytes; int handle_…

そろそろBPFのことを思い出そうと思って記事を書く。 シリーズです: udzura.hatenablog.jp udzura.hatenablog.jp

こんにちは、ティアフォーでパートタイムエンジニアをしている石川です。 本記事では、楽に「動的ライブラリ(及び実行バイナリ)の特定の関数をフックして何かしらの処理をする」手法について紹介していきます。 この記事は、同じくパートタイムエンジニアの西村さんによる作業の成果を元にして、石川が執筆したものです。ソースコードや図のいくつかも西村さんによる貢献です。 また、ティアフォーでは「自動運転の民主化」をともに実現していく、学生パートタイムエンジニアを常時募集しています。自動運転を実現するためには、Softwareに関してはOSからMiddlewareそしてApplicationに至るまで、Hardw…

僕の心のヤバイやつ【最新話無料】・Karte.153 僕らは創り上げた Starleyに転職しました - Islands in the byte stream 「Python in Excel」が一般公開 ～「Copilot」にコードを書いてもらう機能もテスト開始／1年以上のテストを経て正式機能に 萩生田光一氏「写真は私」「記録ない」 岸信夫氏側は「確認できず」：朝日新聞デジタル 国勢調査「聞き取り」怠る 大都市4割、統計法違反疑い エビデンス不全 - 日本経済新聞 Amazon、社員に週5日出社義務付け 米巨大テックで初 - 日本経済新聞 安倍晋三氏と旧統一教会会長、自民党本部で選挙支援確認…

KEELチームの相原です。 前回のエントリは「LLMを利用したPlatform Engineering」でした。 www.lifull.blog 今回は、小さい経路最適化ミドルウェアを実装してAZ間通信を削減した話を書きたいと思います。 背景 我々KEELチームはKubernetsベースの内製PaaSであるKEELを開発しており、LIFULLのほとんどのサービスがこのKEEL上で動いています。 www.lifull.blog そして、KEELは巨大なマルチテナントのKubernetesクラスタとしてAWSの複数のAvailability Zone(以下AZ)に展開されていて、多くのmicros…

概要 補足 使用したソフトウェア ゲストOS KVMを使ったVMM 流れ 動かしてみた kvmm の実行において時間がかかっている部分の特定 perfを使って測定 VMexitの原因別の呼び出し要因の確認 差がつく原因となっているI/O 原因特定！ 余談: eBPFを使ったtracing おさらい: KVMとVMM(Virtual Machine Manager) 概要 KVMを使ったVMMがOSを実行する仕組みを詳しく知りたいと思い、ミニマムなVMMとQEMUで小さなOSを動かして、その様子を観察していました。 すると同じブートローダ/OSのバイナリを使っているにも関わらず、ミニマムVMMと…

この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 Stage) DAY 17の記事です。 こんにちは。クラウド基盤本部 Cloud Platform 部で Kubernetes 基盤（Neco）のネットワークを担当している寺嶋です。 Neco の Kubernetes クラスタはネットワークに Cilium を採用しています。 Neco の他のブログは以下を参照してください。 blog.cybozu.io Cilium は 2023 年 10 月に CNCF Graduated Project となった成熟したプロジェクトです。 一方で、大規模な環境で運用す…

主に一般向け製品やサービスを提供している企業等からのリリース、お知らせを不定期に収集しています。対象企業は徐々に数を増やしていく予定です。キャンペーン情報、イベント情報等の関連する情報も掲載しています。 ランキング参加中インターネット ＬＩＮＥヤフー 2024年8月16日 対象のLINEスタンプ・絵文字・着せかえが無料で使い放題 『超スタンプ祭』を8月20日(火)から3週間限定で開催決定 参加する際にお支払い方法を登録する必要はなく、「超スタンプ祭」の期間終了後は参加前の状態に戻るため、自動で課金されることはありません。 楽天市場 Amazon Yahoo! ＬＩＮＥヤフー 2024年8月16…

はじめに マイクロサービスアーキテクチャの台頭により、サービスメッシュ技術は現代のクラウドネイティブ環境において外せない選択肢の一つとなっています。 その理由は明確です。マイクロサービスに求められる非機能要件の多くは類似しており、これをアプリケーション側で個別に実装すると、開発者やインフラエンジニアの負担が増大するからです。 ここで登場するのがサービスメッシュです。サービスメッシュの採用により、これらの非機能要件をインフラ層で一元管理することが可能となり、アプリケーション開発者とインフラエンジニアの責務を明確に分離できます。つまり、各エンジニアが自身の専門領域にフォーカスできるのです。これは単…

【ニュース】 ◆カーネル領域で不適切なアップデートが行われてもクラッシュしないようにする技術「eBPF」とはどんな仕組みなのか (Gigazine, 2024/07/23 13:20) https://gigazine.net/news/20240723-ebpf-kernel-protection/ 【関連まとめ記事】◆全体まとめ ◆eBPF (まとめ) https://security-log.hatenablog.com/entry/eBPF

2024年7月8日～2024年7月14日に読んだ中で気になったニュースとメモ書きです。社内勉強会TLSらじお第165回分。 [Advisory Role with Entrust] [AES-GEM: Galois Extended Mode] [その他のニュース] ▼.NETの脆弱性（CVE-2024-38095） ▼ECHConfigListのドラフト第5版 ▼gojue/ecapture ▼Firefox Nightly: HTTPS First by default ▼Windows Server 2019とTLS1.3 [おわりに]

前回はRaspberry Pi 5を利用したKubernetes環境を構築した。今回はCNIとkube-proxyをCiliumへ入れ替えてみる。 hirano00o.hateblo.jp hirano00o.hateblo.jp hirano00o.hateblo.jp Cilium CiliumのインストールおよびCNIとkube-proxyの入れ替え 動作確認 Cilium Hubble 終わりに

www.oreilly.co.jp 1章 eBPF とは何か？なぜ重要なのか？ eBPF の歴史 [1993年] 「BSD Packet Filter（BPF）」が論文に登場 eBPF のルーツは「BSD Packet Filter（BPF）」で、ローレンス・バークレー国立研究所の Steven McCanne と Van Jacobson により書かれた論文で初めて登場した。BPF は、プログラマが自分で書いたフィルタプログラムをカーネルの中で実行できるようにする機能で、プログラムは汎用的な BPF 命令セットを使って書くことができた。 [1997年] Linux にカーネルバージョン2.1…

nakanoshima.dev 37 セキュリティLT大会 ～そもそもみんな何をしてる？～ nakanoshima-dev.connpass.com お菓子配ってましたが写真撮影禁止なので写真は取ってません。 セッション eslint-plugin-securityを導入して、 低労力で堅牢なコードを作る(Short) Kanonさん speakerdeck.com 脆弱性診断はフィードバックループが悪い linter でチェックできる方が良い ESLint に eslint-security-plugin を導入 ESLintだとJS/TSの対応ですね。 IAMのユーザ権限を楽に最小化する方…