Hatena Blog Tags
はてなブログ トップ
Apache Mesos
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Apache Mesos

(コンピュータ)
【あぱっちめそす】

Hadoopのような分散アプリケーションを複数のノード上で動かすためもクラスタ管理ツール。
TwitterやAirBnBなどで採用されている。

次のような特徴がある(公式ページより)

  • Apache ZooKeeperを使用した耐障害性を持つマスター
  • 10,000ノードまでのスケーラビリティ
  • Linux Containerによるタスク間のアイソレーション
  • メモリやCPUを対象とした、複数のリソーススケジューリング
  • 新しい分散アプリケーションを開発するための、Java, Python, C++のAPI
  • クラスタ状態を見るWeb UI
このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
CUBE SUGAR CONTAINER•5ヶ月前

Polars と PySpark / スケールアップとスケールアウト

これは Polars Advent Calendar 2023 の 4 日目に対応したエントリです。 qiita.com Polars と PySpark は操作方法が似ていると言われることがある。 そこで、今回はいくつかの基本的な操作について、実際に両者でコードを比較してみた。 また、それぞれの思想的な違いなどについても私見を述べる。 最初に書いたとおり、これは Polars のアドベントカレンダーのために書かれたエントリになる。 そのため、まずは簡単に PySpark 自体の説明をしておきたい。 PySpark というのは、Apache Spark という分散処理フレームワークを Pyth…

関連ブログ

nendのSREエンジニア入門ブログ•8ヶ月前

SREなら知っとくべき[ジョブキューシステム]の名前一覧と特徴を説明

UNIX系のジョブスケジューラ cron cronはUNIX系オペレーティングシステムのジョブスケジューラで、定期的に実行したいタスクを自動的に実行するためのものです。 crontabファイルに記述されたジョブを指定した時間・日にちに実行します。 例: 毎日午前3時にバックアップスクリプトを実行する場合、crontabに「0 3 * * * /path/to/backup.sh」を追加します。 at atは一度だけ特定の時間にコマンドやスクリプトを実行するためのUNIXのユーティリティです。 例: 今から1時間後にシャットダウンする場合、「echo "shutdown -h now" | at…