Hatena Blog Tags
はてなブログ トップ
分散ファイルシステム
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

分散ファイルシステム

(コンピュータ)
【ぶんさんふぁいるしすてむ】

複数のサーバに分散配置されたファイル群を、ネットワークを通して単一のボリュームとして扱うことのできるファイルシステムのこと。
意味を広く取って、ネットワーク透過でアクセスできるファイルシステムならば、分散されていなくてもこう呼ぶ場合もある。（例：NFS）

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
猫の手なら貸せる•4年前

ラズパイで分散ファイルシステム(GlusterFS)を試した

以前うちの環境の見直しを行った続きです。 nkhnd.hatenablog.jp 分散ファイルシステムを使おう、ということでその一つであるGlusterFSを導入しました。それはもう驚くほど簡単でした。 本当はCephを使うべきなんでしょうけど家庭内でファイルのバックアップを取ったりメディアの取り出し・保存をするくらいならこれくらいが十分なのかなと。 シナリオ 登場人物 セットアップ ディスクの初期化 fstab・マウントを実施 GlusterFSの導入 前準備 ボリュームの作成 GlusterFSでマウントしてみる Glusterクラスタの追加 ノード追加 brickの追加 brickの再配…

#Raspberry Pi#分散ファイルシステム

ネットで話題

もっと見る
297ブックマークSix Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述...www.sixapart.jp
221ブックマークドワンゴがRustで分散ファイルシステムを作っているらしいwww.akiradeveloper.com
191ブックマーク分散ファイルシステムはブロックチェーンの夢を見るか | メルカリエンジニアリングengineering.mercari.com
191ブックマークMogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japanbuilder.japan.zdnet.com
100ブックマークLast.fmがサーバにSSDを導入、分散ファイルシステムもSSD対応にしてスケール向上に成功！www.publickey1.jp
87ブックマーク分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashifrsyuki.hatenablog.com
78ブックマーク10年効く分散ファイルシステム技術 GlusterFS & Red Hat Storagewww.slideshare.net
44ブックマーク分散ファイルシステムのGlusterFS：こんなとき、どうなるxtech.nikkei.com
42ブックマークRed Hat、コンテナ化した分散ファイルシステムの「Gluster Storage」をリリース － Publickeywww.publickey1.jp

関連ブログ

エンタングルメントosugi3yのブログ•2日前

ツイッター時代の終わり〜シン・すべてがNになる〜

クアデルノというタブレットからカメラやらなんやらを排除したガジェットがほしかったがどうやら品不足で購入できないっぽい。 それに加え今日はスタッドレスにタイヤを履き替えた。まだ雪は降らないかもしれないが用心に越したことはない。知り合いからInstagramをフォローしたからフォロバしてくれと結構大勢に言われてうざかったのでアカウントを削除した。完全削除したかったのだが何故か一時的なものになったようだ。旧TwitterもT大統領を当選させたので役目を終えようとしている。 うちのS中学校でも生徒会選挙があり結果は、先生目線で優秀に映る生徒ではなく、生徒間の人気者が当選して少々この先、頭を悩ますことに…

ken3peiのブログ•1ヶ月前

データレイク周りの用語整理

データウェアハウスとデータレイクの違い データウェアハウス 加工後のデータのみを格納する ゆえに何のためのデータかが明確に決められた状態で格納される（目的指向） Amazon Redshiftなど 基本的なデータウェアハウスの構成 %%{init:{'theme':'forest'}}%% graph LR DataSources1[Data Source 1] --> ETL DataSources2[Data Source 2] --> ETL DataSources3[Data Source 3] --> ETL ETL --> DataWarehouse DataWarehouse -…

1d1og•2ヶ月前

データベースの永続化戦略

ChatGPTに色々聞いて情報を引き出したけど、探すのめんどいのでブログにPostすることにする トランザクションログ（Write-Ahead Logging, WAL） シャドウページング（Shadow Paging） チェックポイント（Checkpointing） レプリケーション（Replication） スナップショット（Snapshots） インメモリデータベースと永続化オプション オブジェクト永続化（Object Persistence） 分散ファイルシステムとクラウドストレージの活用

Python転職初心者向けエンジニアリングブログ•2ヶ月前

GlusterFSの主要機能：応用情報技術者試験（レベル3）シラバス（変更箇所）

GlusterFSは、オープンソースの分散ファイルシステムで、大規模なストレージを効率的に管理・提供するためのソリューションです。GlusterFSは、スケーラブルで高可用性のファイルストレージを実現し、異なるストレージノードにデータを分散して保存します。この特性により、大量のデータを扱う環境やビッグデータアプリケーションでの使用に適しています。 GlusterFSの基本概念 分散ファイルシステム GlusterFSは、データを複数のノードに分散して保存することで、単一障害点を排除します。これにより、データの可用性と耐障害性が向上します。 ボリューム GlusterFSでは、データを保存する単…

Python転職初心者向けエンジニアリングブログ•2ヶ月前

Cephの基本概念：応用情報技術者試験（レベル3）シラバス（変更箇所）

Ceph（セフ）は、オープンソースの分散ストレージシステムで、スケーラブルで高可用性のストレージを提供することを目的としています。Cephは、オブジェクトストレージ、ブロックストレージ、ファイルシステムの機能を統合しており、様々なデータストレージのニーズに対応できる柔軟性を持っています。 Cephの基本概念 分散アーキテクチャ Cephは、複数のノードにデータを分散して保存します。これにより、単一障害点を排除し、データの可用性と耐障害性を高めます。 オブジェクトストレージ Cephは、オブジェクトストレージとしてデータを管理します。データはオブジェクトとして扱われ、それぞれにユニークなIDが付…

Python転職初心者向けエンジニアリングブログ•2ヶ月前

HDFSの基本概念：応用情報技術者試験（レベル3）シラバス（変更箇所）

Hadoop Distributed File System (HDFS)は、Apache Hadoopプロジェクトの一部として開発された、分散ファイルシステムです。HDFSは、ビッグデータのストレージと処理に特化して設計されており、大量のデータを効率的に管理・保存するための機能を提供します。以下に、HDFSの主要な特性や仕組みについて詳しく説明します。 HDFSの基本概念 分散ストレージ HDFSは、データを複数のサーバーに分散して保存します。このため、単一のノードに依存せず、データの冗長性と可用性を高めます。ファイルは複数のブロックに分割され、それぞれが異なるノードに保存されます。 ブロッ…

Secret Ninja Blog•4ヶ月前

高専生のエンジニア生存戦略過程（前編）

"#自分の高専を受ける受験生に一言” というハッシュタグを見たので、以前高専カンファレンス in 仙台で発表した内容を改めて振り返り、書き直してみることにしました。 情報工学系の高専では、高校1年生の時点からプログラムを学ぶなど、特殊な環境で成長していきます。私自身、1年生の頃にはPascal言語で最初のコードを書き、Unix端末でC言語を使ってソケット通信による五目並べを作ったのを覚えています。 高専での学びは5年に及び、専攻科まで進めば計7年間。もちろん、途中で進路に迷う人や情報工学が合わずに辞める人も少なくありません。（私は何も考えていなかったが）。 ただ、何歳になってもキャリアに悩むこ…

qyresearchのニュース•4ヶ月前

世界のクラウド用分散ファイルシステム業界全体規模、国内外シェア、主要企業ランキング2024

2024年7月29日に、QYResearchは「クラウド用分散ファイルシステム―グローバル市場シェアとランキング、全体の売上と需要予測、2024～2030」の調査資料を発表しました。本レポートは、クラウド用分散ファイルシステムの世界市場について分析し、主な売上、動向、市場規模、主要企業の市場シェアとランキングに焦点を当てています。また、地域別、国別、製品タイプ別、用途別の分析も行っています。クラウド用分散ファイルシステムの市場規模を2019年から2030年までの売上に基づいて推計と予測しています。定量分析と定性分析の両方を提供することで、企業がビジネス成長戦略を策定し、競争環境を評価し、市場位…

七誌の開発日記•5ヶ月前

AIで論文を読む: The Llama 3 Herd of Models

Llama 3.1 と同時に公開されたペーパーを Gemini 1.5 Pro に読み込ませて、質問しました。 The Llama 3 Herd of Models | Research - AI at Meta 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細は原論文を確認してください。

Muranaga's View•6ヶ月前

30年ぶりに会った恩師は「エッジ・コンピューティングの父」と呼ばれる偉大な先生になっていた

30年前、1994年11月から 1996年5月までの 1年半、ピッツバーグ（Pittsburgh）にあるカーネギー・メロン（Carnegie Mellon）大学の計算機学科に訪問研究員として滞在した。その時にお世話になった先生が、Mahadev Satyanarayanan 教授（Satya）である。 当時、ノートパソコンに Linux が移植され、これからはモバイル・コンピューティングが当たり前になる。そんな予感があった。そこでこの分野では最先端を走っていた、Satya の研究室に滞在した。米国がなぜ日本より計算機科学（コンピュータ・サイエンス）の分野で進んでいるのか。その実態を知るいい機会…

肉球でキーボード•8ヶ月前

データエンジニアリングの基礎を読みました

「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリュー…

技術っぽいことを書いてみるブログ•8ヶ月前

ソリューションアーキテクトアソシエイト(SAA)の試験対策まとめメモです。

この記事の内容 AWS認定ソリューションアーキテクトアソシエイト(SAA)の試験対策のまとめです。 背景 私自身がSAAの試験勉強をするにあたり、各サービスの抑えるべきポイントをまとめました。 せっかくですので、誰か一人のためにでもなればと思いますので、まとめ資料を公開しておきます。 何かしらのお役に立ったならば、コメントいただけると幸甚です。。。 AWS認定ソリューションアーキテクトアソシエイト(SAA)の試験対策のまとめ S3のオブジェクトロック リテンションモード 一定期間の保護を目的とする ガバナンスモード 特別なアクセス許可を持たない限りはオブジェクトのバージョンの上書きや削除・ロッ…

NOBTAの気ままにITブログ•8ヶ月前

【第4回】基本から始める Microsoft Fabric【メリット 後半】

前回、「Microsoft Fabric」を利用するメリット (前半) について、Microsoft Fabric のメリットについてまとめてみました。 今回は更なるメリットについて、まとめてみようと思います。 ※ Microsoft Fabric に関するセミナーやエンジニアとの会話などで得た情報や実際に利用したみた経験をベースに、個人的にメリットと思われる点についてまとめています。 Microsoft Fabric メリット (後半) Azure AI Studio, Azure OpenAI, Azure Databricks などのその他 Azureサービスから安全に OneLake …

bootjpのメモ帳•9ヶ月前

アリババ社がクラウドで提供するPolarDBで使われているRaftを用いたPolarFSについての論文メモ

PolarFS: An Ultra-low Latency and Failure Resilient Distributed File System for Shared Storage Cloud Database PolarFS: an ultra-low latency and failure resilient distributed file system for shared storage cloud database: Proceedings of the VLDB Endowment: Vol 11, No 12 どんなもの？ アリババ社がクラウド環境で提供する Polar…

サーバーワークスエンジニアブログ•9ヶ月前

【初級編】 Amazon EMRとはなんぞや？（概要と他社SaaS比較）

こんにちは、近藤（りょう）です！社内で複数の近藤さんがいますので識別するために（）付きにしています。 ソリューションアーキテクトでも問題としてピックアップされていますね。EMRについていくつ調べましたので概要と他社SaaS比較についてご紹介していきます～！ EMRとは？ Hadoop, Spark, Hive, Presto などの オープンソースフレームワークを使⽤した ペタバイトスケールのビッグデータ分析が可能なAWSサービス です。 データ処理以外にも相互分析、機械学習を行なう業界をリードするクラウドビッグデータソリューションとなります。 参考 aws.amazon.com EMRで利用…