Hatena Blog Tags
はてなブログ トップ
HDFS
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

HDFS

(コンピュータ)
【えいちでぃーえふえす】

(1) Hadoop Distributed File System。Hadoop の分散ファイルシステム。
(2) High Density Fixed Service(Systems)。加入者系無線アクセ スシステムなどの稠密な状態で用いられる固定業務（のシステム）。IEEE 802.16 の用語。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
t-matsu200のブログ【開発業務の備忘録】•昨年

【Python】PyWebHdfsでHDFSを操作する

PythonでHDFSにファイルアップロードする処理を実装したのでメモ。 単純な処理ならcurlで十分なのですが、色々やりたい時は便利そうです。 事前にKerberos認証済みの想定です。 ⬇️ まだ読めてないです😎 データウェブハウスツールキット―Web+データウェアハウスで最良のe‐ビジネス環境を構築 作者:キンボール,ラルフ,メルツ,リチャード メディア: 単行本 環境 やはりPythonのバージョンは3.7。 $ pip3 install pywebhdfs==0.4.1 requests-kerberos==0.12.0 最初にローカルでテストコードを実行しようとして、インストール出…

#HDFS#hadoop#Python

ネットで話題

もっと見る
83ブックマークMongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存などwww.publickey1.jp
65ブックマーク［速報］Microsoft SQL Server 2019発表。SparkとHDFSを製品に統合、データ仮想化を搭載。Microsoft Ignite 2018www.publickey1.jp
54ブックマークfluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログtester7.hatenablog.com
52ブックマークHDFSはファイルサーバーに使うものじゃないよtogetter.com
49ブックマーク［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能www.publickey1.jp
44ブックマークHDFS の信頼性（原題：HDFS Reliability） ‎(Pac Learner)‎Tom White, Cloudera, 2008年1月12日 Tom White, Cloudera, 12 January 2008 Hdoop分散ファイルシステム（HDFS）は、数ペタバイトにおよぶデータを高い信頼性をもって保存するための、一般的なハードウェアによるクラスター上で動作する分散ストレージ・システムである。 この短い論文は、HDFSの信頼性を評価し、HDFSを...sites.google.com
40ブックマークHadoop HDFSコマンド実行メモ（0.20.1）# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path)...www.mwsoft.jp
34ブックマークうるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛masa-cbl.hatenadiary.jp
32ブックマークHDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例techblog.yahoo.co.jp

関連ブログ

プログラム の超個人的なメモ•8 日前

【Hive】Hive / HiveQL ～ データベース関連 ～

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 https://dk521123.hatenablog.com/entry/2020/06/02/183823 の続き。 データベースを作るなど、メモしておく。 目次 【１】データベース作成 【２】データベース削除 【３】データベース一覧表示 【４】データベースの指定 【１】データベース作成 * SQL と変わらん。 => ただし、HDFS内に明示的に作りたいなどが生じた場合 少し違うので、そこら辺含めてまとめておく。 コマンド例 -- DBを作る CREATE DAT…

AWS学習ブログ•11 日前

AWS オンプレ関連サービス

●VM Import/Export オンプレミス環境に構築したサーバをEC2インスタンスへ移行（インポート） またはAWS上に構築したEC2をオンプレミス環境へ移す（エクスポート）ことが可能 オンプレミス環境から移行すると、S3にAMIとして保存され、AMIからサーバを起動すれば移行完了 ・移行できる対象 Microsoft Hyper-V Citrix Xen仮想化形式 を使用する仮想マシンになる ●SMS（Server Migration Service） オンプレミスのVMware ESX上で稼働している仮想サーバをAWSに移行することができるサービス 移行後のサーバはAMIとしてS3に…

AWS学習ブログ•11 日前

EMR

●概要 ・Hadoop、Spark、HBase、および Presto を含む 19 の異なるオープンソースプロジェクトをサポート。 ・上記のオープンソースプロジェクトのビックデータフレームワークの処理を 簡素化する大量のデータの処理及び分析するマネージドサービス ☆一つのデータ処理を分散して行う分散処理基盤を複雑な設定なしで利用可能 S3、Hadoop Distributed File System (HDFS)、DynamoDB を含む複数のデータストアを活用できる。 EKS環境でEMRを使用可能できる。 ●仕様 クラスターを起動されて処理を実行 ○起動モード ・クラスター クラスタを起動す…

プログラム の超個人的なメモ•19 日前

【Hadoop】Hadoop ～ 基本編 / HDFS ～

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 HDFS があいまいだったので、こつこつまとめていく。 また、 https://dk521123.hatenablog.com/entry/2020/11/13/145545 でやった EMRFS の基礎になるので、勉強しておく。 目次 【０】前提知識：ファイルシステム 【１】HDFS (Hadoop Distributed File System) 【２】HDFS の構成 １）Name Node (ネームノード) ２）Data Node (データノード) 【…

記録帳•2 か月前

HBase触ってみた

皆さんこんばんは。花粉が舞いに舞っている昨今、いかがお過ごしでしょうか。 春といえば、OSSのDBが恋しくなります。ということで、HBaseを今日一日触っていたので、その記録を書こうかと思います。 というのも、オライリーのデータ指向アプリケーションデザインの第6章「パーティション」を読んでいて、実際にプロダクトを触りたくなってきたからです。 データを分散して分けた1つ1つをパーティションと呼び、それをどのように分けるか？はたまたどのようにリバランシングするか？ などが載っていました。概念は理解しましたが、実際に実装だとどういう感じなのか理解したかった次第です。 HBaseとは？ hbase_l…

Re:ゼロから始めるML生活•2 か月前

Feature Storeについてふんわり理解する

最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org

Vの技術ブログ•2 か月前

【AWS】今年度学習したAWSサービスの特徴をまとめておく - AWS analytics services編

概要 インフラ系のクラウドエンジニアとして、日々自己研鑽に努めています。 本投稿は今年度の学習のまとめとして、今後も覚えておきたい情報を記載したものです。 AWS analytics servicesに含まれるサービスについて、要件に適したサービスや、調査・検証が必要な内容をすぐに探し出せるようになることを主な目的に、各サービスと関連技術の特徴と効果的に活用するためのTipsを記載しています。 記載内容は、AWS公式ドキュメントやインターネットから拾い集めた情報を個人的に解釈した結果を記載しています。実機確認等による裏付けがされた内容ではない点、ご留意ください。 Analytics Athen…

油そば•3 か月前

hadoop fs -rmコマンド コードリーディング

hadoop fs -rm コマンドの挙動を詳しく確認する必要があり、コードリーディングを行った。 コード自体は自体は以下に存在しており、他のコマンドの実装も周辺にある。 github.com 実装上、-rm、-rmdir、-rmr、-expungeは全て異なる実装が行われているが、 今回対象としたのは -rm だけである。 引数で与えられたオプションを処理 (-r, -f, -R, -skipTrash, -safely) 引数で与えられたパス文字列を内部で PathData に変換 pathが見つからない場合終了 与えられたパスごとに以下の処理を実行。パスが存在しない場合終了 まずディレク…

今日はなにの日。•4 か月前

今日は、OCI Architect (Associate)の練習問題復習してみたPart1の日。

目次 目次 とある日 Oracle提供イメージ ベアメタル・コンピュート・インスタンス ポリシー継承 Oracle RAC DBシステム ブロック・ボリューム・パフォーマンス ブロック・ボリューム・パフォーマンス・レベル OS管理 OS管理のコンポーネントと機能 インフラの保護を行うセキュリティ・サービス レイヤー7 DDoS緩和 WAF バックアップ・ポリシー ユーザー定義バックアップ・ポリシー スケジュール Oracle定義バックアップ・ポリシー ブロンズ・ポリシー シルバー・ポリシー ゴールド・ポリシー Heatwave 事前認証済リクエスト Autonomous JSON Databa…

NTT Communications Engineers' Blog•5 か月前

高性能分散SQLエンジン「Trino」最速ガイド

こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL…

セグメント例外（コアダンプしました。）•5 か月前

【GoogleCloud 認定資格】Associate Cloud Engineer の取得

はじめに Goog Cloudのプロダクトを体系的に学ぶ目的として、Associate Cloud Engineer の試験項目を学習しました。その後、学習後に同試験を受けてみたところ、1度で合格できましたので試験までにやったことをまとめておきます。 【追記】 こちらの試験のあと、「Professional Data Engineer」につきましても取得できましたので下記で記載しています。 【GoogleCloud 認定資格】Professional Data Engineer の取得 - セグメント例外（コアダンプしました。） このドキュメントの使いみち 下記にあてはまる方であれば、多少は参…

情報系のべんきょう•5 か月前

第3章 IoTデータ活用技術

3-1 IoT データ活用の概要 省略 3-2 IoT データ処理方式 p57 データ保存方式 IoTデータには，データ更新はほとんど発生せず，トランザクションも不要，という特徴がある． ビッグデータは，Volume，Velocity，Varietyの3Vで表される点が従来のデータとは異なる． RDBはSQLを用いており，複雑なデータ検索や集計が可能であるが処理のオーバーヘッドが高い．一般的にはスケールアウトによる能力向上は難しく，スケールアップに頼る必要がある． 一方でNoSQLはデータ整合性の保証を緩めることで，スケールアウトが容易に行え，またデータ構造の変化に柔軟に対処しやすいという特徴…