Hatena Blog Tags
はてなブログ トップ
HDFS
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

HDFS

(コンピュータ)
【えいちでぃーえふえす】

(1) Hadoop Distributed File System。Hadoop の分散ファイルシステム。
(2) High Density Fixed Service(Systems)。加入者系無線アクセ スシステムなどの稠密な状態で用いられる固定業務（のシステム）。IEEE 802.16 の用語。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
t-matsu200のブログ【開発業務の備忘録】•9 か月前

【Python】PyWebHdfsでHDFSを操作する

PythonでHDFSにファイルアップロードする処理を実装したのでメモ。 単純な処理ならcurlで十分なのですが、色々やりたい時は便利そうです。 事前にKerberos認証済みの想定です。 ⬇️ まだ読めてないです😎 データウェブハウスツールキット―Web+データウェアハウスで最良のe‐ビジネス環境を構築 作者:キンボール,ラルフ,メルツ,リチャード メディア: 単行本 環境 やはりPythonのバージョンは3.7。 $ pip3 install pywebhdfs==0.4.1 requests-kerberos==0.12.0 最初にローカルでテストコードを実行しようとして、インストール出…

#HDFS#hadoop#Python

ネットで話題

もっと見る
83ブックマークMongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存などwww.publickey1.jp
65ブックマーク［速報］Microsoft SQL Server 2019発表。SparkとHDFSを製品に統合、データ仮想化を搭載。Microsoft Ignite 2018www.publickey1.jp
54ブックマークfluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログtester7.hatenablog.com
52ブックマークHDFSはファイルサーバーに使うものじゃないよ - Togettertogetter.com
49ブックマーク［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能www.publickey1.jp
44ブックマークHDFS の信頼性（原題：HDFS Reliability） ‎(Pac Learner)‎Tom White, Cloudera, 2008年1月12日 Tom White, Cloudera, 12 January 2008 Hdoop分散ファイルシステム（HDFS）は、数ペタバイトにおよぶデータを高い信頼性をもって保存するための、一般的なハードウェアによるクラスター上で動作する分散ストレージ・システムである。 この短い論文は、HDFSの信頼性を評価し、HDFSを...sites.google.com
40ブックマークHadoop HDFSコマンド実行メモ（0.20.1）# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path)...www.mwsoft.jp
34ブックマークうるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛masa-cbl.hatenadiary.jp
32ブックマークHDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例techblog.yahoo.co.jp

関連ブログ

NTT Communications Engineers' Blog•先月

高性能分散SQLエンジン「Trino」最速ガイド

こんにちは。なんの因果かNTTコミュニケーションズのエバンジェリストをやっている西塚です。 この記事は、NTT Communications Advent Calendar 2021 22日目の記事です。 5分でわかる「Trino」 「Trino」は、異なるデータソースに対しても高速でインタラクティブに分析ができる高性能分散SQLエンジンです。 以下の特徴を持っており、ビッグデータ分析を支える重要なOSS(オープンソースソフトウェア)の1つです。 SQL-on-Anything: Hadoopだけでなく従来のRDBMS(リレーショナルデータベース)やNoSQLまで、標準SQL(ANSI SQL…

セグメント例外（コアダンプしました。）•先月

【GoogleCloud 認定資格】Associate Cloud Engineer の取得

はじめに Goog Cloudのプロダクトを体系的に学ぶ目的として、Associate Cloud Engineer の試験項目を学習しました。その後、学習後に同試験を受けてみたところ、1度で合格できましたので試験までにやったことをまとめておきます。 【追記】 こちらの試験のあと、「Professional Data Engineer」につきましても取得できましたので下記で記載しています。 【GoogleCloud 認定資格】Professional Data Engineer の取得 - セグメント例外（コアダンプしました。） このドキュメントの使いみち 下記にあてはまる方であれば、多少は参…

情報系のべんきょう•2 か月前

第3章 IoTデータ活用技術

3-1 IoT データ活用の概要 省略 3-2 IoT データ処理方式 p57 データ保存方式 IoTデータには，データ更新はほとんど発生せず，トランザクションも不要，という特徴がある． ビッグデータは，Volume，Velocity，Varietyの3Vで表される点が従来のデータとは異なる． RDBはSQLを用いており，複雑なデータ検索や集計が可能であるが処理のオーバーヘッドが高い．一般的にはスケールアウトによる能力向上は難しく，スケールアップに頼る必要がある． 一方でNoSQLはデータ整合性の保証を緩めることで，スケールアウトが容易に行え，またデータ構造の変化に柔軟に対処しやすいという特徴…

t-matsu200のブログ【開発業務の備忘録】•2 か月前

【HiveQL】pyhiveとPrestoでテーブル操作

beelineで実行していたクエリをpyhive + Prestoで再実装した際に書き方が違う部分があった為、備忘メモ。 coin-look.pages.dev LOCATIONを指定してテーブル作成 元のクエリはこちら。 CREATE EXTERNAL TABLE <テーブル名> (<カラム名> <型>, ...) ROW FORMAT DELIMITED FIELDS TERMINATED BY <区切文字、eg. '\t'> LOCATION <HDFSのパス> pyhive + Prestoで書くと以下のようになる。 cursor = presto.connect(...).curso…

プログラミング勉強ノート•4 か月前

【AWS学習記録】勉強メモ Redshiftの設計についてなど

本日勉強したことをメモします。 Redshiftのクラスターについて Redshiftはクラスターという単位で管理される。 一つのクラスターには複数のコンピュートノートが含まれていて、リーダーノードがそれぞれのコンピュートノードを調整する。

MicroAd Developers Blog•4 か月前

CDH (Hadoop) 入門

はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another R…

AIうぉ－－！(ai-wo-katsuyo-shitai !)•5 か月前

『Building jaxlib from source on Windows』、成功しました。世界初なワケないですが。。

『Additional Notes for Building jaxlib from source on Windows』成功！！ jax.readthedocs.io の Additional Notes for Building jaxlib from source on Windows が、成功しました。 コマンドは、 python build/build.py --enable_cuda --cuda_path="C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v11.0" --cudnn_path="C:/Program File…

pantyoのブログ•6 か月前

Amazon EMR とは

Amazon EMR = 分散処理のフレームワーク分散処理基盤 と 分散処理アプリケーション で構成されている 分散処理基盤 EC2の調達・廃棄を行うリソース調整機能 → スポットインスタンスの仕組みをつかえるようになってる S3を分散処理で扱うストレージとする機能 → EMRFS 分散処理アプリケーション基盤 分散処理を実現するアプリ サポートアプリケーションか自前で用意したアプリを使う サポートアプリケーション （Hadoop）Apache Spark HBase Presto → Athenaエンジンもこれ Flink マスターノード、コアノード、タスクノードで構成されてる マスターノー…

冬、糸杉、丘•7 か月前

WIP【備忘録】DBの論文を読む : 新しいDBMSアーキテクチャ

そろそろデータベースに関するちゃんとした基礎知識をつけたいという思いがあるので、Readings in Database Systems, 5th Edition を読んでいこうと思う。 URL: http://www.redbook.io/index.html この本は、DB に関する古典的な論文から、近年の特に重要な論文まで、章ごとに短い解説とともに紹介されている。 今回は Ch4 新しいDBMSアーキテクチャ を読む。 紹介された論文 解説を読んだ 論文１について Abstract 感想とメモ 背景 C-storeの特徴 C-store データモデル 論理データモデル 物理データモデル …

yassy's note•7 か月前

Fluentdを触ってみた(1)

※以下はfluentd v1.0(td-agent-4.1.1)をベースに書いてます。 Fluentdとは ログの収集・転送・加工を行うツール。 syslogやファイルからログを収集し、ファイルやMongoDB、S3等に転送することができる。 Fluentdは、Inputプラグイン、Outputプラグイン、Bufferプラグインといったように 機能をプラグインの形で実装している。 各プラグインはFluentd製品が提供しているものや(Inputのtailとか)、 サードパーティ製のプラグインも存在する。 例えば、以下はsyslogからイベントを受信するInput設定。 Input設定サンプル …

おっさん社内SEエンジニアの勉強ブログ•7 か月前

SAA学習-データベース-データベースの基礎

今回のテーマ：データベースの基礎 学習内容 単元 概要 データベースの基礎 最適なデータベース選択を実施するため様々なデータベースのタイプと活用方法を概要的に学習 DynamoDBの概要 DynamoDBの基本的な機能や仕組みについて学習 DynamoDBの構築 実際にDynamoDBを構築し、設定方法や操作方法を学習 Auroraの概要 Auroraの基本的な機能や仕組みについて学習 Auroraの構築 実際にAuroraを構築し、設定方法や操作方法を学習 EFSの概要 EFSの基本的な機能や仕組みについて学習 EFSの構築 実際にEFSを構築し、設定方法や操作方法を学習 増大するデータ量へ…

プログラム の超個人的なメモ•7 か月前

【トラブル】【AWS】EMR / DBアクセス に関するトラブルシューティング

■ はじめに Amazon EMR 上で エラー「Error encountered near token 'TOK_TMP_FILE'」や エラー「NoRouteToHostException: No route to host」が発生した。 その際の調査方法や解決案などを記しておく。 目次 【１】発生現象 / エラー内容 １）Create table + Select insert 時のエラー ２）Create table 時のエラー 【２】原因 【３】調査方法 【４】解決案 【１】発生現象 / エラー内容 以下、2つの現象があった。 １）Create table + Select ins…