LakeFormation

このタグの解説について

この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

KiRAMEX Tech Blog•2 か月前

LakeFormationで作るデータレイク

こんにちは、開発チームの松原です。今回はAWSのサービスであるLakeFormationを使ったデータレイクづくりについてご紹介いたします☺️ データレイクとは LakeFormationとは早速つくってみる事前準備 LakeFormationの初期設定 S3バケットの作成データベース作成 DBへの接続設定（Glue） Permissionの設定 BluePrintsの設定できあがり Athenaで確認おわりに参考資料データレイクとはざっくりいうと、構造化データ（DBのデータなど）も非構造化データ（動画など）もまるっといれて置いておける場所です。 DWH（データウェアハウス）…

#LakeFormation#AWS#Glue#データレイク

ネットで話題

VTRyo Blog•4 か月前

2021年5月のふりかえり

やったこと成果物系ブログ blog.vtryo.me データレイク基盤構築 LakeFormationによるRDSスナップショット→Glueクローリング→S3 Export→Athenaやっとできた。全体的にハマリポイント多すぎるが、一度理解してしまえばこんなにかんたんに構築できたかって感じ— VTRyo (@3s_hv) 2021年5月14日進捗とか気づいたこととか通っていたパーソナルジム（半年契約）が終わった。ジム通いの半年で5kgは落ちた。めちゃくちゃ結果出て嬉しい ↓これは減量生活通じた結果開始ステ: 体重81.0kg, 体脂肪30.3%ベストコンディション時: 体重66.8…

A Memorandum•7 か月前

AWS Lake Formation で生成される Glue ジョブ

Lake Formation とはブループリント Glue ワークフロー Glue クローラ事前ジョブ Glue クローラ事後ジョブ ETL ジョブ ETL 事後ジョブまとめ Lake Formation とは AWS の提供するデータレイク構築のためのマネージドサービスです。 Glue のクローラを利用して各データソースからデータカタログを生成 Lake Formation の提供するブループリントにより、データレイク構築のための Glue ワークフローを生成データレイクは Glue ワークフローに含まれる Job により S3 上に構築データレイクへの柔軟なアクセスパーミッションが…

labunix's blog•8 か月前

AWS CLIコマンドのすべてのパラメータファイルを「--generate-cli-skeleton 」で生成してみる。

■AWS CLIコマンドのすべてのパラメータファイルを「--generate-cli-skeleton 」で生成してみる。まずは前回と同様に。 AWSのEC2イメージを調査して、最新のAMIイメージIDを取得してみた。 https://labunix.hateblo.jp/entry/20210206/1612545305 ■前回の最新のAMIイメージIDを取得するために、「--generate-cli-skelton」を指定する。 $ aws ec2 describe-images --generate-cli-skeleton > aws_ec2_describe-images.json…

記憶力が無い•8 か月前

2021年の目標

2021年はこれをやるぞという宣言。去年書いた記事はこちら。 blog.ttk1.net 2020年のまとめ無事に生き延びました。仕事が半リモートワークになったり、いろいろイベントが中止になったりで、活動量が減ったため体重が増えてしまいました。プライベートでは、自宅サーバー構築に向けてセキュリティ & 監視周りの調査にかなりの時間を投入しました。その結果、休日はほとんど引きこもり状態になって、体重増加が加速してしまいました。目標の達成状況仕事関連技術系ビッグデータ Kubernetes × Kubernetes がどんなものか調べることくらいしかやってない Spark × Hi…

labunix's blog•8 か月前

awscliのすべてのコマンドとサブコマンドを一覧してみる。

■awscliのすべてのコマンドとサブコマンドを一覧してみる。 $ aws --version aws-cli/2.1.16 Python/3.7.3 Linux/4.19.0-13-amd64 source/x86_64.debian.10 prompt/off ■以下のような制御文字のために条件式を変えたスクリプトをgithubに置いた。 $ aws help | cat -A | awk '/A.*V.*A.*I/' A^HAV^HVA^HAI^HIL^HLA^HAB^HBL^HLE^HE S^HSE^HER^HRV^HVI^HIC^HCE^HES^HS$ $ git clone htt…

Speee DEVELOPER BLOG•昨年

Athenaを使ったデータ処理基盤の設計

こんにちは。UZOUのプロダクト開発をしているエンジニアの@kanga333です。 UZOUでは広告データの集計の一部にAmazon Athenaを採用しています。この記事ではUZOUにおけるAthenaを使ったデータ処理基盤の設計について紹介したいと思います。全体構成データ処理基盤の全体構成は次のようになっています。

サーバーワークスエンジニアブログ•昨年

AWS Lake Formation のチュートリアル1をやってみました

例のAWSデータレイクの本でお勉強がてら、今更ですがAWS Lake Formation を初めて実際に触ってみましたので、自分へのメモを兼ねて情報を残します。 AWS Lake Formation とは従来数ヶ月かかったデータレイクの構築を数日で実現するといったものだそうです。 aws.amazon.com AWS Glueの拡張機能とも言えるようで、マネジメントコンソールでもAWS Glueへリダイレクトされる項目も多く関連性が深くなっています。またAWS Identity and Access Management(以後IAM)を拡張した独自のアクセス許可モデルも持ちます。 AWS G…

関連ブログ