Amazon EFS

こんにちは、こんばんわ！クラウドインテグレーション事業部の魚介系エンジニア松尾です。 皆さんは EFS を利用する際に、AWS アカウント間でデータを共有したいと思ったことはありませんか？ EC2 や RDS などは比較的簡単にスナップショットをアカウント間で共有することができるため、EFS も同じなのでは？と考えてらっしゃる方も多いのではないでしょうか？ 実は EFS は EC2 や RDS のように各々サービスが持つような標準機能でアカウント間でバックアップを共有するようなことは通常できません。 少量のデータであれば、リソース間で直接データをやり取りしたり S3 を経由したりなど方法はいく…

こんにちは、AWS チームの尾谷です。 昨日は、Amazon EFS のスループットモードの特徴と選び方などをまとめて ブログにまとめました 。今日は、バーストスループットモードとプロビジョンドスループットモードを AWS Lambda を使って自動で切り替える仕組みを考察しましたので、アウトプットします。 手動でモードを変更する Lambda をコーディングする前に、手動によるモード変更のオペレーションと挙動を確認しておきます。 Elastic Throughput モードからバーストモードに変更 EFS の [編集] ボタンをクリックし、スループットモードを [○ 拡張] から、 [○ バ…

はじめに AWSで利用できるストレージにはいろいろな種類がありますが、 その中でも複数EC2からマウントして共有して使用できるEFSというストレージは、その特性柄非常に有名なものかと思います。 EFSにはクレジットがあり、保存されたファイルシステムによってスループットが変動します。 本稿では、EFSで設定できる内容やクレジットについて詳しく説明します。 Amazon EFSとは まずはEFSの特徴について説明します。 EFSは、EC2用のフルマネージド型ファイルシステムです。 複数のEC2からNFSでマウントし、共有して使用することが可能です。 サーバレスでスケーラブル ストレージ容量をあらか…

アドヴェントなカレンダーも6日目。 おはようございます、コバケンです。 今回は、クラウドネイティブな NFS ファイルシステム「Amazon EFS」について語ってみようかと思います！ 複数の EC2 インスタンスで構成される Web アプリケーションなどにおいて、コンテンツを各インスタンスに腹持ちせず Amazon EFS に保存してネットワーク越しにステートレスに共有することがあります。 この EFS に保存して共通化したコンテンツの中に、キャッシュファイルやログファイルがあって、これらは同期をさせたくない、個々のインスタンスで、ローカルファイルを参照させたいという要件をいただくことは多々…

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味（ビジネスメタデータ）、運用状況や品質情報（オペレーショナルメタデータ）、技術的な属性や構造（テクニカルメタデータ）を一元的に管理しています。OpenMetadataの導入により、多様なデータベース、BI、CRMとの連携が実現し、データ管理の効率化と利用統計の可視化が可能となりました。さらに、データの検索性が大幅に向上し、データガバナンスの強化にも寄与しています。 OpenMetadataは、デー…

はじめに GuardDuty Malware Protection for Amazon S3は何が嬉しいのか GuardDuty Malware Protection for Amazon S3のコスト GuardDuty Malware Protection for Amazon S3によるスキャンコスト オブジェクトタグの使用コスト S3 API コールのコスト GuardDuty Malware Protection for Amazon S3の運用する上で直面した課題と解決策 AWS Security Hubに統合されていないため、検知に気づきにくい パスを柔軟に指定してスキャンがで…

こんにちは！24卒の印部です。 RedHatを利用したEC2インスタンスへ Amazon EFS (Elastic File System) を自動マウントする構成を紹介します。方法として、EFSヘルパーを利用して、/etc/fstabへと自動マウントの設定を書き込む方法をとります。 今回は基礎的な内容になるので、EFSの利用経験がない方や少ない方に向けてご紹介します。RHELでEFSヘルパーを利用したEFSの設定をするために少々難しかった部分があるため、手元でも同じ構成を再現できるように設定手順と自分がハマりそう&ハマったポイントを残しておければと思います！ 本記事は検証用に動作確認をするた…

サービス 分析 Amazon Athena S3 上のデータに対して 標準SQL を実行できるデータ分析サービス (サーバレス) Amazon EMR (Amazon Elastic MapReduce) ビッグデータの処理や分析 ビッグデータフレームワーク(= Hadoop, Spark, Presto)を用いて、データを複数のサーバーに分散配置して並列に処理することで、迅速かつ効率的なデータ処理を実現 Amazon Redshift DWH (ペタバイト級のストレージに対応) AWS Data Exchange AWS Data Pipeline AWS Glue ETLツール (フルマネ…

徐々に寒い日が減り過ごしやすい時期になりましたね。毎月1ヶ月分のニュースを振り返っていると生成AIをはじめとするAI系の話題は途切れることなく毎月あるような印象を持ちました。 5月初めてのメジャーバージョンアップをするプログラミング言語やライブラリなどの発表があったりと気になるニュースが多かった印象です。 ぜひ、先月のダイジェスト版ということでご覧いただけると嬉しく思います。 開発環境 Kotolin RustRover データ分析 NumPy AIアシスタントツール Oracle Code Assist Docker SSHツール CI/CD GitHub クラウドサービス AWS Goog…

こんにちは！今日は、AWS（Amazon Web Services）を使って「NFSバージョン4ファイル共有」について解説します。 難しそうに聞こえるかもしれませんが、実はとってもシンプルなんです。 それでは、わかりやすく説明していきますね！ NFSって何？ ネットワーク・ファイル・システム（NFS）の基本 まず、NFSという言葉の意味から始めましょう。 NFSは「Network File System」の略で、ネットワークを使ってファイルを共有する仕組みです。 イメージとしては、家族みんなが使える共用のフォルダーを作る感じです。 NFSバージョン4の特徴 NFSにはいくつかのバージョンがあり…

AWS Backupは、Amazon Web Services（AWS）が提供するサービスの一つで、クラウド上のデータやリソースを簡単にバックアップし、保護するための統合型のソリューションです。 AWS Backupを理解するためには、まずバックアップの概念を理解する必要があります。 バックアップとは、重要なデータや情報を安全な場所にコピーして保管することです。 これにより、データが紛失したり、損傷したりした場合でも、元のデータを復元できるようになります。 AWS Backupは、このバックアッププロセスを自動化し、AWSクラウド内のさまざまなサービスやリソースを対象にします。 具体的には、A…

エンタープライズクラウド部の山下(祐)です。 先日、社内のメンバーとAWS BuilderCards をプレイしました。 私は、各プレイヤーが作成したアーキテクチャが有効かをジャッジする、レフェリーを仰せつかりました。 その時の様子は、近日中に弊社YouTubeチャンネルで公開されるようですので、是非ご覧ください。 初めてのレフェリーで慣れていないせいかジャッジがややブレてしまい、悪徳レフェリーみたいになってしまいました。。どうか温かい目で見ていただければ幸いです。。 さて、AWS BuilderCardsをプレイすることで、改めて、色々なAWSのアーキテクチャに触れる良い機会となりました。折…