Azure Storage

業務システムなどで、 Blob に CSV が配置されていて、そのファイルの内容を DB に Bulk Insert したいといった要望は、比較的あるあるかと思います。 ファイルサイズが小さければどうとでもなるのですが、それなりにサイズの大きなファイルですと、ちまちまインサートするとそれだけで日が暮れてしまうので、 SQL Database (SQL server)の機能を頑張って使って、あれこれやった備忘録を残します。 今回の動機 今まで、Azure Functions の Blob トリガーでファイルの配置を検知し、PowerShell Function から BCP コマンドを流したりし…

devcontainer で Azure Functions などの実装を行う際、Azure Storage のエミュレーターとして Azurite を使用します。 learn.microsoft.com devcontainer の構成 docker-compose.yml version: '3' services: app: (アプリケーションの構成) # Runs app on the same network as the database container, allows "forwardPorts" in devcontainer.json function. network_…

はじめに おさらい：HTTPかHTTPSか 独自ドメインを Azure Storageの静的Webサイトに紐づける（HTTPS） 静的Webサイトのエンドポイントの値を確認 ストレージアカウントからAzure CDNを設定する（エラー） Azure Front Doorの作成 Azure Front Doorの動作確認 Azure Front Doorへの独自ドメインの設定 エンドポイントの関連付け DNSの設定、確認 動作確認 おわりに はじめに 前回の記事で、Azure Storageで静的Webサイトで独自ドメインを利用する方法のうち、標準機能で実装できるHTTPについて試しました。 b…

はじめに HTTPかHTTPSか Azure Storageの静的WebサイトへのHTTPアクセス HTTPでのアクセスを確認する HTTPでのアクセスを許可する 独自ドメインを Azure Storageの静的Webサイトに紐づける DNSでWebサイト用のCNAMEを作成する Azure Storageに独自ドメインを設定する 独自ドメインでのアクセスを確認する おわりに はじめに Azure Storageで静的Webサイトを利用する方法について前回書きました。 blog.jbs.co.jp 今回は、この静的Webサイトで独自ドメインを利用してみたいと思います。 HTTPかHTTPSか …

はじめに Azure 環境を使わせるにあたり、PaaS サービスは必ずプライベート エンドポイントで使わせたい、ユーザーに NW 周りを操作する権限は与えなくない、といった制限をかけたい場合があると思います。 完全にクローズドな環境とするのは難しいため、可能な範囲で通信や権限を許可して使いやすくしたいところですが、ポリシー上どうしても許容できない場合もあるでしょう。 ポリシーを活用してプライベート エンドポイント必須にすることはできますが、サービスによっては、ポータルでのデプロイと同時にプライベート エンドポイントを有効化できなかったり、 NW 関連の権限をすべて奪ってしまうとプライベート エ…

はじめに Azure VM イベントログやパフォーマンス カウンターを診断ログとしてストレージ アカウントに保存できますが、Blob ストレージではなくテーブル ストレージに保存されるため、 ライフサイクル管理機能が使えず、古いエンティティが自動的に削除されません。 そこで、Azure Automation の Runbook を用いて定期的に削除するようにしてみました。 一部画像が荒いですが、クリックすれば綺麗に見えます。 目次 はじめに 目次 対象テーブル 削除用スクリプト Automation アカウント作成 Runbook、スケジュール作成 実行結果 終わりに 対象テーブル 対象は、診…

SAS使ってみようと思って気軽にブラウザで試そうとしたら意外と手間取った件のメモ コンテナでSAS生成して、ブラウザに張り付けてもAuthenticationFailedみたいなエラーが出る。→コンテナのURLたたいた場合はリストが表示される。なので、リストの権限をつける必要もあり。あとブラウザ上でリスト表示する場合パラメータの追加が必要なので、手で「comp=list&restype=container」をつけてあげる必要あり。 ユーザ委任のSAS生成したのにAuthorizationPermissionMismatchのエラーが出る→ユーザ委任のSAS生成するには権限が必要。所有者権限を持…

Terraformでは、繰り返し処理を使用することで、1つのブロックでまとめて複数のリソースを作成することが可能です。 繰り返し処理を使用しない場合、リソースの数だけブロックを作成しないといけなくなり、管理が大変になります。 今回は、繰り返し処理(メタ引数)と型(map)を使用して解決していきます。 メタ引数 型 定義ファイル記載例 main.tf variables.tf rg.tf Terraform実行 リソースの確認 最後に メタ引数 メタ引数の種類は複数あり、利用用途によって使い分けをします。Terraformで利用できるメタ引数は以下の通りです。 for_each depends_…

はじめに こんにちは、エンジニアの加藤です。 担当するサービスの変更で、使うクラウド環境がAWSからAzureへ切り替わりました。 アプリケーションの開発・運用保守が主なので、インフラの知識が直ぐに必要というわけではないですが、知らないと困る部分もありますので、少しずつ勉強していく予定です。 この記事では、AWSで開発していたエンジニアがAzureを学習してみた内容をお伝えします。 ※ 学習した内容の紹介という主旨のため、こうやってみたが主であり、この記事の内容で作業するのがベストな手順や設定というわけではないこと、あらかじめご留意ください。 やること 実際に使ってみるのが理解への近道というこ…

今、テレワークが必要となってきていますが、そのツールとしてOffice365では、Teamsがあります。 今回は、Teamsについてご紹介していきたいと思います。 Microsoft Teams の機能について Microsoft Teams と Skype for Business の違いについて チャットの始め方について 管理者によるチャットの確認について チャットデータの保存場所について プライベート チャット / グループ チャットのデータ チーム チャットのデータ 共有ファイルの保存領域 Teamsに必要なライセンスについて ユーザーに Exchange Online のライセンスが…

はじめに Event Gridを経由する理由 構成図 必要なツール類 事前準備 VS Codeの拡張機能のインストール 関数アプリ用の空ディレクトリの作成 Slack Webhook URLの取得 アプリの作成 開発環境の作成 function_app.pyの編集 コードの解説 requirements.txtの編集 Azure環境にデプロイ リソースの作成 動作確認 おわりに はじめに こんにちは、ACS事業部 CIチームの平井です。 今回は、AzureのBlob storage triggerをEvent Grid経由でトリガーし、コンテナーに新しいファイルが追加されるとSlackに自動通…

Azure Data Lake Storage Gen2(以下ADLS)のACLでアクセス制御を設定したい場合、マスクに対する権限設定が必要になってきます。 マスクの権限についてどのような権限設定が必要なのか試してみました。 ※ なお、ADLSに対して、IAMで何も権限を付与していない前提で説明します。 マスクとは 検証 検証のフォルダー階層構造について マスク権限なしでの書き込み マスク権限ありでの書き込み まとめ マスクとは ADLSでは、マスクによって、名前付きユーザー(以下ユーザー)・所有グループ・および名前付きグループのアクセスが制限されます。 例えば、ユーザーがあるパスに対して「読…

こんにちは！ABEJA でエンジニアとして活動している飯嶌です。今年の4月に新卒で入社しました！今回は技術設計やドキュメント作成を支援するAIツールである「Eraser AI」に関して、今まで個人利用で使ってきてその感想とその使い方に関してお話しできればと思います。 Eraser AI とは : 自然言語プロンプトを使用して技術図解やドキュメントを生成できるAIツール 1. 図表生成：4つの種類の図表に対応 2. 無限キャンバス：大規模設計も自由自在 3. Diagram-as-code：バージョン管理が簡単に 4. デザイン性：充実したアイコンやカラーリング Eraser AIの料金体系 1…

Spring Boot3.X系 でAzure FunctionsのQueue Storage Triggerを実装する手順を示す。 プロジェクトの作成は以下の記事参照。 olafnosuke.hatenablog.com SpringBoot2.X系の実装方法は以下の記事参照。 olafnosuke.hatenablog.com Functionクラスの作成 Functionクラスには、ファンクションごとに行いたい処理を記述する。 FunctionクラスはHandlerクラスで呼び出し処理を実装するため、DIコンテナに登録されるように「@Component」アノテーションをクラスに付与している…

Reactアプリケーションをサーバーレスアーキテクチャに統合することで、スケーラビリティやコスト効率を向上させることができます。主要なサーバーレスプラットフォームであるAWS LambdaやAzure FunctionsとReactアプリケーションを統合する方法について解説します。 moun45.hatenablog.com 1. AWS Lambdaとの統合 API Gatewayを使用したRESTful APIの作成 AWS Lambdaを使用してAPI関数を作成し、RESTful APIを構築します。 API Gatewayを使用してLambda関数にHTTPリクエストをルーティングしま…

タイトルの通りなのですが、Azure Container Apps で Event Hubs からデータを受信する処理を Dapr と KEDA を使って実装した場合に、何故か常に最大までスケールアウトし続けてしまう問題に遭遇しました。調べたところ Issue が上がっていて、同様の問題に遭遇している人は意外にいるようでした。Azure Functions では Event Hubs からメッセージを読み取る場合には EventHubTrigger を使えば、バインディングとスケーリングの両方を Azure Functions のランタイムとスケールコントローラーが連携して上手く扱ってくれてい…

はじめに こんにちは。ACS 事業部の奥山です。 Azure Functions の Durable Functions (Python) についての調査・検証を行ったので、備忘録を兼ねてブログにしておきます。 現在、担当しているシステムで時間のかかる処理を行う必要があり、調べた内容です。 様々な実現方法があるとは思いますが、Azure なら Durable Functions がオススメです。 Durable Functions (Azure Functions) とは Microsoftが開発した Durable Taskフレームワーク を基に構築された Azure Functionsの拡…

www.itmedia.co.jp これらの結果は、睡眠不足はSWRの発生自体には影響せず、むしろSWR中の記憶に関連した神経活動パターンの再活性化と再生を選択的に阻害することを示唆する。 寝不足で失われた「記憶」、後で十分寝ても手遅れ？ 繰り返し高速再生する機能は戻らず 米研究者らが検証：Innovative Tech - ITmedia NEWS つまり、睡眠不足は、海馬における記憶の固定化プロセスを妨げることで、記憶力を低下させると考えられる。 寝不足で失われた「記憶」、後で十分寝ても手遅れ？ 繰り返し高速再生する機能は戻らず 米研究者らが検証：Innovative Tech - ITm…

Spring Boot3.X系 でAzure FunctionsのEventGrid Triggerを実装する手順を示す。 プロジェクトの作成は以下の記事参照。 olafnosuke.hatenablog.com SpringBoot2.X系の実装方法は以下の記事参照。 olafnosuke.hatenablog.com EventGridTriggerのイベント情報を保持するクラスの作成 指定したイベントが発火することでFunctionがキックされると、イベント情報が以下のようなJson形式で送られてくる。 この情報をマッピングするためのEventSchemaクラスを作成する。 ※Blobフ…