serverless

Railsで運用されていたアプリをSinatraで実装し直した上でサーバーレスで動かしたかったのでやってみました。 こちらのRailsアプリも長いことメンテされておらず、RubyのバージョンもRailsのバージョンも古すぎた…。 作ったもの シンプルなWebAPIを作った（Rails + PostgreSQL → Sinatra + DynamoDB） 構成 サーバーレスで動かすのを大前提としていたので、API Gateway + Lambda + DynamoDBで考えてました。 なんかうっすらLambdaでsinatra動かしてみた、みたいな記事を見たことがあった記憶があったので、まぁでき…

2024 年 6 月15 日に、ふと AWS Lambda で Node.js の Lambda 関数について深掘りしてみたいなと思い、いくつかのドキュメントを参照してみると AWS Lambda のラインタイム Node.js 16 の Deprecation date が 2024 年 6 月 12 日 であると AWS Lambda の開発者ガイドに記載されていることに気づきました。 docs.aws.amazon.com これも何かの縁、虫の知らせかと思い、AWS Lambda の Node.js について記事を書くことにしました。 今回は、モジュールの取り扱い方についてまとめていきま…

前回記事に引き続き、AWS Step Functions がテーマです。 （2024 年 6 月に検証した内容に基づいています。） AWS Step Functions のステートマシンは、様々な AWS サービスと連携できます。 例えば、AWS Lambda 関数を呼び出したり、Amazon SNS のトピックにメッセージを発行したり、Amazon DynamoDB のテーブルに項目を Put することも可能です。 この連携のことを 「統合 (integration)」と呼ぶこともあります。 この統合には、最適化された統合 と AWS SDK サービス統合 の 2 種類があるとドキュメントに…

グループデータマネジメント部の須藤です． 日々の業務はデータ基盤の開発や運用を行っています． 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費用削減に取り組んだのでそこで得た知見を共有したいと思います． クラウドデータウェアハウスはスケーラビリティやパフォーマンスが費用対効果のバランスが取れているか定期的に見直しする必要があります． 我々が運用しているAmazon Redshiftのクラスタは利用開始してから3年が経過しており，開始当初より利用量が増えて利用パターンが変化していたので効率化に取り組みました． 背景 RedshiftにはプロビジョニングされたクラスタとS…

TL;DR 自己紹介 Streamlitとは Streamlit in Google Cloud 本アーキテクチャにおける技術的なポイント 1. Streamlit自体の独自カスタマイズ 2. URLマスクを用いた、StreamlitアプリケーションのURLの制御 3. Cloud WorkStationsを用いた、VPC内のセキュアなIDE環境の提供 4. 共通ライブラリの提供 5. Cloud Run × IAP構成における制約の回避 今後の展望/最後に 関連記事 TL;DR 本記事では、Google Cloud上で社内限定公開のStreamlit cloud相当のサーバレスプラットフォー…

本記事は「AWS LambdaとServerless Advent Calendar 2023」3 日目の記事です。 今回は、AWS Compute Optimizer を使って Lambda 関数のメモリ設定に関する推奨事項を確認してみます！ 目次 目次 AWS Lambda 関数のメモリ設定の最適値導出について AWS Compute Optimizer AWS Lambda Power Tuning AWS Compute Optimizer における Lambda 関数の要件 測定対象の Lambda 関数 結果 レコメンデーションの表示 まとめ 所感 AWS Lambda 関数のメモ…

こんにちは、クラウド事業部の髙野です。 今回はAWSでサーバーレスアーキテクチャを採用したREST APIの実装方法を紹介します。 「サーバーレスアーキテクチャについて、なんとなくの概要は知っているけど実装できるかは不安だな」という方の参考になればと思います。 目次 目次 サーバーレスアーキテクチャとは 作成するAPIの概要 使用するAWSサービスについて DynamoDB Lambda API Gateway IAM 環境構成 API作成手順 1. DB作成 2. IAMロール作成 3. Lambda関数作成 4. API作成 5. API作成（リソース） 6. API作成（POSTメソッド…

ランキング参加中AWS (Amazon Web Services) 2024/09/19に開催されたRAG on AWS dive deepの参加報告です。 AWSより、動画ならびに資料は公開されていますので、本記事では個人的に勉強になったPointをまとめていきます。 aws.amazon.com チャンク戦略 正直、これまでBedrockにおいて、チャンクの設定はほとんどなにもしてませんでした。 チャンク戦略については、大きく３つのアプローチがあるようです。 チャンク戦略では、 データの構造 開発工数 精度 などからどこまでやるか？はケース・バイ・ケースですが、 固定チャンク >> セマン…

こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 ElastiCache for Valkey が 日本時間 2024/10/9 に利用できるようになりました。Valkey とは、ライセンス変更が発生した Redis をフォークしたインメモリデータベースであり、今後も継続して OSS として使用できるよう開発を進めていくことが発表されています。 Redis の代替の選択肢となり得る ElastiCache for Valkey を早速 AWS CDK で作ってみました。 オンデマンド (Self-designed) クラスタを作成する Serverlessクラスタを作成する …

はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は、AWSサービスである「Lambda」「CloudFront」「S3」を用いて、弊社で使用している社内向けシステムの基盤を再構築し、開発者体験の向上やセキュリティ対策を行なったお話です。 お話の内容 弊社で使用している社内向けシステムの一つに「Watson」というシステムがあります。「Watson」とは簡単にいうと「NewsPicks」のユーザーIDをもとにユーザーごとの情報を検索・閲覧できるシステムで、お客様からの問い合わせ対応等に活用される重要なシステムです。「Watson」は構築されたのが…

概要 10月5日(土)に開催されたYAPC::Hakodate 2024 で「AWS COST CUT FIGHT」という株式会社DELTA様のイベントがありました*1。 その中で弊社SREが2000$越えのコスト削減を達成しました。 むずかった😇月間$ 2,150のAWSコスト削減に成功しました！あなたはいくら削減できる！？コスト削減クイズにチャレンジ！presented by 株式会社DELTA https://t.co/CQyjt4khLM #yapcjapan— nakamura (@__namakura) 2024年10月5日 と思ったらついに2000ドルの壁を超えた猛者が！#yap…

LLMの日本語ロールプレイ能力を計測するベンチマーク「Japanese-RP-Bench」の概要と評価結果などのまとめ LLM-jp-3 を LLM Farm を使って iPhone で動かす Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge) 世界一の日本語性能を持つ企業向け大規模言語モデル「Takane」を提供開始 リコー、モデル…

AWS SAMとは Slack botをサーバーレスアプリケーションとして構築する理由 AWS SAMを用いたSlack botの作成 SAM CLI のセットアップ SAM CLIによるプロジェクトの初期化 Slack App の実装 SAM CLIでのビルド SAM CLIでのデプロイ Slack Appの設定 SAMを用いてSlack botを作成したときに発生する可能性のある課題 クレデンシャルをセキュアに設定する方法がわからない 解決策 bot のレスポンスが何回も実行される 解決策 SAM CLIでの後片付け おわりに こんにちは！スマートキャンプ株式会社の松下です。今日はAWS …

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味（ビジネスメタデータ）、運用状況や品質情報（オペレーショナルメタデータ）、技術的な属性や構造（テクニカルメタデータ）を一元的に管理しています。OpenMetadataの導入により、多様なデータベース、BI、CRMとの連携が実現し、データ管理の効率化と利用統計の可視化が可能となりました。さらに、データの検索性が大幅に向上し、データガバナンスの強化にも寄与しています。 OpenMetadataは、デー…

垣見です。 通常ProxyがあるAmazon AuroraではBlue/Greenアップグレードをすることはできませんが、無理やり実施するとどうなるか手順をまとめました。 基本おすすめはインプレースアップグレードやバイナリログレプリケーションでのアップデートですが、それらとの比較やBlue/Green Deloymentsの仕様の把握の手助けになれば幸いです。 また、Proxy付け外し関連の項目を除けば通常手順としても使うことが出来るので参考になればと思います。 はじめに ちなみに このブログでやること 概要 作業の流れ 対象 注意事項 バージョンアップ手順 - 事前準備 1. Green環境…

背景 出来上がったお客様向けの提案書（.pptx形式のPowerPointファイル）を、仕上げとして体裁レビューを依頼するとします。これはあくまで最後に「体裁」を整えるという意味で、見栄えや統一感、日本語文章の校正、表のズレなど非常に多義に渡ります。例えば以下は体裁レビューの一例です。 P2：目次の4.プロジェクト管理のページがズレてますP15：6行目「(Linux only) 」→（）全角にと、Linuxonlyでは無いでしょうか？P17：初期費用の合計だけ太文字になっていますP17：月額費用表の合計が無いのですがあった方がいいかと思いますP20：9行目「(含みます)」→（）全角にP23：見…

はじめに こんにちは！志水です。うちの子ども同士が早く起きるだけで喧嘩になってるので、もう理由何でもいいんだ？ってなってます。かわいいですね。 今回は、シアトルで開催されるAWS Ambassador Global Summitに2回目の参加となります。このサミットは、世界中のAWS Ambassadorsが集まり、最新のAWS技術やソリューションについて学び、知見を深めることができる特別な招待制イベントです。今年のサミットには102名が参加しており、そのうち39名が日本からの参加者です。昨年は全体で78名、日本人参加者は18名だったため、今年は特に日本からの参加者が倍増しており、AWSが日本…

こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャ…