SageMaker

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 SageMakerにはProcessingJobという機能があり、こちらはコマンドをジョブの形でサーバ上で実行できるというものです。重い計算を実行したり、再現性のある実験を行うために有用な機能ですが、同時に実行できるジョブの数には制限があります。今回は、この使用可能なジョブ数を…

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 SageMakerは元々JupyterLabのIDEを備えていましたが、こちらはNotebookの実行に最適化されたIDEであるため、データ分析であればともかくモデリングやMLシステムの構築には不向きな点がありました。 そこでCode Editorの出番です。こちらはVSCod…

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 今回はこれまでSageMakerを使ったことがない方向けに、SageMakerのはじめかたについて紹介したいと思います。 SageMakerというと様々なML向けの機能を内包した大きなサービスではありますが、今回はSageMaker Studioを用い、データ分析でおなじみのJ…

TL;DR CARTA MARKETING FIRMのデータサイエンスチームは、8年間にわたり機械学習基盤を進化させてきました。Luigi、AWS SageMaker、Prefectと変遷する中で、「データサイエンティストが最も付加価値を生み出す部分に集中し、時間を費やすことができる基盤」という目標に着実に近づいています。 Luigiでは開発環境構築や運用負荷が高く、柔軟性に欠けていました。 SageMakerではインフラ構築の複雑さやStep Functionsの制約が課題でした。 Prefectの導入により、Pythonのみでインフラからバッチ処理まで記述可能になり、A/Bテストの実施が容…

こんにちは。コミュニケーションIT事業部 ITソリューション部の英です。 普段はWebアプリやスマホアプリの案件などを担当しています。あと、趣味でAIを勉強しています。 みなさん、株式投資はお好きですか？私は大好きです。 最近の株式市場は大荒れですね。 気になりますよね。未来の株価。 タイムトラベルの能力があれば、真っ先に株価を見に行くでしょう。 まあ、そんなことができたならば今ごろ会社員なんてやっておりません。 前置きはこれくらいにして、今回は過去の株価データを使って未来の株価を予測するモデルを作成してみましょう。 過去の株価の数値だけを参考値として予測するため、決して皆さまの資産運用の参考…

TL;DR こんにちは。弥生R&D室の飯田です。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めていますが、SageMakerにはProcessingJobというサービスがあり、モデル訓練のような重い処理に適しているため大変便利です。 しかし計算用インスタンス上で実行しているプロセスの管理には直接 ps や kill を使うことができず、独自のコマンドが必要となるため、よく使うものをこの記事で紹介したいと思います。 実行環境 AWS CLI が動作する環境、および利用するSageMakerのドメインに対応したアクセスキーの設定が必要です。 コマンド集 現在動いて…

こんにちは。エンジニアの山下です。 今回は Salesforce Data Cloud と Amazon SageMaker の連携機能について書きたいと思います。 やること 今回は Data Cloud と SageMaker の連携機能を検証するわけですが、実はこの検証に SageMaker は使用しません。本記事のタイトルにも SageMaker のモデルを呼び出すとは一言も書いていなかったりします。 要するにこういうことです。今回は SageMaker のエンドポイントを装ったダミーのサービスを立ち上げて Data Cloud に接続します。そしてダミーのサービスから適当な結果を返して…

AWS APNが主催するre:Invent 2024 LT大会に参加しましたが、仕事に忙殺されそうになっています。この投稿では、気になるAWSのアップデートや記事を厳選してお届けします。 Stable Diffusion 3.5 Large (SD3.5 Large)がAmazon Bedrockで利用可能になったこと、AWS SDK Java 2.xに新たにSQSやKinesisに関連する機能が実装されたこと、などをピックアップしています。 収集期間：2024/12/9 ~ 2024/12/21 AWS What's New Amazon MQ now supports AWS Privat…

SageMakerを使ってPromptを更新するLab。Lambda上でPromptを実行しているのであった。

本投稿は サーバーワークス Advent Calendar 2024 の 18日目の記事です。 こんにちは。エデュケーショナルサービス課の竹本です。 世間ではインフルエンザが猛威を振るっていますね。 あぁ、鴨鍋を食べたいなぁと思いながら自宅でこのブログを書いています。 さて AWSのアップデートを追っていると zero-ETLというキーワードをよく目にします。というか、あまりにも目にしすぎました。 一体何のサービスと何のサービスが、それぞれどのように zero-ETLに対応したのかパッと出てこない方も多いのではないでしょうか。 そこで自身の整理のためにも、当記事でこれまでの zero-ETL …

マネージドサービス部 佐竹です。 2024年11月から12月にかけて AWS Security Hub では Interface 型の VPC Endpoint に関する新しい Control、つまりはセキュリティチェック項目が多数追加されています。Interface VPC Endpoint に関しては少々思うところがあるため、セキュリティとコストの観点でブログを記載していきます。 はじめに Central configuration で Security Hub を運用していると Security Hub に追加された新規のコントロールについて コントロール追加によるスコアの下落にどう対処…

こんにちは、技術本部 研究開発部 ML Platformチームでインターンをしていた岡部です。ML Platformチームでは、主に社内の研究員の成果を高速にリリースするための基盤であるCircuitの開発・運用を行っています。 CircuitはEKSをベースとしたシステムで、シングルクラスタの運用を行っています。Circuitに関する詳細は以下のスライドを参照してください。 speakerdeck.com 本記事は Sansan Advent Calendar 2024、16日目の記事です。

今週やったこと Macの環境構築用のシェルスクリプトを書いた. 先月新しくMacを買ったので、ツール類をインストールするシェルスクリプトを書きました。 目的としては、現状のMacのセットアップ状況をわかりやすくすることと、端末を新しくした時にも同じスクリプトで環境構築の手間を省くことです。

SageMaker endpointを使用するLabだった。以前にCloud Questをcompleteしたときは，Roleは全部で6つだったのだが，今はAI等が増えて8つになっている。勉強しなおし。

bedrock: Intelligent Prompt Router向けにListPromptRoutersとGetPromptRouter APIを追加、Guardrailsの画像フィルタとBedrock Marketplaceをサポート kendra: GenAI IndexでRAGとインテリジェント検索をサポート sagemaker: HyperPodがタスクガバナンスと柔軟なトレーニングプランを提供、AIアプリが利用可能に bedrock-data-automation: Bedrock Data Automation SDKをリリース bedrock-runtime: Intelli…

この記事は every Tech Blog Advent Calendar 2024 の 14 日目の記事です。 はじめに こんにちは。 開発本部のデータ&AIチームでデータサイエンティストをしている古濵です。 直近開発に取り組んでいるデリッシュAIのアーキテクチャについてご紹介します。 DELISH KITCHENでは 「作りたい！が見つかる」をサービスのコンセプトとして、様々な機能を提供してきました。 一方、ユーザーひとりひとりの多様なニーズに合わせたレシピを提案していくには既存機能だけでは難しい部分があります。 そこで、AIによる料理アシスタントとして「デリッシュAI」ベータ版を一部ユー…

表形式のデータをAIに読み込ませて分析することで、これまで人が行っていたデータ処理を自動化し、より高度な分析が可能になります。 なぜAIによる表データの分析が注目されているのか？ 時間短縮: 大量のデータを短時間で処理できるため、分析にかかる時間を大幅に削減できます。 正確性向上: 人の手作業によるミスを減らし、より正確な分析結果を得られます。 新たな発見: 人間の視点では気づきにくいパターンや相関関係を発見できます。 表をファイルで読み込んで分析してくれるAIの活用例 売上データの分析: 売上推移、顧客属性、商品別の売上などを分析し、マーケティング戦略に活かす。 顧客データの分析: 顧客の購…

AWSグループの藤岡（@fuji_kol_ry）です。 先日開催されたre:Invent 2024 で、数多くの生成AIや機械学習サービスが発表されました。あまりに数多くの発表があって、キャッチアップもなかなか大変です。 そういった中で必要不可欠なことは、AI/MLの基本的な知識と思います。 そこで私は、最も効率的に基礎知識を習得するためのアプローチの1つが資格取得にあると考え、先月11月に一気にAWSの機械学習系の資格3つ（AWS Certified AI Practitioner、AWS Certified Machine Learning Engineer - Associate、AWS…

三度の飯よりサメ映画が好きなウメキです。 さて、re:Invent 2024 では 「Amazon Nova」などの 生成AI/ML関連に関する様々な発表があり、生成AI/MLの勢いがますます加速していること感じています。 ▼ サーバーワークスエンジニアブログの re:Invent 2024 のレポートはこちらからどうぞ！ AWS re:Invent 2024 カテゴリーの記事一覧 - サーバーワークスエンジニアブログblog.serverworks.co.jp そんなアップデートを追いかけるためにも、AI/ML関連の知識が必要ということで、このたび AWS Certified AI Prac…