Hatena Blog Tags
はてなブログ トップ
Kubeflow
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Kubeflow

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
てっく・ざ・ぶろぐ！•1ヶ月前

KubeflowによるNaaS構築入門（#16）

Audio Overview（English／日本語） English (recommended) 日本語（非推奨） はじめに コードを迅速にプロトタイピングしたい時やデータを可視化して共有したい時に、手軽に利用できるGoogle Colabのようなサービスをself-hostedで提供したいと考えています。 特に研究室サーバーではホストマシン上にPythonがインストールされておらず、JupyterLabを利用したい場合はDockerコンテナを起動する必要があります。 環境の分離という観点では正しい運用ですが、設定の煩わしさからGoogle Colabに勝るユーザー体験は提供できていません。…

#Kubernetes#Kubeflow#marimo

関連ブログ

アルゴリズムとかオーダーとか•5ヶ月前

KubeflowのArtifact作成方法

KubeflowにArtifactというデータなどを保存するための仕組みがある。Artifactを活用すると実験の履歴にどのデータを入力として使い、生成されたモデルがどれか？を紐づけて管理できるようになるらしい。ということでArtifactを使えるようにしたいと思いいろいろ調べたけど、とりあえず動かすというサンプルがなかったので作ってみた。 多分AWSのS3とかGCSのStorageとかに保存するのだといろいろサンプルあるんだろうけどローカルでお試しするのがなかった。結構四苦八苦したので、同じように困った人向けに公開しておく。 gist.github.com 概要説明 所感

#機械学習
アルゴリズムとかオーダーとか•6ヶ月前

KubeflowのNotebookからPipelineを実行

この記事では、KubeflowのパイプラインをNotebookから実行する方法を説明する。Kubeflowがローカル環境に構築されている場合、ServiceAccountの設定から実際にパイプラインを実行する手順を記述する。 以下の公式のドキュメントが実行できなかったので、ローカルのkubeflow notebookで実行できる手順をまとめた。 www.kubeflow.orgどうやらデフォルトで提供されるServiceAccountには、Kubeflow Pipelineを操作するための十分な権限がない。 このため、必要な権限を付与した新しいServiceAccountを作成し、Notebo…

#機械学習
アルゴリズムとかオーダーとか•6ヶ月前

Windows11+WSL2にKubeflow環境構築手順 2024年末版

最近GCPのPMLE試験に無事合格した。その試験勉強の際に問題として触れることが多かったKubeflowにすこぶる興味が湧いたので自宅PCに環境構築を行ってみた。この記事は環境構築手順についてメモ的に残すためのもの。構築手順については先人のブログと公式のgithubを参考にしながら進めた。 venoda.hatenablog.com github.com 注意点 事前セットアップ 環境 WSL --versionの結果 そのほかのバージョン Kubectl v1.31.0のインストール Kustomize v5.4.2のインストール kubeflow v1.9.1のインストール ダッシュボード…

#機械学習
nikkie-ftnextの日記•1年前

素振りログ：kfpのDSLで書いたパイプラインを、Kubeflow PipelinesでもVertex AI Pipelinesでも実行する

はじめに ナイスゲーム！！👏👏👏 nikkieです。 先日、小さな気づきを記事にしました。 以下の宿題に取り組みます。 過去記事に沿ったYAMLファイルを当初Vertex AI Pipelinesにアップロードしたのですが、これは弾かれてしまいます。 小さな（練習用）パイプラインをkfp 2系でKubeflow PipelinesでもVertex AI Pipelinesでも動かします 目次 はじめに 目次 kfpで書いたパイプライン ローカルのKubeflow Pipelinesにて GCPのVertex AI Pipelinesにて 終わりに kfpで書いたパイプライン こちらの記事をもと…

#Kubeflow#Kubeflow Pipelines#Vertex AI#Vertex AI Pipelines#機械学習パイプライン#kfp
nikkie-ftnextの日記•2年前

Kubeflow Pipelines素振りの記：ローカルのクラスタにインストールして、チュートリアルの簡単なPipelineを動かす

はじめに 「お疲れさまでーす」 「あっ、ご丁寧にありがとうございます」 「kfpさんですか。私はにっPといいます。仕掛け人です」 「kfpさんのご担当は？」 思わせぶりな書き出しでしたがミリアニの記事ではなく、技術者nikkieがお送りする技術記事です。 Kubeflow Pipelinesを触り出しました。 目次 はじめに 目次 Kubeflow Pipelinesとは Kubeflow Pipelinesのインストール インストール手順 チュートリアルに沿ってPipelineを作ってRun！ Pipelineを作ってRunする手順（現時点の理解） Hello World ExitHandl…

#Kubeflow#Kubeflow Pipelines#機械学習パイプライン#kfp
スタディサプリ Product Team Blog•4年前

Kubeflow Pipeline の魅力を最大限に引き出すにはやっぱりコンポーネント化スキルが必要

こんにちは、データチームの@masaki925 です。 昨年末にMLOps に関する記事を書きました。 quipper.hatenablog.com 今回はその続編で、レコメンドシステムのJenkins 部分をAI Platform Pipeline (以下AIP Pipeline) に置き換えた話です。 昨今では国内でもKubeflow Pipeline (以下KFP) 系の導入事例がいくつか出ており、特にZOZOテクノロジーズさんの記事は大変参考にさせていただきました。 techblog.zozo.com 今回の話では、まだまだパイプラインを使いこなすところまでは至っていないですが、 最初…

#GCP#Kubeflow
ZOZO TECH BLOG•4年前

KubeflowによるMLOps基盤構築から得られた知見と課題

はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課…

#Kubeflow#Kubernetes#GCP#機械学習#開発環境#運用改善
MicroAd Developers Blog•4年前

AI Platform Pipelines の機械学習基盤への導入

こんにちは、マイクロアド機械学習エンジニアチームの河本（@nnkkmto）です。今回、モデル学習における課題解決に向けて GCP における機械学習基盤に AI Platform Pipelines (Kubeflow Pipelines) を導入しました。今回はその内容について紹介します。 従来の方法 抱えていた課題 手段：AI Platform Pipelines 導入時の方向性 導入内容 実行処理 CI / CD 終わりに 参考 従来の方法 マイクロアドでは学習実行基盤として GCP (Google Cloud Platform) を採用しています。 定期的な学習が必要な推論モデルは、 A…

#機械学習#AI Platfrom Pipelines#Kubeflow#GKE#Google Cloud
Atrae Tech Blog•5年前

GCP AI Platform Pipelines 選定時の観点と運用した所感

こんにちは、Docker の申し子 小倉です。 この記事は、株式会社アトラエアドベントカレンダー2020年 24日目の記事です。昨日の記事は@Tech-makoton のキャッシュについて、わかりやすくまとめてみた でした。 今回は Google Cloud Platform のサービスである AI Platform Pipelines をパイプラインツールとして選定した理由と、実際に運用した上での所感について書いていきます。 パイプラインツール利用の背景 弊社では wevox という SaaS を提供しています。システムとしては組織の各従業員に配布したサーベイの回答結果を集計・分析した上でサ…

#GCP#Kubernetes#Kubeflow