automl

こんにちは。人工知能研究所 AutoMLプロジェクトの木村です。人工知能研究所では、研究所の先端AI技術を公開するためのプラットフォーム Fujitsu Kozuchi を通して、多くのお客様に我々の技術を素早く提供することで価値検証と技術の改善を迅速に進めていく取り組みを行っています。 この度、Fujitsu KozuchiのいちコアエンジンとしてAutoMLプロジェクトが開発している、Fujitsu AutoMLのデモアプリを以下のURLで一般公開しました。 https://automl.jp.fujitsu.com/ この記事では、デモアプリの内容と利用方法について紹介します。

概要 今回の記事では一般提供開始が開始されたAzure OpenAI Service の活用方法についてご紹介します。 最近は特にChatGPTが広く使われるようになりましたが、Azure OpenAIではチャットのような対話に限らず、より幅広い自然言語処理のタスクに応用することができます。 今回の記事では一例として、過去にご紹介した「業務メールを必要なものと不要なものに振り分ける」というタスクをGPT-3のAIに解かせてみます。 概要 やりたいこと 前回の振り返り Azure OpenAIの導入 Azure OpenAI(GPT-3)で推論精度は向上するのか？ 前提 作業手順 評価方法 学習…

はじめに 今回の記事では自然言語処理を用いて、日本語の文章を分類する方法をご紹介します。 具体的にはDov2Vec、Fasttext、AzureMachineLearningのAutoML機能を使用して分類タスクを解かせます。 はじめに 目的 提案手法 前提 具体的な手法 文章のベクトル化 次元削減 文章の2値分類 精度評価 精度評価における課題 評価手法 使用する環境 PCスペック バージョン情報 外部モデル 使用データ 学習用データセット テスト用データセット 処理概要 前処理（正規化、形態素解析） 日本語文章のベクトル化 文章ベクトルの分類 結果 まとめ・今後の方針 目的 社用のメールア…

こんにちは、Androidエンジニアのあいばです。 今年の始めから息子がウルトラマンにはまり一緒に見始めたのですが、ウルトラマンの数が私の想像の5倍くらいいて驚きました。 最近は毎年新しいTVシリーズが出ていたり、シン・ウルトラマンが公開されたり、本格的に海外展開を始めたりでウルトラ界隈がかなり盛り上がっているようですね！ 今回は夏なので、ウルトラマン x Firebase ML で遊んだ内容を自由研究風にまとめたいと思います！

こんにちは．人工知能研究所 自律学習PJの浦です．富士通研究所では「自律的に学習可能なAI技術」に関する研究開発を行っています．このたび，我々の研究成果であるAutoML技術であるSapientMLの研究論文が，ソフトウェア工学の主要な国際会議であるICSE2022に採択されたので，その内容を紹介します． 対象論文 タイトル：SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions 発表会議：44th International Conference on Softwa…

公開日：2022年3月14日 最終更新日：2022年9月14日 はじめに データの準備 学習 Pythonスクリプト 出力 テストデータを用いた検証 Pythonスクリプト 出力 推論 画像 Pythonスクリプト 出力 結果 さいごに 環境 MultiModalPredictor関連記事 はじめに犬と猫の画像分類は何度もやってきました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回はMultiModalPredictorを使って挑戦したいと思います。データの準備こちらとおなじ方法でデータを準備しました。 このようなPandasデータフレ…

前回までの記事で、世界中のデータサイエンティストが集う「kaggle」のコンペをベースに機械学習について学んできました。 ▼翌月の商品売上予測「Predict Future Sales」過去記事 ai-china.hatenablog.com 評価が高い投稿者のプログラムを理解することはまだ可能ですが、自分でゼロから機械学習のモデル選びやハイパーパラメータのチューニング、特徴量エンジニアリングをするのは難易度が高いです。そこで今回はこれらを自動的に行う「AutoML」を使ってみました。AutoMLで中国株の騰落予想を行います。 AutoMLとは 中国株情報取得 AutoML(auto-skle…

AGI実現までの10年：生成AIの進化がもたらすAGIからASIへの未来 はじめに 20代後半から40代前半の、テクノロジー分野で活躍する専門家や学習意欲の高いエンジニア、あるいは大学や大学院で人工知能（AI）やマシンラーニングを研究する学生の皆さんにとって、「AGI（Artificial General Intelligence：汎用人工知能）」は、近年ますます関心を集めるトピックとなっています。また、すでに私たちの生活や仕事環境には、生成AI（Generative AI）を筆頭とした高度なAIモデルが幅広く浸透し始めており、その進化は留まることを知りません。これまでの「特化型AI」から、よ…

1. 概要 2. 構築したMLOpsパイプライン 3. 実装におけるポイント 3.1. Pythonストアドプロシージャ 3.2. Snowflake TaskによるDAG実装 3.3. 外部ステージを使ったモデル管理 4. 切り替え効果 5. 今後に向けて 1. 概要 NTTドコモ データプラットフォーム部の外山です。私たちのチームでは、4000万規模のユーザーを対象とした機械学習モデルを計50本開発・運用しており、効果的なマーケティングやプロダクト改善を実施する事業部を支えています。 これまで、AutoML製品のDataRobotを核にMLOpsパイプラインを構築していましたが、Snowf…

GoogleCloudLeaderの資格勉強にあたり、GoogleCloudサービスを簡易にまとめました。 2024/12/1時点の内容です。 GoogleCloud主要機能とAWS対比 人工知能および機械学習(AI/ML) 提供サービス GoogleCloud主要機能とAWS対比 AWS利用経験があるため対比して整理しました。 AI系は後述しています。 個人的にはRDBかつ水平スケーラビリティがあるCloudSpannerに興味あります。 GoogleCloud公式ページでも同様の内容が整理されているためそちらのほうが正確です…。 サービスの種類 AWS GoogleCloud 仮想サーバ …

小西秀和です。 今回は新しく追加されたAWS認定であるAWS Certified AI PractitionerとAWS Certified Machine Learning Engineer - Associateに私が合格するまでの学習過程で得られたナレッジを「AWSに関するAI・機械学習用語集」として、ざっくりとまとめてみました。 この「AWSに関するAI・機械学習用語集」の内容は、日本の「技術書典17」向けに個人出版として共著した「AWSの薄い本の合本Vol.01」における「クイズで学ぶAWSの機能と歴史：厳選『機械学習』編」の問題・解答にも使用しています。 短時間にAI・機械学習の用…

G-genの杉村です。Google Cloud（旧称 GCP）の認定資格である Associate Data Practitioner 資格の試験対策に有用な情報を記載します。 基本的な情報 Associate Data Practitioner とは 難易度 出題傾向 試験対策 ETL と ELT ETL と ELT の基本 オープンソースツールとフルマネージドサービス Cloud Data Fusion イベントドリブンアーキテクチャ データベースの選択 BigQuery BigQuery の基本 ELT と ETL 半構造化データの扱い（JSON 型） パーティションとクラスタリング 外…

Fujitsu Research PortalでWebアプリやAPIを試すには簡単な登録が必要です。 登録には過去記事が参考になりますので、まだ、登録がお済ではない場合は、下記の記事を先にお読みいただけると幸いです。 hatsune.hatenablog.jp お試しお勧め：対話型生成AI [WebApp] Fujitsu Research Portalには、思った以上に様々なWebアプリが公開されていてどれから試そうか迷いますよね。 そんなときにお勧めなお試しWebアプリが「対話型生成AI」です。 documents.research.global.fujitsu.com 利用できるAIモデ…

こんにちは、皆さん！今日は、私が最近取り組んだ「AutoML（Vertex AI）」を使って作成したツールを、実際にアプリ化・製品化する方法について詳しくお話ししたいと思います。AutoMLは、機械学習の知識がなくても、データをインプットするだけで簡単に高精度なモデルを構築できる素晴らしいツールですが、作成したモデルをどうやって実際のアプリケーションに組み込むかは、別の課題です。 今回の記事では、Google CloudのVertex AIを使って作成した機械学習モデルを、Webアプリケーションに組み込み、製品化する流れを解説していきます。 AutoML（Vertex AI）とは？ まず、簡単…

Fujitsu Research Portalをご存じでしょうか？ portal.research.global.fujitsu.com 富士通の先進技術を、様々な用途で、いち早くお試しいただく環境として、技術コンポーネントのAPIやWebアプリケーションを無償で公開しています。 製品の無料評価などはありますが、日本企業で、このような先端技術を体験できる取り組みはまだまだ珍しいのではないでしょうか。 Fujitsu Reseach Portalで試すには アカウント作成 アカウント作成開始 Fujitsu Reseach Portalの利用にはアカウントが必要です。まずは、ポータル上部の[アカ…

このシステムはAIで作りたい（作る）けど、作るためのマインドセット、スキルセット、スケジュールの整備が大事でありレバレッジだなとも思う。 （レバレッジに取り憑かれている） なぜなら、自動で動き続けてくれるシステムこそがレバレッジだとして、このシステムを作るには知識、スキルをベースに技術選定、設計、開発スケジュール、実装、テスト、デプロイという工程が必要で、この工程にかかる時間、成果物の質がまた重要であるからである。？ レバレッジを生むためのレバレッジ。 実際に技術選定によってその後の製作コストは何倍、何十倍あるいはそれ以上の差を生む可能性があるし、そのシステムの設計、アーキテクチャによってシス…