機械学習
AIが描いたイラストが話題にあり、その進化のスピードも速く、今ではキャラクターの構図やポーズを指定して画像生成ができるまでになっているいう。しかもクオリティが高いとくる。 AIが描いたイラストは、イラストコミュニケーションサービスなどには載せてほしくない、という意見も出始めた。 AIイラスト生成ツールで作成したイラストCreated with an AI illustration generation tool しかし、少し考えてみると、AIやロボットは以前から我々の社会に溶け込んでいる。 例えば、お菓子を生産する工場は、AIとロボットによってコントロールされ、ほぼすべての生産ラインが自動化さ…
Deep learning, Machine learningのclassificationでは必須のconfusion matrix sklearnとSeabornで簡単に作成できます。 Test用csvはこんな感じ。 正解のlabelを予測されたlabelを縦に並べる。 test csv 今回は、シンプルに"Good"と"Bad"の2class 分類 ここからコード↓ 必要なmoduleは事前にインストールしてくださいませ。 # import module import numpy as np import pandas as pd import seaborn as sns import…
Auto Machine learning ができるPycareteのインストール方法 〜 pip install --upgrade pip --user pip install pycaret --user pip install scikit-learn==0.23.2 〜 pycaretはpython 3.8で動く(3.9はダメ！！ 2023.02.03現在) なので、ローカルの場合が専用の仮想環境を作る。scikit-leanがversion 0.23.2でなければ動かないので、何らの理由でのscikit-leanが更新されてしまった場合は、再度pipでscikit-learnを入れ…
先日、Databricks社のセミナーを聴講させていただきました。 DataOpsやMLOps, DevOpsという言葉も使われており、データに関することはなんでもサポートしてくれるサービスを目指すという世界観が良いなと思いました。 ここで、MLflow2.0の機能説明もありました。 Databricksで開発を行うと、基本的にMLflowの機能がすぐに使用できるようになっているため、説明があったのだと思います。 その中でMLflow Recipesという機能の発表がありました。 一見便利そうな機能ではあったのですが、時間が限られたセミナーということもあり、具体的にどんなことができるのかを理解…
Single GPU DataParallel DistributedDataParallel 参考文献 全コード 比較 CPU 1 GPU 複数GPU(Data Parallel) 複数GPU(Distributed Data Parallel) 執筆途中。あくまでメモなので注意 Pytorchの並列化について。 GAN等の重たいモデルを学習する際や、バッチサイズを大きくしたかったり、学習を高速で終えるために複数のGPUを使いたいときがあります。 そういった場合「並列処理」を使います。PytorchにはDataParallel と DistributedDataParallelの2つがありま…
はじめに カルマンフィルタとは MOTで使われる状態ベクトル 共分散行列も必要 各ステップの解説 予測（Prediction）ステップ 更新（Update）ステップ マハラノビス距離 まとめ はじめに R&Dユニット3年目の葉山です。 以前MOT（Multiple Object Tracking）の紹介記事をこちらのブログで公開しましたが、 tech-blog.optim.co.jp 今回はTracking-by-Detectionパラダイム*1なMOTでよく使われるカルマンフィルタの解説記事になります。高パフォーマンスな手法として最近人気のByteTrackでもカルマンフィルタが使われており…
こんにちは。人工知能研究所 自律学習PJの小橋です。 これまで我々のPJ(プロジェクト)では、折をみてブログで研究ネタを発信してきましたが、「そもそも富士通のAI研究って何してるの？自律学習PJって何なの？」という話しはしてきませんでした。せっかくなので、（二ヶ月近く過ぎちゃいましたが）2022年度も始まったことですし、そのあたりを少し紹介してみようと思います。 で、もし我々の活動に興味が湧けば、最後に書いてあるMeety(カジュアル面談)や採用ページからのコンタクトをお待ちしております！！ お前は誰だ？ 人工知能研究所と自律学習PJ 自律学習PJで具体的に何やっているの？ AutoML Ou…
こんにちは．人工知能研究所 自律学習PJの浦です．富士通研究所では「自律的に学習可能なAI技術」に関する研究開発を行っています．このたび，我々の研究成果であるAutoML技術であるSapientMLの研究論文が，ソフトウェア工学の主要な国際会議であるICSE2022に採択されたので，その内容を紹介します． 対象論文 タイトル：SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions 発表会議：44th International Conference on Softwa…
Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価などの役割を担うサービスになっています。 https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-processin-fully-managed-data-processing-and-model-eval…
機械学習の実践例として、プロ野球選手の成績と年俸のデータを使って、機械学習モデルの作成・予測実行してみました。イメージは以下のとおりです。 準備 Pythonの設定 プログラムはPythonを使用し、機械学習のアルゴリズムは、Kaggle等のデータ分析コンペでも人気のLightGBMを使用します。 Pythonの設定方法・使い方については、必要に応じて過去の記事をご確認ください。 データサイエンティストを目指す方向け Pythonセットアップ方法（Windows版） - Kevin's Data Analytics Blog Jupyter Notebook：データサイエンティストを目指す方に…
2020 年は、世界中の国々やさまざまな分野で多くの課題をもたらしました。お金の使い方に大きな変化があり、人間の活動は衰退しました。たとえば、銀行の ATM に現金を預けに行く。しかし、ビジネスの全体像を見ると、金融セクターにポジティブな兆候はほとんど見られません。この記事では、「人工知能がフィンテック セクターにどのように影響を与えることができるか?」のポイントに焦点を当てます。デジタル テクノロジの使用に肩をすくめた個人は、オンライン バンキングに切り替えるしかありませんでした。ロックダウン期間。これは、人工知能や機械学習などのテクノロジーが金融業界での働き方を再定義した時期でした。はじめ…
この記事は、2023/6/15-16@Taipeiで行われるRAN-Release 19 workshopに関する個人的メモです。 https://portal.3gpp.org/Home.aspx#/meeting?MtgId=60517 [2023/6/2 追記修正] Workshopって？ どういう位置づけなの？ 何を議論するの？ Rel-19 はどうなんだ！？ Overview of ITU-R 6G Timeline Rel-19 Key Topic Regenerative NTN gNB DU payload UE UL physical aggregation TDD full…
こんにちは。絶賛 AWS と LinuC を猛勉強中の藤川です。 少し遅くなってしまいましたが、先日（2023/4/20 - 21）に千葉県の幕張メッセで開催されました、AWS Summit Tokyo 2023に参加させていただきました。 私事で恐縮ですが、以前より取り組んでおりましたAWS認定資格の勉強において、9ヶ月間でAWS認定12冠を達成し、2023 Japan AWS All Certifications Engineersに選出していただきました。 aws.amazon.com 弊社からは、私も含めて5名のエンジニアを選出していただいています。尊敬する大先輩の中に名を連ねることが…
はじめに 2023/05/23-25(現地時間)、ボストンで Red Hat Summit 2023 と AnsibleFest 2023 が開催されました。今年からこの 2つのイベントが合同開催の扱いになったようです。 私は現地には行っていませんが、3つのキーノートが YouTube Live で見れました。2023/05/29 現在、すでに YouTube では閲覧できなくなっていますが、イベント登録すると同じタイトルのものが閲覧できます（日本語字幕も！）ので、リンクも張っておきます。 （2023/06/01 追記 YouTube でも再度見れるようになりましたので、YouTube へのリ…
はじめに どうもナオルです！ あなたは、2023年のITトレンドについて知っていますか？ ITトレンドとは、情報技術の分野で最新の動向や革新的な技術のことです。
まず試したこと 下図のように、①ハンバーガーメニューを押し、②Advanced searchを選択し、③例をまねて「IEEE or ACM」と入れて検索してみると、④のような検索キーワードが表示されたものの。。。検索結果は０。おいおい。 ChatGPTくんに聞いてみた To search for papers from multiple sources, use the "source:" operator followed by the name of the first source you want to include, and then use the "OR" operator t…
このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、論文をもとにChatGPTでコンテンツモデレーションモデルがどのように構築されたのかを紹介します。こんにちは。AIソリューションサービス部の米川です。大規模言語生成モデル（LLM）を活用したいと考えた際、モデルを準備するだけでなく運用リスクを低減を期待できる多様な技術を調査・検証することが求められます。それらの技術領域の例として「モデルの入出力の監視」があります。…
MathJax.Hub.Config({ TeX: { equationNumbers: { autoNumber: "AMS" } }, "HTML-CSS": { availableFonts: ["STIX"], preferredFont: "STIX", webFont: "STIX-Web" } }); 皆さんは「トロピカル幾何」とか「トロピカル演算」とか「トロピカル代数」というものをご存じでしょうか。名前からして面白そうだなぁ～とは思いつつ、何に使うかさっぱり分かりませんでした。ですが、先日面白い記事を見つけまして、トロピカル演算を使うとグラフの最短経路問題が解けるみたいで、 q…
本記事は 初夏のAWSアワードエンジニア祭り 7日目の記事です。 🍦 6日目 ▶▶ 本記事 ▶▶ 8日目 💻 小西秀和です。 今回はブログイベント「初夏のAWSアワードエンジニア祭り」ということで、私が2020～2023のJapan AWS Top Engineer、Japan AWS All Certifications Engineer として選出されてきた4年間の活動(主に2019年度～2022年度)を振り返りたいと思います。 まず、私についてですがAmazon Web Services(AWS)を使いだしたのは2008年にAmazon EC2がGAになった頃で、その数年後に当時情報源が…
devblogs.microsoft.com
www.oreilly.com
cloud.google.com
www.publickey1.jp
www.coursera.org
mlaass1.hatenablog.com
speakerdeck.com
www.tensorflow.org
garicchi.hatenablog.jp
