machine learning

こんにちは．富士通研究所人工知能研究所のプライニング ノルベルトと小橋博道です。 2月の8日から10日にかけて、Scikit-learnコンソーシアム主催のワークショップ(Interpretabilityについて)とDevSprintが開催され富士通の代表として参加しましたので、その様子を簡単にご紹介しようと思います。 なお、富士通はこのScikit-learnコンソーシアムにアジアから唯一参画している企業で、Scikit-learnの成長ならびにアジアでの浸透を推進しています。 Advisory Committee (小橋) Workshop (プライニング) DevSprint (プライニ…

こんにちは！こーたろーです。 昨日は、データサイエンスのオンラインイベントに参加してきました。 皆さん、いろいろな現場での悩みなどがあり、データサイエンスの位置づけとは！みたいなことで盛り上がっていました。 データサイエンスは現場あって初めて価値がでますし、データがないと何も始まらないということが言われています。 早く現場でやってみたいですね。勉強だけでは技術的に身につかない部分が多いです。特にコンサルの部分。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、Googleの深層学習のアート適用プロジェクトMagenta（https://magenta.tensor…

こんにちは！こーたろーです。 Deep Learning の2021年度の学習計画をそろそろ立てようかと思っています。 いい参考書などありましたら教えて頂けると幸いです。 それでは今回も【図解速習DEEP LEARNING】やっていきます！ 今日は、「mimi」というWebAPIサービスを利用していきます。 こちらは、フェアリーデバイセズ株式会社が提供しているものです。 mimiのアカウント作成 アプリケーションIDおよびクライアントIDの発行 アクセストークンの取得 音声認識を試す mimi🄬 ASR 版 mimi🄬 ASR powerd by NICT版 機械翻訳を試す 音声合成を試す

こんにちは！こーたろーです。 今日から【図解速習DEEP LEARNING】のSection11の「音を取り扱う深層学習」を行っていきます。 昔から音楽好きのため、音に関する知識は結構勉強しました。 下準備はばっちりだと思います。 本日はまず、ブラウザから日本語音声認識ができるサイトでの音声認識の体験をしてみます。 それでは早速参ります。 ブラウザから日本語音声認識を試す Microsoft Azure Speech to Text Google Cloud Speech to text

こんにちは！こーたろーです。 本日も【図解速習DEEP LEARNING】の自然言語処理を行っていきます。今回は、seq2seq（sequence to sequence）を使って、スペイン語から英語へ翻訳してみます。 必要なライブラリのインポート データセットをダウンロードする データセットの前処理 前処理の定義 使用データセットの制限による実行時間短縮 tf.dataデータセットの作成 モデルを作成 GRUを定義 エンコーダを定義 デコーダを定義 エンコーダ・デコーダ作成 オプティマイザーと損失関数を定義 チェックポイントを定義し、学習途中の状態を保存できるようにする モデルの学習 モデル…

こんにちは！こーたろーです。本日もやってまいりましょう！【図解速習DEEP LEARNING】の自然言語処理の課題です。今回は、テキストの生成ということで、RNNを用いて作成していきます。 必要なライブラリーのインポート データセットのダウンロード データの前処理 モデルの構築 モデルを訓練する テキストを生成する

動かしながら学ぶ PyTorchプログラミング入門作者:斎藤勇哉発売日: 2020/11/30メディア: Kindle版 目次 目次 目的 準備 解析手法 1. 皮質厚計測 準備 実行 結果 2. 皮質厚評価 準備 実行 結果 各大脳皮質の分布：data_hist?.png Ground truthに対する相対誤差：Relative_error_in_cortical_thickness.png 平均二乗誤差（MSE）と平均絶対誤差（MAE）：MSE_MAE.csv, MAE_result.png, MSE_result.png Ground truthからの絶対差に対する検定：indepen…

こんにち！こーたろーです。本日は、こちらの記事についてです。wired.jp

こんにちは！こーたろーです。本日は、また課題テキストの【図解速習DEEP LEARNING】に戻って、課題を進めていきます！今回は、TF-Hubが提供しているUniversal Sentence Encoderという学習済みモデルを使って、文章の類似度を判定していきます！

こんにち！こーたろーです。 皆さんはConnpass使ってますか？ 技術者用のイベントが沢山あっていろいろと為になります。 ネットワーキングにも使えていいですよ！ 本日は、「【第８回 みんなで学ぼう！Pythonによるデータサイエンス】」に参加してみました。

こんにちは！こーたろーです。 【図解速習DEEP LEARNING】の自然言語処理の第２弾です。本日は、映画情報サイトにあるレビューを識別する（その２）を行っていきます。昨日は、Embedding層とMLPで構成されたものを取り扱いました。自然言語処理で、レビューの識別やってみた！その１【図解速習DeepLearning】#012 - 福岡の社会人データサイエンティストの部屋 今回は、TF_Hubで提供されているEmbeddingモデルを使って、転移学習を行っていきます。

こんにちは！こーたろーです。本日からは【図解速習DEEP LEARNING】の自然言語処理を行っていきます！ 自然言語処理の第１回目は、映画情報サイトにあるレビューの識別（その１）をやっていきます。IMDB（http://www.imdb.com/）という映画情報サイトのレビューを用いて、映画に対して好意的か、否かを判別していきます。学習データとしては、文章と正解ラベル（ポジティブ：０、ネガティブ：１）を与える教師あり学習を行って、推論を行います。モデルは、Embedding層（分散表現を行う層）＋MLP（多層パーセプトロン）を活用していきます。

×93 Screenshot - dbabee5555a9c506213bb1167576c567 - Gyazo ×54 Zero Data App ×43 Wind Replaces Coal As Main Source of Power In Germany - Slashdot ×34 GitHub - nodegui/svelte-nodegui: Build performant, native and cross-platform desktop applications with native Svelte + powerful CSS-like styling.🚀 ×21 …

（2021年3月5日 掲載） ソフトバンク株式会社のエキスパートSE 葉山恵一です。 法人のお客さま向けに各種クラウドの提案、設計、構築を担当しています。 今回はパブリッククラウド移行理由の一つになることが多い、「データ活用」の一翼を担うAzureサービス「Azure Synapse Analytics」について、サービスの概要やマイクロソフト社のドキュメントを利用した簡単な環境構築方法について触れ、初めの一歩をご支援したいと思います。 はじめに Azure Synapse Analyticsとは データウェアハウス(DWH)のリファレンスアーキテクチャ 環境構築 分析ツール T-SQL 分析…

ソフトバンク株式会社のエキスパートSE 葉山恵一です。 法人のお客さま向けに各種クラウドの提案、設計、構築を担当しています。 今回はパブリッククラウド移行理由の一つになることが多い、「データ活用」の一翼を担うAzureサービス「Azure Synapse Analytics」について、サービスの概要やマイクロソフト社のドキュメントを利用した簡単な環境構築方法について触れ、初めの一歩をご支援したいと思います。 はじめに Azure Synapse Analyticsとは データウェアハウス(DWH)のリファレンスアーキテクチャ 環境構築 分析ツール T-SQL 分析ツール Apache Spar…

Kaggle（読み方は「ケグル」？？、どうも「カグル」らしい）は、世界中のデータサイエンティストや統計分析者がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォームである*1。 この記事では、Terminalを使わずに、R上からすべてのKaggleコマンドを実行するやり方を解説する*2。 以下記載のTerminalコマンドはすべて、Rのsystem関数で実行している。 まずは、Pythonの設定・configを確認してみる。今回も、Mac HomeBrewでインストールしたPythonを使用する。 # RでのPython設定 require(reticulate) retic…

www.currypurin.com 先日3/1の分析コンペ勉強会でカレーさんが発表したkaggleでのGoogle Colabの使い方についての自分用まとめです。 自分でもやってみて一部つまずいたのでステップを追加しました。 Colaboratory環境にkaggleデータをダウンロードする方法 1. ”~/.kaggle”に API Tokenを設置 2. pipおよびkaggleのバージョン設定 2. データのダウンロード 3. zipの解凍 4. 不要なファイルの削除 Colaboratoryかkagglenotebookかを判別する方法 Kaggle Notebook名を取得する方法…

connpas リンク https://sansan.connpass.com/event/202716/ 発表 脱! Deepでポン🎶 ハイパラチューニング芸人を卒業するために Hidehisa Araiさん @kaggle_araisan speakerdeck.com 対象視聴者（初級〜） 誰もが思いつくことを越えるためには？ 解法の背景（なぜやったのか）を掴むためには？ 面白くなるステップ 課題の難しいところ理解する train/testの分布の違い（データのノイズ量、クラスの比率） testにはtrainになかったラベルがある CV/LBが相関しない 課題を小さな課題に分解する 対策…

機械学習の概要 機械学習の定義 機械学習の定義は以下の2つが有名です。 1つ目は、Arthur Samuel（ア－サー・サミュエル） による定義で次のようなものです。 The field of study that gives computers the ability to learn without being explicitly programmed. （訳：明示的にプログラムしなくても、学習する能力をコンピュータに与える研究分野） 2つ目は、Tom Mitchell（トム・ミッチェル）の著書 『Machine Learning』(1997) の序文にあるもので、次のような見解です。 …

ソーカル事件について書かれた『「知」の欺瞞』が１９９７年にフランス語で出版されて以降、インターネットの普及、グローバル化によって、世界を取り巻く環境は大きく変化しました。したがって、インターネットという新しいテクノロジーの普及によって、ポストモダン思想による「知」の欺瞞は、新たなフィールドへと移行していった可能性があります。しかしながら、このソーカル事件以降、このポストモダン思想における「知」の欺瞞が、インターネットが普及したことによって、どのように行われ得るのか？ということについては、一切の議論、問題視されることがありませんでした。そこでこの記事では、インターネット以降に起こり得る、ソーカル…

この記事はcloud.config tech blogにもマルチポストしていまます。 tech-blog.cloud-config.jp はじめに 以前、Azure Machine Learningで回帰モデルを作成するやり方について記事を書きました。 機械学習でモデルをトレーニングしたら、それを何らかのアプリで使用できるようにする必要があると思います。 Azure Machine Learningでは、そのモデルをアプリとしてデプロイして利用する方法が整備されていて、それを利用することで作成したモデルをWebAPIで簡単に利用できるようになります。 今回はその方法の共有です。 回帰モデルを作…

Session Managerで表示される sh-4.2$の正体と、それをbashに切り替える方法の備忘録です。 はじめに 環境 Session Managerの"sh-4.2$"をbashに切り替える sh-4.2$の正体は何か bashに切り替える方法 おわりに 参考 はじめに おはよう。@bioerrorlogです。 AWS Systems Manager(SSM)のSession ManagerでEC2インスタンスに接続すると、最初に以下のような画面が表示されます。 sh-4.2$ 何か、見慣れたLinuxターミナル画面とは違うなとずっと思っていました。 Linux EC2インスタンス…