機械学習のためのソフトウェアライブラリ。Googleがオープンソース化し、商用も可能なApache2.0ライセンスで提供している。
こんにちは、2020年3月にastamuseに入社したYNと申します。本ブログを書くのははじめてです。どうぞよろしくお願いいたします。 今回は個人的な趣味で、TensorFlowのMetricsやLossesを使ってXGBoostを学習する方法について紹介したいと思います。 動機 GPUの普及もあってか、XGBoostのようなGBDT (Gradient Boosting Decision Tree) 系のライブラリでもGPUサポートがされるようになりました。ところが、XGBoostのV1.3.0のドキュメントを見ると例えばaucprはGPU対応されていません。また、多くのLossがXGBoo…
こんにちは(＾＾) Apple に毒された人こと、ゆうです この前も iPhone 12 Pro と Apple Watch Series 6, Home Pod mini を買っちゃいました！ え、お金...？知らん... 最近、Udemy というオンライン学習サービスを利用して Deep Learnig と画像判定 AI の作成について勉強したので、復習も兼ねて書き連ねたいと思います ご興味ある方は是非読んでいただけると嬉しいです！ つくりたいもの 実行環境 開発フロー データ収集・生成 Flickr の利用と API Key の取得 データ収集プログラムの作成 データの前処理 画像の選定…
一撃殺虫!! ホイホイさんという大層面白いマンガがある。 そして、大層出来のいい1/1スケールホイホイさんプラモデルが発売されている。しかも近年NEW EDITIONとして復刻中で大層手に入れやすい。 www.kotobukiya.co.jp ホイホイさんはハイテクが詰まった手のひらサイズのデフォルメドールで、自律駆動してご家庭の害虫退治をしてくれる。目の位置にあるカメラで周囲を認識し、銃火器や刀剣などの武器で退治する。 一撃殺虫!! ホイホイさん NEW EDITION (電撃コミックスEX) Kindle版 ロケーション54より 動作の様子はPS2向けゲームの動画を見るとイメージしやすいと…
元々やろうとしたことは、transformerの出力から各sentenceの末尾にあたるtokenのembeddingsだけを取り出すこと tensorflowは今までそこまで書いたことはなかったため、やってみると意外と時間がかかったためメモ 例として以下のような形を考える # 元のtensor (inputと呼ぶ) <tf.Tensor: id=88, shape=(2, 3, 4), dtype=int32, numpy= array([[[ 1, 2, 3, 4], [ 11, 22, 33, 44], [111, 222, 333, 444]], [[ 5, 6, 7, 8], [ 5…
概要 作成したAIのモデルを簡単にデモできるGradioと言うライブラリを見つけたので、それを利用して画像を高解像度にするWebページを作成した。 利用するモデルは、Tensorhubに公開されている、画像の解像度を4倍に拡大するGANの手法であるESRGANを利用する。 作成されるWeb画面は以下のような感じ。 Gradio GitHub - sey323/gradio-esrgan: ESRGANをWeb画面で実行するプログラム 実行環境 Ubuntu18.04 Python3.8.0 すぐ始めたい人 以下のコマンドを実行後、http://127.0.0.1:7860/ にアクセスする。 …
こんにちは、データエンジニアリングチームの宮崎です。この記事は、UniFaアドベントカレンダー2020の21日目の記事となります。 最近、文字を自由に編集できるLINEスタンプがあることを知りました。いつの間にか色々進化していますね・・・！ そこで今回はDeepLearningのモデルを使って、以下のように写真からLINEスタンプ風画像の自動作成を行ってみたいと思います。 入力画像および出力画像例
こんにちは．changです． 今回は強化学習をやってみます． ディープ・ラーニングにも少し飽きてきたので...(笑). 作ったのはよくあるインベーダー的なやつです． やってみると意外と大変でした(汗)． kerasの環境が整っていなくて，tensorflow単独に先祖返りする感じです． 0. 今回の目的 冒頭にも触れたように，ディープ・ラーニングにも大分飽きて底が見えてきました． 原理的な探求には区切りをつけ，実用性を重視したアプリケーション開発に移行するタイミングだと思っています． 本来はここからが仕事(=営利活動)なのですが，こればかりをやっていると直ぐに時代遅れになってしまいます． 次の…
こんにちは！ころんです。 ちょっと長い間更新をさぼっていましたが、元気にやってます！ よく見たら去年のADTも書いてなかったですね。今年は17日目になります。 adventar.org TL;DR Concatレイヤーの順番が設計したモデルと同じか確認しよう モデルをデプロイする前に精度指標以外にもモデルの分布を確認しよう 学習時とServingで同じ特徴量をいれたら同じ出力になるか確認しよう DNNモデル 現在とあるサービスの機械学習のモデリングとその運用の仕事に携わっています。 (詳細はお話できなくて申し訳ないです) 機械学習と言っても様々なドメインがありますが、画像とテーブルデータを用い…
みなさま、こんにちは。研究開発グループと製品開発グループ に兼務で所属しております、きしだです。aptpod Advent Calendar 2020 11日目を担当します。今回は機械学習に関わるエンジニア向けに、最近AWSがリリースしたAWS Lambdaの新機能を利用して、サクッと推論APIを作るネタをご紹介します。 aws.amazon.com
Vectorpouch - jp.freepik.com こんにちは。takapy（@takapy0210）です。 本記事はコネヒト Advent Calendar 2020の10日目の記事です。 qiita.com みなさんハイキューという漫画（アニメ）はご存知でしょうか。 高校バレーボールを題材にしたスポーツ青春漫画なのですが、ところどころでめっちゃ染みるセリフがあったりして、高校生ではないおじさんでも、バレーにそんなに詳しくない人でも楽しむことができるので、是非読んでみてください。（自分は最近アニメで見ています） Twitterでも回っていた個人的に好きなシーン さて本日は、レコメンデー…
TL;DR drumehiron-mnistapp.herokuapp.com よかったら遊んでみてください 作ろうと思ったきっかけ 就活が始まりました！人事の方やエンジニアの方に色々話す機会を頂いて自分が何をしたいのか割と見えてきてて， その中の一つとしてサービスのプロトタイプまで実装できる研究する人みたいなポジションになりたいと思うようになりました． そこで，エンジニアの方にまずはプロトタイプを作ってみたらどう？という風に助言を頂いたので，まずは MNIST の手書き文字認識で実装してみた！って感じです． (Tensorflow.js すごい) できたらなんかしらの推薦エンジンのサンプルを…
以下のコード(OpenDVC)を実行しようとすると、画像によっては ValueError: Dimensions must be equal, but are 388 and 400 for 'dense_image_warp/sub' (op: 'Sub') with input shapes: [1,388,584,2], [1,400,592,2]. というエラーを得た。 https://github.com/RenYang-home/OpenDVC 用いたのはMiddleburyの画像だ。 以下がMiddleburyのデータセットのサイトだ。 https://vision.middle…
わくばです！ 最近は薬理学研究室の手伝いでTensorFlowを勉強しているんですが、使っていてすごく違和感があるというか、使いづらいんですよね。 なんでかなと調べてみたら「Define-and-Run」という設計思想がどうやら関わっていそうなので今回記事にしてみました。 Define-and-Runを考えるにあたってよく引き合いにだされるのがDefine-by-Runです。それぞれ日本語で訳すと前者は「定義して実行する」、後者は「実行ごとに定義する」と言った感じでしょうか。 Define-and-Runというのはまず予め静的なネットワークを記述した後、実際にデータを用いて実行する形式です。こ…
以下のサイトを参考にsess.run()で複数の値を取得する方法を確認した。 https://www.buildinsider.net/small/booktensorflow/0001 このサイトにはTensorflowの計算グラフのことについても説明されているので、非常に参考になる。 sess.run()で複数の値を取得するには以下の様に記述する。 const1 = tf.constant(2) const2 = tf.constant(3) add_op = tf.add(const1, const2) mul_op = tf.mul(add_op, const2) with tf.Se…
以下のサイトを参考に学習を始めた。 https://tokkan.net/python/tf2.html Tensorflowはpytorchとは違い、 定数、変数の定義 → 計算式の定義 → 計算の実行 という流れで行われる。 定数、変数の定義の例 定数の定義：tf.constant(3.0, dtype=tf.float32) 変数の定義：tf.Variable(3.0) placeholderの定義：tf.constant(tf.float32) (placeholderは値を後で入れるための入れ物。sess.run()時に決める) 計算式の定義の例 node3 = node1 + no…
E資格向けの自習アウトプット 自分用メモTensorFlow は、Googleさんが公開している機械学習で便利なライブラリ 現在のところPython では、PyTorch と2大巨頭って感じ？今まで PyTorch 使いなれてきましたが、KPS 的に TensorFlow 使いこなせるようになったほうがよさげなので、この度初挑戦余談ですが、「テンサー」か「テンソル」かは、Googleの中の人もどっちも使うって言ってた（ようするにどっちでもおｋ） なんとなく、ちゃんと学問として線形代数とかやってた人はテンソル派な気がする（なんか頭よさそー） TensorFlow でモデルを作る下準備 まずは開発…
こんにちは。 こーたろーです。 本日は、「図解速習DEEP LEARNING」 の第２章です。 第２章では、Tensorflowで手書き文字識別を行っています。 他の本でもよくあるMNISTのデータで分類ですね。 早速やってみました。 環境は Google Colaboratory で、Python３、GPU使用でやっていきます。 Tensorflowチュートリアル を利用したコーディングとなります。 コードの参照元は、tensorflowチュートリアル では早速。 １．ライブラリーのインポート ２．MINISTデータセットのロード ３．データの形を確認してみる ４．MINISTの文字画像を読…
割と知名度が上がってきたのか深層学習の相談を受けることが多くなって参りました。 PC何買えばいいのくらいの汎用解でもメモっておきます。 １．GPUは用途次第だが 深層学習入門程度なら予算次第でTensorCore使えるGPUを積んでいればなんでも良い気がします。 その後，必要ならスペックアップするでしょうしその際でも深層学習を回すPCとコードを弄ってテストをするようなPCは分けておくと色々便利です。 メモリは多い方が良いと言いますが対象次第ですね。画像系言語系は多い目でしょうか。具体的なターゲットが未定ならとりあえず少し手を動かして様子見るしかないでしょう。 予算あれば買うべきGPUはちょい前…
こんにちは。研究開発室の岡田です。 前回の投稿でAmazon Chime SDK*1のVideo Processing APIを使って仮想背景を実現する方法をご紹介しました。この中では人物と背景のセグメンテーションをBody Pixを用いて行っていました。今回は、より軽量といわれているGoogle Meetのモデルを用いて仮想背景機能を実装、評価してみたいと思います。 こんな感じに動きます。 *1:Amazon Chime SDKはAmazonが提供するビデオ会議システムをWebアプリに組み込むためのSDK。
概要 みなさんDirectMLってご存知ですか？私は今日知りました。その派生Projectのtensorflow-directmlと一緒に。 まだブログに書いていませんが、実は最近Radeon RX6900XTをようやく買うことができ、RTX3080は売ろうと思ったけどTensorFlowは使いたい...。でもROCｍは未だにRDNAに対応してないし…。と思っていたところ発見した代物。 DirectMLはMicrosoftが開発しているWindowsとWSLで動く機械学習向けAPIで、DirectX12を介してGPUにアクセスするのでCUDAを使わずにGPUを機械学習用途に使えるというスグレモ…
初めてのTensorFlow 数式なしのディープラーニング 作者:足立 悠 発売日: 2017/10/28 メディア: 単行本（ソフトカバー） テレワーク日。とりあえず足立本を復習。そして犬画像の分類のことを足立さんに聞いてみる。 昼はアボカド納豆そうめん。しかし、今回の建物探訪は個人のしゅみしゅみですごい。 芝浦の追加のレポートと再試問題作り。とかしていたら、渡辺さんの本はネットに全部上がっていることを知る。これはありがたい。。 夜はタスマニアン肉。やはり寝かすといい。オフィスを見続ける。
Windows10にTensorflow-GPUを導入する[2021/01/18] 環境 OS: Windows 10 Home 64bit GPU: GeForce RTX 2060 SUPER Python 3.8.5 Anaconda 4.9.2 tensorflow 2.3.0 scipy 1.5.2 keras 2.4.3 参考サイト [Python]Windows10にTensorflow-GPU+Kerasをインストールする[2017/10/5] - Qiita 初心者がGPU搭載Windows10にPython + Anaconda + TensorFlow + Kerasの環…
@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった はじめに この記事では、MITの Vivienne Sze さんの講演ビデオを観て、そこから得られたものをまとめたものです。Vivienne Sze さんの研究室は、こちら。ENERGY-EFFICIENT MULTIMEDIA SYSTEMS GROUP www.rle.mit.eduVivienne Sze さんの経歴は、 学士：トロント大 修士・博士：MIT 学士の時に、IC Design Engineerとして働き、博士後にTIで3年近く半導体…
1. やること 使用するパソコンが一つのときはよいですが、複数のパソコンを使用していると、それぞれのパソコンで同じ環境にしてどのパソコンで作業しても問題ないようにしておくのが便利です。現在、Ubuntu18.04を２台、Macを１台、Windows10を１台使ってますので、condaの仮想環境を揃えるようにしています。 あくまでも私の標準です。ご参考まで。 対象 - Ubuntu 18.04 LTS - Mac - Windows10 2. 環境設定のベース Ubuntu, Mac はまず、pyenvを導入し、pyenvでanacondaを選定したのちにcondaの仮想環境を作っています。 W…
昨年友人より, 某コワーキングスペースの混雑度を見える化したいので, 機械学習部分を手伝ってほしいとの依頼があった. そこで, 混雑度を測るために, 各スペースの人物検出を行い, 定員に対してどの程度の人がいるか検知することにした. 関連記事： ・コワーキングスペースの「混雑度」を検出する(1) ・コワーキングスペースの「混雑度」を検出する(2) 最初, 手元にあったJetson Nano 4GB版で人物検出を動かして, そのイメージを使ってJetson Nano 2GBを動かそうとしたがダメだった. Jetson Nano 2GB版のSD Imageは4GB版とは異なっており, 以下はJet…
最近、tensorflowを高速化するためにコンパイルをしてインストールしようと思った。 その時に、configureファイルを実行するはずだが、そこに書いてある専門用語がちょっと何言ってるかわからない状態だったので、説明。 ちなみに、これは自分がconfigureを実行しようとした時に出てきた物をまとめたものなので他にもあるかもしれない。その時はコメントで教えて。 実際の表示文 専門用語 意味 Please specify the location of python. なし そのまま。pythonのディレクトリを設定する。デフォルトで、tensorflowが見つけたpythonになる。 P…
「まぐまぐ！」でメルマガ「知らなかった！中国ITを深く理解するためのキーワード」を発行しています。 明日、vol. 055が発行になります。 「AI（人工知能）は幻滅期に入った」「PoC（概念実証）を行ってみたが、成果は芳しくなかった」という話を耳にしたことがあるかもしれません。 AI幻滅期とは、米ガートナーが、新しいテクノロジーに対する市場の期待度を調査したハイプサイクル調査で、日本市場は2018年10月までは「過度な期待のピーク期」にあったものの、その後幻滅期に入ったとする調査結果です。 しかし、幻滅期に入ったからといって、AIが一過性の流行であって消えていくわけではありません。ガートナー…
qiita.com
shu223.hatenablog.com
freelance.levtech.jp
cloudplatform-jp.googleblog.com
qiita.com
www.publickey1.jp
japanese.engadget.com
www.publickey1.jp
qiita.com
