Dataset

yhayato1320.hatenablog.com Index Index CIFAR-10 / CIFAR-100 公式サイト 参考 Web サイト CIFAR-10 / CIFAR-100 Canadian Institute For Advanced Research 10 種類 / 100 種類の物体のカラー画像のデータセット. 画像分類 / 物体認識 に利用される. 公式サイト www.cs.toronto.edu 参考 Learning multiple layers of features from tiny images [2009] 発表論文 https://www.cs.…

yhayato1320.hatenablog.com Index Index WebImageText 特徴 データの取得 参考 WebImageText CLIP というアルゴリズムが紹介された論文にて、作成されたデータセット. CLIP yhayato1320.hatenablog.com 特徴 4 億の画像とテキストのペアのデータセット. インターネットから検索を行うことで、情報を取得. 多様なデータが取得できることが望ましいので、50 万のクエリで検索. データの取得 データは公開されておらず、データの作成手順のみ公開されている模様. github issue github.com 検…

データセット #まとめ編 yhayato1320.hatenablog.com Index Index Multi Object Tracking 16 / MOT16 データセット データの取得 実装 参考 Web サイト Multi Object Tracking 16 / MOT16 Multi Object Tracking のベンチマークのひとつ. Object Tracking yhayato1320.hatenablog.com 歩行者の追跡は、よく研究される分野であるために、複数の人の追跡に焦点を置いている. MOT16 は、MOT Challenge のベンチマークとして、公…

まえがき 機械学習モデルの検証の際にPyTorchに付属のMNISTなどのデータセットを使用することも多いと思いますが、 実際の現場では独自のデータを使う機会の方が多いと思います。 今回は機械学習フレームワークPyTorchで自作のDataset, DataLoaderのつくり方をご紹介していきます！ Dataset のつくり方 まず必要なライブラリをインポートします。 Dataset, DataLoader はまとめてインポートできます。 import torch from torch.utils.data import Dataset, DataLoader from torchvisio…

データセット #まとめ編 yhayato1320.hatenablog.com Index Index COCO / Common Object in Context について Google Drive からデータのマウント 環境構築とライブラリ 実装 参考 COCO / Common Object in Context について COCO / Common Object in Context #概念編 yhayato1320.hatenablog.com Google Drive からデータのマウント tensorflow や pytorch の api からでも取得できるが、Colab の…

データセット #まとめ編 yhayato1320.hatenablog.com Index Index COCO / Common Object in Context とは 特徴 ラベル 実装編 参考 Web サイト COCO / Common Object in Context とは 物体検出(object detection)、意味分割(segmentation)、画像説明文(captioning)のラベル情報を伴った 大規模のデータセット. 物体検出 #まとめ編 yhayato1320.hatenablog.com データの取得はこちら. 公式のHP cocodataset.org 特徴…

キーワード・知ってると理解がしやすい スレテオカメラ (二眼カメラ) 視差 (disparity) 画像 / マップ LiDAR Point Clouds (3次元点群データの取得方法) yhayato1320.hatenablog.com Index Index DrivingStereo とは ステレオカメラ スレテオマッチング ブロックマッチング 前処理 データの作成 Download データ内容 データ量 解像度 参考 Web サイト DrivingStereo とは KITTI Stereo Dataset の数百倍の規模のステレオデータのデータセット. 視差画像 (disparit…

はじめに seabornは、matplotlibに基づくPythonデータ視覚化ライブラリです。 魅力的で有益な統計グラフィックスを描画するための高レベルのインターフェイスを提供します。 matplotlibと比較して、より手軽に美しく可視化ができるライブラリとなっています。 本記事では、Seabornを用いたグラフの描画方法を確認していきます。具体的には、折れ線グラフ、散布図、散布図+回帰線、ヒストグラム、散布図+ヒストグラム、箱ひげ図、バイオリンプロット、棒グラフ、ヒートマップの描画方法を説明します。 はじめに 1. 折れ線グラフ（sns.lineplot） 2. 散布図（sns.scat…

こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライを容易にするため、すべての処理を冪等にしました。今回その中でも、BigQueryの追記処理…

はじめに 毎々お世話になっております。基礎技術研究部リサーチエンジニアの茂木です。 今回は FFRI Dataset 2022 についてご紹介します。 FFRI Dataset まずは FFRI Dataset についてご説明いたします。といってもこれは毎年書いておりますので、ご存知の方は飛ばしてください。 FFRI Dataset についてご説明するためには、マルウェア対策研究人材育成ワークショップ (MWS) について触れる必要があります。MWS は、研究者コミュニティからマルウェア研究用データ(セット)を MWS Datasets として提供してもらい、活用するワークショップです。 マル…

- 1 - 関東地方の各都県が発表した新型コロナウイルスの陽性者数のうち、2021年7月23日から毎週の金曜日までの1週間の新規陽性者数を、市区町村別 (ただし区は東京都の特別区だけ、群馬県は保健所管轄区域ごと) に、人口あたりにして、地図上に表示してみている。これまでにつくった図を、つぎのウェブページに、一覧表の形でまとめた。その図を発表したブログ記事があるばあいは、そこへのリンクをいれている。 [関東7都県 市町村別 人口10万人あたりの新規陽性者数] その要点をこのブログ記事のシリーズで紹介してきた。 (記事表題を「不定期」として、新規陽性者数がすくなくなったら休もうと思ったのだが、なか…

これは、なにをしたくて書いたもの？ Redisのインストール方法は、公式にはずっとソースコードからビルドするものだと思っていたのですが、どうやら今は違うみたいです。 Ubuntu LinuxやDebianだとaptでインストール可能になっていたので、試してみることにしました。 Redisのインストール方法いろいろ Redisのダウンロードページを見ると、ソースコードがtar.gzで配布していることが確認できます。 Download | Redis あとは、Docker HubでDockerイメージが利用可能なことも確認できますね。 ここでドキュメントを見ると、もう少し選択肢があることがわかりま…

はじめに Kaggleはどうなんだろうとふと思い立ちTitanicチュートリアルをやってみました。Submitまでの大きな流れは理解できたと考えます。初見のため他の方のブログを参考にし、たまたま openml のデータセットを用いる例を参照したことで、submit時にそれなりに迷いましたが、無事submitまでたどりつきました。迷って試行錯誤したことでより理解できたと良い方向に考えています。 Submit 記録↓ 対象チュートリアル www.kaggle.com 実施環境 環境としてはGoogle Colab 環境で実施しました（Kaggle Jupyter Notebook、Google C…

株式会社神戸デジタル・ラボ DataIntelligenceチームの高木です。 今回はBERTというAIモデルに当ブログ『神戸のデータ活用塾！KDL Data Blog』の特徴を教えてもらいたいと思います。 AIにブログの特徴を教えてもらう？？ BERTとは ファインチューニング 実装 データを集めよう 必要なライブラリをとってこよう 事前学習済みモデルで予測してみよう MASKをつけよう ファインチューニングのために準備しよう Dataset Module Model Module Callbacks 学習 BERTはなんと予測する？ 結果発表 まとめ AIにブログの特徴を教えてもらう？？ …

前回は、Unityで作成したアプリの実行中に、データ入力用のUIフィールドを追加して、値を編集するようなものを作成したが、せっかく編集しても保存できなければ意味がないので、今回はJsonファイルへの保存、読み込みについて紹介する 〇前回の記事 harukichi.hatenadiary.jp 〇今回解説する機能の動作イメージ ①データ入力フィールドを動的に作成②データを入力 ③ファイルに保存ボタンを押すと、データがJsonファイルに保存される ④データを消去して、データ読み込みボタンを押すとJsonファイルからデータを読み込んで、フィールドが復元される ちなみに、Jsonファイルの中身は下記の…

Index Index Skip Layer Connection 前置き 実装 実行環境 Network Dataset Optimize 参考 Skip Layer Connection 深層学習における、ネットワークアーキテクチャの改善手法の一つ. Skip Layer Connection yhayato1320.hatenablog.com 前置き MLP で Skip Layer Connection (DenseNet) を実装. Library : PyTorch Dataset : iris Task : Classification / 分類 CNN を利用しない Dens…

お気付きの点がありましたらご指摘いただけますと幸いです。statsmodels.tsa.seasonal.STL — statsmodelsstatsmodels/_stl.pyx at v0.13.2 · statsmodels/statsmodels · GitHubhttps://www.wessa.net/download/stl.pdf雑記： Python statsmodels をつかってみるだけ - クッキーの日記💜 系列データをトレンド、季節性、残差に分解する statsmodels.tsa.seasonal.STL は以下のように実行できますね。ほぼ [1] の Exampl…

ある人から教えてもらった情報が元なんですが、画像認識の一分野としてSLAM（Simultaneous Localization and Mapping：自己位置推定）という技術が在ることを知りました。現存の物だと、お掃除ロボット、未来の物だと、自動運転車などに利用される技術らしいです。 ja.wikipedia.org画像認識はいまの自分の主たる研究テーマの一つなのに、こんな興味深い技術をいままで知らないでいたとは不覚です。慌てて、SLAMについて調べ始めています。 入力データの形式によってSLAMにも複数の種類があるようですが、その中でもVisual SLAMに注目しています。 オープンソー…

Index Index Metric Learning / Distance Learning Library Dataset タスク アルゴリズム 実装 Library Install Load Dataset 学習モデルの準備 Loss の構築 学習の実行 Metric Learning / Distance Learning Metric Learning / Distance Learning #まとめ編 yhayato1320.hatenablog.com Library Pytorch Metric Learning / PLM を利用. github.com Dataset Co…