Hatena Blog Tags
はてなブログ トップ
Dataset
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

Dataset

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。
エンタングルメントosugi3yのブログ•9ヶ月前

Child Sex Abuse Material Was Found In a Major AI Dataset. Researchers Aren’t Surprised.〜シン・すべてがNになる〜

主要AIデータセットから児童性虐待資料が発見される。研究者は驚いていない。 LAION-5Bデータセットは、数多くのAIモデルの基礎となっている。研究者たちは長い間、膨大なトレーニングデータセットの監査が不十分であることを警告してきた。 By Janus Rose NEW YORK, US IMAGE: SOPA IMAGES/CONTRIBUTOR VIA GETTY IMAGES www.vice.com 画像生成AIの訓練に使用される最大のデータセットから、性的虐待を受けた子どもの画像が1000枚以上も発見された。 このデータセットは、Stable Diffusionのような生成AIシス…

#AI#LAION#LAION-5B#CSAM

ネットで話題

もっと見る
303ブックマークGoogle Dataset Search‫العربية‬‪Deutsch‬‪English‬‪Español (España)‬‪Español (Latinoamérica)‬‪Français‬‪Italiano‬‪日本語‬‪한국어‬‪Nederlands‬Polski‬‪Português‬‪Русский‬‪ไทย‬‪Türkçe‬‪简体中文‬‪中文（香港）‬‪繁體中文‬datasetsearch.research.google.com
111ブックマークGoogleが機械学習用のデータセットをインターネット上から検索可能な「Dataset Search」を正式公開gigazine.net
104ブックマークlivedoor Techブログ : livedoor グルメの DataSet を公開櫛井です。 以前 livedoor clip のデータを学術研究用に公開しましたが，おかげさまで，たまに発表等で livedoor clip という名前が引用されているのを見かけるようにもなり感慨深い限りです。 さて，今回は第二弾としまして，livedoor グルメのデータをまとめてダウンロード & 利用可能にしようと思います。 今回はいろ...blog.livedoor.jp
71ブックマークCSVやJSONデータを管理、ビジュアル化·Miso Dataset MOONGIFTwww.moongift.jp
60ブックマークStanford Large Network Dataset CollectionOpen research positions in SNAP group are available at undergraduate, graduate and postdoctoral levels. Social networks : online social networks, edges represent interactions between people Networks with ground-truth communities : ground-truth network communities in social and information network...snap.stanford.edu
59ブックマークTIS、機械学習で感情解析を行うためのデータセット「chABSA-dataset」を無償公開cloud.watch.impress.co.jp
52ブックマークHow Netflix microservices tackle dataset pub-subnetflixtechblog.com
50ブックマークデータをググる感覚で利用できる「Google Dataset Search」--その中身や展望はjapan.zdnet.com
47ブックマークDataSet - 機械学習の「朱鷺の杜Wiki」テスト用データ集合† アルゴリズムの比較検証に利用できるテスト用データについてまとめましょう． ID は ibis でパスワードは VC 次元の V のフルスペルです(頭だけ大文字)ibisforest.org

関連ブログ

オムライスの備忘録•2年前

【データセット】Titanic Dataset

データセット一覧 #まとめ編 yhayato1320.hatenablog.com Index Index Titanic Dataset データの取得 データの可視化 参考 Titanic Dataset kaggle のコンペティションで利用されるデータセット. www.kaggle.com kaggle 1912 年 4 月 15 日、処女航海中のタイタニック号が、氷山に衝突して沈没した. 残念なことに、乗船した全員に十分な数の救命ボートがなく、2224 人の乗客と乗組員のうち 1502 人が死亡した. 生存には運の要素もあったが、一部の人々のグループは、他のグループよりも生き残る可能性…

#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】音声データ

音声データ 音声データのデータセットをまとめる. データセット #まとめ編 yhayato1320.hatenablog.com 音声解析 #まとめ編 yhayato1320.hatenablog.com JSUT コーパス 1 名の日本語女性話者による約 10 時間の音声が収録されている. JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis [2017] arxiv.org 参考 【音声】機械学習やデータ分析用のサウンドデータセットまとめ【音楽】 take-tech-engi…

#音声解析#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】CrowdHuman

Index Index CrowdHuman 参考 CrowdHuman 人間が映り込んでいる画像データセット. データセット #まとめ編 画像データ yhayato1320.hatenablog.com 人間の検出を目的としたデータセット. Training : 15000 Validation : 4370 Test : 5000 www.crowdhuman.org Main Page 参考 CrowdHuman: A Benchmark for Detecting Human in a Crowd [2018] arxiv.org

#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】画像処理 #まとめ編

Index Index 画像データ 一般 PARA / 2022 MVImgNet / 2023 Walking Tours / 2023 ドメイン特化 小売・ECサイト 身分証明証 / Lisence MIDV-500 タスク特化 Human Detection 異常検知 / Image Anomaly Detection スレテオ画像 参考 画像データ 画像処理に利用できるデータセットについてまとめる. 画像処理 #まとめ編 yhayato1320.hatenablog.com データセット #まとめ編 yhayato1320.hatenablog.com 一般 MNIST グレースケール…

#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】メルカリデータセット

Index Index メルカリデータセット メルカリデータセット メルカリが研究者に提供しているデータセット. データセット #まとめ編 yhayato1320.hatenablog.com メルカリデータセット 国立情報学研究のデータレポジトリ www.nii.ac.jp

#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】MIAP / More Inclusive Annotations for People

データセット #まとめ編 yhayato1320.hatenablog.com Index Index MIAP / More Inclusive Annotations for People データ形式 データの取得 実装 参考 MIAP / More Inclusive Annotations for People 人間が含まれる画像のデータセット. 100,000 (100K) の画像で構成されている. (Training Data : 70K、Test Data : 30K) 公式のHP storage.googleapis.com Human Detection などに利用可能. H…

#opendata#Dataset#オープンデータ#データセット
オムライスの備忘録•2年前

【データセット】CIFAR-10 / CIFAR-100

データセット #まとめ編 yhayato1320.hatenablog.com Index Index CIFAR-10 / CIFAR-100 公式サイト 参考 Web サイト CIFAR-10 / CIFAR-100 Canadian Institute For Advanced Research 10 種類 / 100 種類の物体のカラー画像のデータセット. 画像分類 / 物体認識 に利用される. 公式サイト www.cs.toronto.edu 参考 Learning multiple layers of features from tiny images [2009] 発表論文 ht…

#Dataset#opendata#データセット#オープンデータ
G-gen Tech Blog•2日前

Ads Data Hubの初期セットアップとハマりどころ

G-genの杉村です。Google Cloud（旧称 GCP）のサービスではありませんが、Google 関連サービスである Ads Data Hub の初期セットアップについて、簡単に紹介します。 はじめに Ads Data Hub とは 2 つのモード アカウント開設の前提条件 Google アカウント Google Cloud プロジェクト 事前に必要な情報 Ads Data Hub アカウントの開設 留意点 Ads Data Hub のリージョンと Google Cloud のリージョン IAM 権限を適切に付与してもエラー表示 VPC Service Controls の使い方 はじめ…

yousanのメモ•3日前

fish-speechのFine-tuningを独自データで行う

初めに 環境 docker環境の作成 音声データセットの準備 ノーマライゼーション処理 文字お越しファイルの作成 セマンティックトークンのバッチ抽出 データセットをprotobufにパック LoRAの学習 学習後のLoRAの重みを変換 学習後のモデルを使って推論 備考 初めに fish-speech v1.4がリリースされたので、改めて触ってみます。 Excited to introduce Fish Speech 1.4 - now open-source and more powerful than ever! 🎉 Our mission is to make cutting-edge v…

パソコン関連もろもろ•3日前

RTX 4090 (VRAM 24GB) を使って FLUX.1-dev の LoRA学習を行う

はじめにFLUX.1-devに特定の人物を学習させることが目的です。PC環境 Windows 11 CUDA 11.8 Python 3.12元画像用意したのは1枚の画像です。 SDLX派生モデルで作成したものです。 この人物を学習させます。 最終結果 a photo of f5h8_woman holding a sign that says 'I LOVE LoRA!「f5h8_woman」は適当に作ったトリガーワードです。 顔の再現性は高いです。 左の袖が少しおかしくなってしまいました。LoRA学習用データの作成こちらと同じ方法で作りました。 touch-sp.hatenablog.co…

Uzabase for Engineers•4日前

2024年 SREチームの Google Cloud コスト削減を振り返る

なぜコスト最適化することになったか？ Active Assist Cloud Storage ストレージサイズの削減 ストレージクラスの変更 ロケーションの検討 結果 Cloud SQL コスト削減のため、Dev環境の停止を行なった 不要なリソースの削除 結果50%くらい削減することができた テスト環境の削除 テスト環境が起動しっぱなし問題 テスト環境を削除した 不要なテスト環境は削除していこうという啓蒙 結果 BigQuery CUDの購入 Compute Engine Bigtable まとめ なぜコスト最適化することになったか？ 私たちは、株式会社ユーザベース スピーダ事業 Produc…

himaginary’s diary•4日前

1907年のニューヨークの銀行恐慌の国際的な波及についての実証結果

というスイス国立銀行論文をMostly Economicsが紹介している。原題は「Evidence on the international financial spillovers of the New York Bankers' Panic of 1907」で、著者は同行のThomas Nitschka。 以下はその要旨。 Using a unique dataset of daily returns on all Swiss stocks traded on the Zurich exchange, I use event study methods to show that the N…

AITC - ISID | AI トランスフォーメンションセンター コラム•5日前

AI分野のトップ国際会議 ICML 現地参加レポート

こんにちは！電通総研AITCの太田です。 普段は、社内向けChatGPTソリューション Know Narrator の開発や生成AIエージェントの研究開発をおこなっています。 2024年7月21日~27日まで、オーストリアのウィーンで開催されたAI分野の最難関の国際会議であるICMLに現地参加していました。 主な参加目的は生成AIエージェントやLLMの技術動向を調査することでした。 この記事では、ICMLで注目を集めていた研究の内容や学会の様子などをお伝えします。 ICML 2024の全体感 2024年7月21日から27日の1週間で開催されました。 開催期間中の主な内容を簡単にご紹介します。 …

趣味のPython・深層学習•5日前

継承によるデータセット実装

継承を活用した複雑なデータセット実装 データサイエンスや機械学習のプロジェクトでは、複雑なデータセットを扱うことがよくあります。このような場合、継承を使ってデータセットのクラスを分けて実装することで、コードの再利用性と保守性を高めることができます。本記事では、継承を活用した複雑なデータセット実装の方法について、具体的な例を交えて説明します。 1. 基本的なデータセットクラス まず、すべてのデータセットに共通する基本的な機能を持つ基底クラスを作成します。 import pandas as pd from abc import ABC, abstractmethod class BaseDatas…

ものづくりのブログ•6日前

【python】BigQuery にカウントアップするIDを登録する処理

Google BigQuery に対してカウントアップするIDを登録する処理を考えてみました。 準備 クレデンシャル設定 GCPの認証を設定します。（GOOGLE_APPLICATION_CREDENTIALS 環境変数でサービスアカウントキーを設定） google-cloud-bigquery ライブラリのインストール $ pip install google-cloud-bigquery コード サンプルコードは以下の通りです。 create_table_if_not_exists()関数では、指定されたテーブルが存在するかを確認します。存在しない場合は、指定されたスキーマを持つテーブルを…

G-gen Tech Blog•6日前

Looker上のデータについて生成AIに問い合わせてみた（Looker Explore Assistant）

G-gen の奥田梨紗です。オープンソースの Looker 拡張機能である Explore Assistant を使い、自然言語によってグラフを生成できる機能を実装しました。本記事ではその機能の紹介や、実装手順について紹介します。 はじめに Looker Explore Assistant の紹介 できること 1. Assistant 機能 2. Chat 機能 料金 利用事例 実装 構成 実装の手順 環境変数ファイルの作成と編集 はじめに 当記事では、Looker 拡張機能である Looker Explore Assistant を紹介します。 Looker Explore Assistan…

Yuta NakataのBlog•8日前

netcdfファイルを軽量化する方法

背景 netCDFは、多次元データを格納するのに便利な拡張子です。 気象、海洋、気候の世界では広く使われています。 一方で、このデータの課題として、多次元配列が故にファイルサイズが大きくなることが挙げられます。 これにより、データの読み込み時にメモリの使用量が増え、かつ待機時間が伸びることが課題になりがちです。 そこで、今回はnetcdfのファイルサイズを圧縮する方法をお伝えします。 結論 xarrayライブラリを使います。 公式Documentは以下の通りです。 docs.xarray.dev print(ds) """ <xarray.Dataset> Size: 416B Dimensi…