データセット

前回の記事で機械学習用データとして屈折率データの算出について紹介してきました。今回はさらに屈折率データを活用した誘電率のデータ作成について紹介します。 分子の誘電率ですが、オンサガーの式を用いることで屈折率、双極子モーメントデータ等から算出することができます。屈折率は前回の手法で算出でき、またQM9のデータには双極子モーメントの計算データも記載されていますので、これらのデータを活用して誘電率のデータベースを作成してゆきます。 import pandas as pd import re from rdkit import rdBase, Chem from rdkit.Chem import A…

機械学習を活用した材料開発が活発になってきています。機械学習には元になるデータセットが必要ですが、実験データ数には限界もあることから、計算機シュミレーションを活用したデータセットも作成されています。その中でもQMデータセットは数多くの機械学習研究においてベンチマークとして用いられている代表的なデータセットになります。QMデータセットの中でもQM9は10万以上の低分子有機化合物の高レベル量子化学計算のデータが収集されているデータセットで様々な場面で活用されています。ただQM9に収集されていないパラメーターを機械学習に使いたい場面もしばしば遭遇します。そこでQM9のデータを活用して新たに機械学習用…

さまよっているような量的研究もたまに見かけたりもする。 ------講義録始め------- 第10回の講義では、「統計を使って研究を進め、考えるとは」というテーマに取り組みます。研究計画の段階で、皆さんが目指す研究目的の変数を測定するために、調査票の作成や測定機器を使用して実験や開票調査を行っていると仮定します。実験や調査が完了すると、パソコンの表計算ソフト上で研究対象者のid番号の行を作成し、各idの列に機械や調査票で測定した変数を入力してデータセットを作成します。 解析のためにこのデータセットを作成した後、統計ソフトを用いて分析を始めます。今回の講義では、その後の手順について説明します。…

Azure Machine Learning上では複数のデータセット形式が用意されています。 mltable形式は表形式でデータを使用することができます。学習・推論を行う際にこの形式を使用することになることがありますが、プログラム上から表形式でデータ登録・更新を行う場合には特殊な設定を行う必要があります。 本記事ではAzure Machine Learning上でCSVデータをmltable形式で登録する方法を示します。 概要 関連記事 データセットを登録する方法 前提 MLTableファイルについて MLTableファイル解説 区切り文字 CSVファイルの文字コード 空白行への対応 その他設…

概要 リファレンス Azure Machine Learningデータセット種別 uri_file & uri_folder(v2) MLTable形式(v2) 詳細 MLTable定義ファイル Tabular Dataset (v1) File Dataset (v1) 結論 おわりに 概要 Azure Machine Learningでは学習やテストに使用するデータをワークスペース上に登録して保管・共有することができます。 登録設定の際にいくつか選択肢が出てくるため、本記事で解説を行います。 本記事の内容は2023年1月時点の内容で記載しており、今後のアップデートで機能が追加される可能性が…

データセット一覧 #まとめ編 yhayato1320.hatenablog.com Index Index Titanic Dataset データの取得 データの可視化 参考 Titanic Dataset kaggle のコンペティションで利用されるデータセット. www.kaggle.com kaggle 1912 年 4 月 15 日、処女航海中のタイタニック号が、氷山に衝突して沈没した. 残念なことに、乗船した全員に十分な数の救命ボートがなく、2224 人の乗客と乗組員のうち 1502 人が死亡した. 生存には運の要素もあったが、一部の人々のグループは、他のグループよりも生き残る可能性…

音声データ 音声データのデータセットをまとめる. データセット #まとめ編 yhayato1320.hatenablog.com 音声解析 #まとめ編 yhayato1320.hatenablog.com JSUT コーパス 1 名の日本語女性話者による約 10 時間の音声が収録されている. JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis [2017] arxiv.org 参考 【音声】機械学習やデータ分析用のサウンドデータセットまとめ【音楽】 take-tech-engi…

G-gen の堂原です。当記事では、Google スプレッドシート（Google Sheets）の機能であるコネクテッドシートで、データの抽出機能を使う際、行数制限が10万行までしか選べない場合の対処法を紹介します。 コネクテッドシートとは 概要 データの抽出 事象 解決方法 コネクテッドシートとは 概要 コネクテッドシート（Connected Sheets）は、Google スプレッドシートの機能です。コネクテッドシートを用いると、Google Cloud（旧称 GCP）のデータ分析サービスである BigQuery のテーブルやビューを Google スプレッドシート上で可視化、分析できます…

お疲れ様です。 今回は機械学習の界隈で話題のRAdamScheduleFreeという新しいoptimizerを試したいと思います。 なんでもAdamWと同等かそれ以上の性能だとか…！ 詳しい内容は作成者さんのZennをご確認ください。今回私がやるのはとりあえずの実装のみ…。 zenn.dev 条件設定（実行環境、使用モデルなど） 実装 結果 比較（AdamWでの結果） 所感 条件設定（実行環境、使用モデルなど） 実行環境は以下になります。 CPU: 13th Gen Intel(R) Core(TM) i7-13700F 2.10 GHz メモリ: 32 GB GPU: NVIDIA GeFo…

目次 なぜ今、AWSのファイルストレージのTieringをまとめたいのか? AWS上のファイルストレージサービス AWS上のストレージサービス AWS上のファイルストレージサービス Tieringとは？ AWSのファイルストレージサービスのTiering AWSのファイルストレージサービスのTiering一覧 関連情報 まとめ

本記事では、ChatGPTを活用してショップ運営のリソース不足を解消する方法を実際の操作手順とともに解説します。 この記事のポイント ChatGPTを活用したデータアップロードの際の注意点と、利用制限を回避するための具体的な対策を学ぶことができます。 Qoo10 AnalyticsのデータをそのままChatGPTにアップロードする手順を知ることで今後の施策を立てることができます。 お客さまからのお問い合わせに対する返信内容をChatGPTで生成し、カスタマーサービスの効率と品質を向上させる方法を理解できます。 目次 1．ChatGPTでデータをアップロードする際の注意点 1.1 ChatGPT…

Looker Studio の無料版と有料版の違いについてまとめてみました。 機能 無料版（Looker Studio） 有料版（Looker Studio Pro） 価格 無料 サブスクリプション料金が必要 ユーザー管理 個別共有と基本的な権限設定（閲覧/編集） Google Workspace統合で詳細なユーザー・グループ管理が可能 アクセス権限の詳細設定 制限あり（リンク共有時のリスクあり） きめ細やかなアクセス制御が可能 監査ログ 利用不可 利用可能（編集履歴や変更内容を追跡可能 Service Level Agreement（稼働保証） なし 99.9%の稼働保証 サポート ヘルプセ…

ギークな技術者の皆様、こんにちは。メリークリスマス。 リモートワークで運動不足を感じているため、VTuberのリングフィットアドベンチャーのプレイ動画を見て気を紛らわしています、VPoEの河合(@vaaaaanquish)です。 本記事はエムスリーアドベントカレンダー2024の最終日の記事にあたります。 エムスリーアドベントカレンダーには今年もギークな記事が揃っていますので、年末年始の技術研鑽のお供に是非どうぞ。 qiita.com はじめに ノベルティの下準備 digits plot wordcloud おわりに We are hiring !! エンジニア採用ページはこちら カジュアル面談…

この記事は~LayerXテックアドカレ2024~の25日目の記事です。 先日の生成AI忘年会2024というイベントで、Sakana.aiの秋葉さんやLINEヤフーで生成AIを担当される宮澤さんとパネルディスカッションでご一緒させていただいたのですが、その中で象徴的な話題が飛び出しました。それは「LLM（Large Language Model）の知性が、もはや人間の判断可能な性能を超える可能性を帯びつつある」という点と、その先にある未来についてです。もはや“使えるかどうか”の次元を超えたLLMが登場するなかで、われわれがどう向き合い、どう応用していくべきなのか。その議論は、自分にとっても聞きに…

プログラマのための文字コード技術入門 文字コード超研究 内部構造から学ぶPostgreSQL―設計・運用計画の鉄則 単体テストの考え方/使い方 Good Code, Bad Code ～持続可能な開発のためのソフトウェアエンジニア的思考 良いコード／悪いコードで学ぶ設計入門―保守しやすい 成長し続けるコードの書き方(これは新版が欲しい) 世界で闘うプログラミング力を鍛える本 コーディング面接189問とその解法 Web API: The Good Parts セキュアなソフトウェアの設計と開発 ネットワークはなぜつながるのか Webを支える技術 -HTTP、URI、HTML、そしてREST マス…

RecSys 2024 — Session 2: Bias and Fairness 1 - RecSys – RecSysBias and Fairness。ますます重要になってきそうなトピックだけど、どのあたりがよくある課題感か、具体的にどう評価どうするのか、あたりがわかっていないので見てみたい。 FairCRS: Towards User-oriented Fairness in Conversational Recommendation Systems https://dl.acm.org/doi/10.1145/3640457.3688150 CRSのデータセットを見ると（ReDia…

こんにちは、CCCMKホールディングスTECH LABの三浦です。 今日はクリスマスイブですね。クリスマスが過ぎるとあっという間にお正月で、毎年この時期には独特な雰囲気があるなぁと感じています。 参考資料 LLMの評価 汎用的言語性能 ドメイン特化性能 安全性能 LLMの評価タイミング LLM評価用ツール"LLM-jp 評価スクリプト" まとめ 先日NeurIPS 2024に参加してから、色々な論文を読んでみていました。その中で特に大切だな、と感じたのが適切な評価方法です。公になる論文では、誰もが納得できる評価方法が必要で、そのためには適切な評価用データセットと、それに対する結果を適切な方法で…

はじめに Pythonによるベイズモデルの実装をきちんと学ぼうと思い，森賀新・木田悠歩・須山敦志 著 「Pythonではじめるベイズ機械学習入門」を読むことにした。本記事は，第5章「深層学習モデル」のうち正規化流に関する読書メモである。 本書の紹介ページ www.kspub.co.jp 目次 はじめに 目次 5.5 正規化流 5.5.1 モデル概要 5.2.2 実装 : 正規化流による確率分布の近似 使用するデータ 生成モデル 最尤法による確率分布の導出 5.2.2 実装 : 変分推論への応用 データセット パラメータの分布の可視化 生成モデル 正規化流を用いた変分推論 まとめと感想 参考サイ…

株式会社ユーザベースでUB Researchを担当している高山です。 ユーザベースでは2023年7月からStudio Ousia社と業務提携して、自然言語処理の研究開発に取り組んでいます。今回はその取り組みの一つとして作った言語モデルについて書いていきます。 概要 経済情報を扱う製品群を開発するユーザベースでは、「企業」という情報を扱うことが非常に多くあります。 今回は、ユーザベースの保有する経済情報のデータを学習に利用し、企業エンティティに特化したエンコーダーモデル Uzabase Business Knowledge Encoder based on LUKE (UBKE-LUKE) を作…