astype

はじめに 本記事をご覧いただきありがとうございます。ドコモアドベントカレンダー8日目の記事になります。初めまして。NTTドコモR&D戦略部新入社員の武田です。業務では主に弊社の先進技術を活用したメタコミュニケーションサービス「MetaMe®」（メタミー）の技術実装を担当しています。 私は学生時代、人々の動きや行動パターンを実データから分析し、災害時の安心・安全な避難を実現するためのシミュレーションや最適化に関する研究に従事しておりました。現在仮想空間内においても「ユーザの流れ」や「ユーザの行動」に注目し、技術実装を行っています。群衆の動きに関するサーベイを進める中で、「同期現象」に関する論文を…

こんにちは！エキサイト株式会社、SaaS・DX事業部エンジニアの岩田史門です！ エキサイトHDアドベントカレンダー7日目を担当させていただきます! はじめに 自動音声認識 (ASR: Automatic Speech Recognition) と話者分離 (SD: Speaker Diarization) は、カスタマーサポート、自動議事録作成、音声インタフェースの改善など、さまざまな分野で活用されています。 現在開発に携わっている、FanGrowthというプロダクトでも、ウェビナーレポートという機能で活用しています！ www.fangrowth.biz 本記事では、OpenAIのWhispe…

この記事は、 NTT Communications Advent Calendar 2024 1日目の記事です。 こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務で生成AIチームに参加し、大規模言語モデル（LLM: Large Language Model）に関する技術の調査を行なっています。 音声アシスタントをLLMベースで作成する際、ユーザーの入力音声を一旦テキストに変換し、LLMに応答させた後、その応答文から読み上げ音声を生成するというカスケード方式…

時間がかかったけど、なんとかｚarr化できたのでメモ。 ドキュメントはここ https://github.com/real-stanford/diffusion_policy?tab=readme-ov-file#replaybuffer data/pusht_cchi_v7_replay.zarr ├── data │ ├── action (25650, 2) float32 │ ├── img (25650, 96, 96, 3) float32 │ ├── keypoint (25650, 9, 2) float32 │ ├── n_contacts (25650, 1) float3…

はじめに どうやってやるのか ユークリッド距離バージョン 実装コード コサイン類似度バージョン 実装コード 最後に はじめに クラスタリングしたいけど、データの属性情報に欠損がありすぎて、クラスタリングにその変数が使えない！みたいな現象に出会ったことはありますか？私は最近ありました。欠損している変数も使用しないとどうにもならない状況だったため、距離関数の計算やセントロイドの計算を魔改造を加えて、欠損があってもクラスタリングをそのまま行えるようにしました。まったく同じコードは手に入らないので、記憶を辿って再現してみたいと思います。 どうやってやるのか ユークリッド距離バージョン 通常のk-mea…

はじめに 実装編 最後に はじめに 以前DIDにおいて傾向スコアを使用して、平行トレンド仮定を満たす方法という記事を書きましたね、その実装に関しては、理論さえ分かってしまえば簡単なのですが、書く記事の題材が思い浮かばなかったので、今回はその記事の理論に基づいたDID推定をサンプルデータを生成してやってみようかなと思います。 tomtom58.hatenablog.com 実装編 以下が実装のコードです import numpy as np import pandas as pd from scipy import stats from sklearn.linear_model import L…

はじめに 実装編 最後に はじめに 大分前に、私の初めての記事として、介入のタイミングが異なる場合のDIDの論文に関しての解説記事を書きました。最近の私の記事では、コードも基本的に付属しているので、理論だけしか説明してなかった記事に関しても、実装編として実際に実装してサンプルデータで実行してみて、結果を見てみるという簡単な記事を書こうと思い書くことにしました。 tomtom58.hatenablog.com 実装編 実装コードは以下です import numpy as np import pandas as pd import matplotlib.pyplot as plt from sci…

まずはcsvから日付の部分を読み込む 日付データは 2022/03/28 というフォーマットになっている これをdatetime型で読み込めば良さそうだけど、他の部分が実数で読み込まないといけないのでこういう実装にしてるデータを読み込んで文字列にする ↓ / を - に置換 ↓ datetime型として読み込む 本当はこのあとnumpyに戻したかったけど、そうするとdatetime型じゃなくなるので しょうがないので、リストで扱うことに(ここでハマった。) fname="hoge.csv" if os.path.exists(fname): a = np.loadtxt(fname, unpa…

統計局の調査データを、順にPythonでグラフ化していこうチャレンジを始めました。 よくわからない状態ではありましたが、とりあえず最新の「労働力調査」の月次調査（2024年8月）の1個目の統計表をダウンロードして円グラフを作ってみたりしたのですが、これだとあまりPythonの練習にならないことに気づき、「API機能」に手を出してみることにしました。 とりあえず、「就業状態別15歳以上人口（2000年1月～）」という統計表のデータが取得できるようになったので、読み込めるようになったデータをDataFrameにして私でも理解できる形にして、ひとまずplotlyを使って折れ線グラフにしてみたのですが…

はじめに ベイジアンネットワークの理論 通常のA/Bテストとの違い 実際にやってみた 最後に はじめに XでベイジアンA/Bテストを実装した記事を書こうという話をしたので、今回この記事を書くことになりました。 私自身、ベイジアンA/Bテストを知ったのは、本当に最近で、逆に最近まで知らなかったんですよね...知った時は、結構な衝撃を受けましたねまあというわけで、ベイジアンA/Bテストに関して、まず初めに理論とその後、オープンデータで実装し、実行結果を見てみるという流れで行きたいと思います。 ベイジアンネットワークの理論 ベイジアンABテストは、ベイズの定理を用いて、異なるバージョン（AとB）の効…

はじめに 混合確率分布モデルの理論 モデルの概要 メリット・デメリット 前提と仮定 どんな変数にはどの確率分布を？ カテゴリカル変数用の分布 多項分布 ベルヌーイ分布 連続値変数用の分布 正規分布 ガンマ分布 混合モデルの理論 パラメータの推定アプローチ EMアルゴリズム ベイズアプローチ モデルの評価と選択 オープンデータで実装してみましょう 最後に はじめに 前回混合ガウスモデル（GMM）に関する記事を書かさせていただきました。今回は、混合ガウスモデルから考え方を派生させて、クラスタリングに使用する各変数によって、仮定する確率分布を柔軟に変化させ、柔軟な確率的アプローチなクラスタリングを実…

# NumPyの基本を完全マスター！配列操作からデータ処理まで総まとめ [NumPy公式ドキュメント](https://numpy.org/doc/stable/) [NumPy Quickstart Tutorial](https://numpy.org/doc/stable/user/quickstart.html) ## はじめにNumPyは科学技術計算のための基本的なパッケージで、多次元配列オブジェクトや各種派生オブジェクトを提供します。本記事では、NumPyの基本的な機能から実践的な使い方までを解説します。## 1. 基本的なインポートと配列作成 import numpy as np…