データエンジニアの @kazasiki です。 今回はデータ分析やAIなどをやってる人はお世話になってるだろうpandasについての細かい話をします。 pandasは2022/01/04にバージョンが1.4.0になりました。それに伴って色々変わったんですが、この間pandas使って実装してたら以下のwarningが出てきました。 FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. リ…
連結 concat 構文 文字列.concat(文字列2); 例 const hello = 'Hello '; const world = 'World'; console.log(hello.concat(world)); #=> "Hello World"
配列操作 結合 concat 構文 配列1.concat(配列2); 例 let arr1 = [1, 2, 3]; let arr2 = [4, 5, 6]; let mergedArr = arr1.concat(arr2); console.log(mergedArr); #=>[1, 2, 3, 4, 5, 6]
はじめに 複数ファイルにわかれたデータの結合方法のメモです。 InvalidIndexError: Reindexing only valid with uniquely valued Index objects というエラーとも戦いました。 データ 気象庁の気象データを使いました。 広島、高松、大阪、東京、那覇の5都市分のデータです。 Pythonスクリプトと同じ階層にあるdataディレクトリの中身は以下になります。 ├── data │ ├── 2016 <- 2016年の気象データ │ │ ├── 広島.csv │ │ ├── 高松.csv │ │ ├── 大阪.csv │ │ ├── …
Pandas の pd.merge と pd.concat の使い方の備忘録。 merge 2つのデータフレームを結合する。横結合(join)に対応。 SQLで使われる内部結合(inner join)、外部結合(outer join)、左結合(left join)、右結合(right join)と同じ機能を一通り扱える。 コード例 pd.merge(df1, df2, how="inner", on="USUBJID") 引数(一部) 引数 内容 how = "inner" で内部結合。"outer" で外部結合。"left" で左結合。"right" で右結合。 on =left_on = …
一条工務店i-smileに入居して一年経過しました。ここまで東京電力のオール電化向けプラン「スマートライフL」を使っていました。 dededemio.hatenablog.jp 東京電力は基本料金が高いです。オール電化なので最大需要電力は高いですからこれは仕方ありません。 しかし、太陽光パネル&蓄電池があるので買電量はそこまで多くありません。そのため、基本料金無料プランのある新電力への乗り換えを考えています。 一方で2022年冬のように市場スポット価格が急上昇した場合は、電気料金が逆に高くなってしまう可能性も考えられます。 そこで、基本料金無料の新電力に乗り換えた時にどの程度電気料金が減るか、…
こんにちはマネージドサービス部 大城です。 前回のブログ の続きを書きます。今回は Python で試してみます。 New Relic APM をインストールした後、ボトルネックがどこにあるのか確認して、少しだけチューニングします。 前準備 やってみた チューニングなしの状態 ベンチマーク1回目 New Relic画面確認(チューニングなしの状態) indexを作成する ベンチマーク2回目 New Relic画面確認(index作成後) N+1(エヌプラスワン)問題の解消 ベンチマーク3回目 New Relic画面確認(N+1問題解消後) 参考 ボトルネックはどこから手を付ければよいか 生成A…
こんにちは、電通総研、Xイノベーション本部 AIトランスフォーメーションセンター所属の徳原光です。 普段は、主にPythonでPandasを使ってデータ分析やAI学習・推論のための特徴量を生成を行っていますが、最近KotlinでKotlin DataFrameを操作してデータ処理を実装する機会が増えました。 これまでローカル上で開発してきた機械学習モデルをONNXを使ってアンドロイドスマホで利用するために、スマホ上で動く前処理のコードを実装しているのですが、Kotlinを開発しているJetBrains社が開発しているKotlin DataFrameはデータサイエンスに必要な基本的な処理をサポー…
この記事の要約 はじめに 問題点の要約 (追記) 先行研究について GARCH(っぽい)モデルによるシミュレーション シミュレーション前の理論分析 選択的夫婦別姓との比較 (追記) ゴルトン゠ワトソン分枝過程について 使用するデータ シミュレーションの技術的な補足 乱数生成について GARCHモデルの結果 シミュレーションの追試 より複雑なシミュレーションについて 男女別 世代重複 創作苗字 三親等の婚姻禁止ルール より高度な人口学的モデル 結論 2024/4/22: 先行研究とゴルトン゠ワトソン分枝過程の解説の追記 2024/4/23: 多数の言い回しのおかしい箇所の校正 この記事の要約 先…
久しぶりにCTFに参加しました。cryptoのある程度以上の難易度の問題を解いたら満足してしまって、昔CTFを開催していたときに「この人いつも特定のジャンルの問題だけ解いて帰るな~」と思って見ていた人の気持ちってこういうことだったんだろうな、と思いました。 取り組んだ問題は面白かったし、解いていて楽しかったです。 [Crypto] AAAA [Crypto] CES [Crypto] AAAA ほぼ全てがマスクされたOpenSSH形式のRSAの秘密鍵を見せてもらえます。わかるのは鍵の一部のBASE64がTOKYO+INSTITUTE+OF+TECHNOLOGY+DIGITAL+CREATORS…
OBS Studioに関するメモを書いてる記事 ※「OBS Studioに関する個人的メモ」を移転しました。(現在は閲覧不可) 記事投稿日 2021年10月6日、最終投稿更新日 2024年04月18日 14時15分頃 文字数が凄く多いのでブラウザの検索機能をお使いください。 記事が見にくくて申し訳ありません。 (将来的に内容を細かく分けて記事にしたいと思っています。) ブラウザ検索ショートカット Windows : Ctrl + F macOS : Command + F この記事は下記環境を使用して作成しています。 ※Linux、特定のデバイスが無いと表示されないソースのことはメモしていませ…
前々回(パラボリックSAR)と前回(順位相関指数RCI)の投稿の指標を組み合わせた取引戦略がある書籍に載っていました。今回はこれをPythonで実装してみます。 尚、パラボリックSARについてはta-libを用いたコードに変更しました。RCIについては、別のネット記事のコードで計算結果が一致するものを見つけたので、これで正しいということにしておきます。ここではFXを投資対象とします。 まず、投資対象銘柄のリストを与え、両指標の計算関数を定義します。 # ライブラリのインポート import yfinance as yf from datetime import datetime, timede…
関数講座 はじめに ほとんどの人が、表計算(スプレッドシート)ではエクセルを使っていると思いますが、表計算のアイデアはマイクロソフト社が作ったわけではありません。私は同社が非常に商売が上手で、アメリカ政府と癒着して、敵対勢力を無くしていると思っています。なので、なるべく同社製品を使わないようにしています。 同社を設立し、長く経営してきたビルゲーツ氏は、時として慈善家の顔を見せますが、多くの人々はマイクロソフト社の犠牲者だと思います。ビルゲーツ氏は、人の足を強く踏みつつも、その人に対して誤っているわけです。慈善事業は顧客を増やすためかもしれません。 表計算の関数は様々ありますが、復習も兼ねてまと…
Hotpepperグルメとは?Hotpepperグルメは、ユーザーが地域やジャンル、予算などの条件を指定して飲食店を検索できるプラットフォームです。検索結果には、レストラン、カフェ、居酒屋、バーなどさまざまな種類の飲食店が含まれます。ユーザーは実際に飲食店を利用した際の口コミや評価を投稿できます。他のユーザーがその情報を参考にして、良いレストランや人気のある店を見つけるのに役立ちます。多様な飲食店情報と利用者の生の声を通じて、食事プランの選択をサポートするプラットフォームとして人気があります。スクレイピングツールの概要ScrapeStormとは、強い機能を持つ、プログラミングが必要なく、使いや…
Pythonのデータ分析ライブラリであるPandasは、多くのデータサイエンティストやエンジニアにとって欠かせないツールです。ここでは、Pandasを効果的に活用するためのチートシートを作成しましたので紹介します。体が覚えるまでブックマークして利用してみて下さい。 データの読み込みと表示 色々なファイルやデータソースからデータを読み込む 読み込みの際の条件を指定する データの表示 基本的なデータの表示方法 属性(アトリビュート)を利用した表示方法 データの基本統計量の確認 データの統計量の概要を確認する 特定の統計量を表示 データの選択とフィルタリング データのソートとグルーピング 欠損値の処…
最近セキュリティに興味を持ち始めて qiitaを色々見ていたところ、 OSCPという資格に 「セキュリティ未経験で受験して合格した!」 というのを見て // OSCP!?、なにそれカッコイイ! // 俺もハッカーになりたい! と思いWEBのセキュリティについて勉強することにした。 (と言っても飽きたらすぐやめる可能性大) とりあえず、 プログラミングに関してはJavaを2年ほど 実務経験積んだので 全然わからないってことはないだろう。 ネットワークに関しても AWSでEC2インスタンス立てたり 実務でアプリのリリースとか していたので、まぁいいかと。 とりあえずは 徳丸本を読みながら それに対…
HistData.comのヒストリカルデータをMT5にインポートしてみる。 先ずHistData.comからヒストリカルデータを手動でダウンロードするが、データをインポート用のファイルに変換するためにPythonを使っている。 HistData.comは有志のトレーダーによって運営されており、FXを中心に、株価指数や商品のヒストリカルデータを無料、無登録でダウンロードできる。 ただ、データの信頼性は不明である。 基準時間や夏時間の有無なども個々のデータで確認したほうがいい。 HistData.comのホームページ:https://www.histdata.com/ MT4/5用のヒストリカルデ…
MySQL の GROUP_CONCAT あるいは、PostgreSQL の STRING_AGG から、CSV1行を作る。 作ってSELECTした文字列は、先日書いた原始的なメソッド CSV形式の1行分の文字列からList<String>への変換 - Oboe吹きプログラマの黙示録 を使って、List<String> を取得する。任意の列で、GROUP BY して、GROUP_CONCAT / STRING_AGG で join する時に RFC4180 準拠、カンマ区切り、ダブルクォーテーション括りにする。MySQL の場合、、、対象列が、NOT NULL制約がある場合、 CONCAT('…
【作業フォルダーを決める】 次に、Python のスクリプトやダウンロードした月足四本値データを置くフォルダーを決めます。 自分はコンピューターにログインしたときのユーザーフォルダーにしています。 macOS であれば、Finder を開いてから、「移動」メニューの「ホーム」を選択したときに表示される場所です。そこに任意のテキストエディター(「テキストエディット」など)で、stockcode.txt というテキストファイルを新規作成します。 「テキストエディット」で作成する場合は、「フォーマット」メニューで「標準テキストにする」にしておくのを忘れないようにしてください。 何か実在する証券コード…
4/6 - 4/8という日程で開催された。BunkyoWesternsの🦌ta_ga_naiとして参加して5位。特にコンテナエスケープ問が面白かったし勉強になった。BunkyoWesternsはあと1問で全完というところまでいったのだけれども、[Forensics] Volatileというエスパー要素のあるメモリフォレンジック問にやられた。 目的が読み取れない問題文でメモリフォレンジックを行う必要があるというだけでも、目当てがないままにプロセスにリストやら開かれているファイルのハンドルやら、得られる情報を片っ端から調べる必要がありつらいが、そこにエスパー要素まで加わってくるともうダメだ。メモリ…