Join関数

◎CSVファイルのコード等の読み解き 「ハッシュ関数」を用いることで、個人の直接的な識別情報を削除(「匿名 化」) https://www.mhlw.go.jp/stf/shingi/2r9852000002ss9z-att/2r9852000002ssf5.pdf https://www.mhlw.go.jp/stf/shingi/2r98520000025pcd-att/2r9852000002624j.pdf ★こちら下記のURL様にとても助けていただきました http://www.resept.com/BENKYOKAI/reseptseminartext2013.pdf https…

自然言語処理のタスクは、Transformer が現れて以来一段と盛り上がっています。これまで精度がいまいちだったタスクで、人間以上の精度になってきています。それは、文章の要約タスクでも同様です。文章要約は、与えれた文章の中で重要なワードや文を抜き取り、場合によっては言い換え、意味がわかる自然な文章を作るタスクです。ただ文章を短くすればよいというわけではなく、意味がわかるようにまとめなければいけないというところが、他の自然言語処理のタスクと比べて難しい所以です。 精度の高い要約モデルを作るためには、莫大なデータで事前学習済みのモデルを fine-tuning します。しかし、日本語の文章と要約…

Photo by Ricardo Gomez Angel on Unsplash www.crosshyou.info の続きです。 前回は、hosp: 通院者率をoldr: 65歳以上人口割合と年ダミーを入れて回帰分析してみました。 hosp = β0 + β1oldr + β2year + β3oldr:year + u という回帰式でした。 今回はhospとoldrの差分をとって回帰分析してみます。 Δhosp = β0 + β1Δoldr + u という回帰式ですね。 まずは、差分を計算しないといけないです。 まず、filter関数で2007年だけのデータフレーム、2019年だけのデー…

Photo by Ana Markovych on Unsplash 今回は都道府県別の通院者率のデータを分析してみようと思います。 データは、政府統計の総合窓口(e-stat)から取得しました。www.e-stat.go.jp まず、47都道府県を選択しました。 続いて、65歳以上人口割合、就業者率、社会体育施設数、通院者率の4項目をデータとして選択しました。 ダウンロードしたCSVファイルはこのようなものです。10行目に変数名を作って挿入しています。 このCSVファイルのデータをR言語に読み込みます。 まず。tidyverseパッケージの読み込みをしておきます。 read_csv関数で読み…

Photo by frank mckenna on Unsplash 今回は都道府県別の仕事の平均時間のデータを分析しようと思います。 データは、政府統計の総合窓口(www.e-stat.go.jp)から取得しました。 47の都道府県を選択します。 取得するデータは、 15~64歳人口(男)(人) 15~64歳人口(女)(人) 1人当たり県民所得(平成17年基準)(千円) 従業員300人以上の事業所の従業者割合(民営)(%) 仕事の平均時間(有業者・男)(分) 仕事の平均時間(有業者・女)(分) です。 このようなCSVファイルをサイトから取得しました。 これをR言語に取り込んでデータを分析し…

文字列操作でよく出てくる処理の、汎用関数集を紹介します。例えば「愛媛産みかんから愛媛（産より左側）を取り出す」ときに、 産地 = Left("愛媛産みかん", Instr("愛媛産みかん", "産") -1) ' ⇩ 汎用関数を用意しておけばこう書けるようになる 産地 = Left文字列まで("愛媛産みかん", "産") このように、よくある処理をいちいち書かなくて済む（＋読みやすくする）ための関数集です。実行結果のサンプルをセットで置いておきますので、 関数作成の参考にするなり、中身を見ずに使うなり、 お好きなようにお使いください。 ちなみに「Left文字列まで」のように、なるべく英語始まり…

Photo by Federico Bottos on Unsplash 新型コロナウイルスの影響で病床利用率がひっ迫している、というニュースをよく見聞きしますので、普段の病床利用率はどんなものなのか調べてみようと思いました。 政府統計の総合窓口(www.e-stat.go.jp)からデータを取得しました。 47都道府県を選択して、 一般病院病床利用率(%)の他に人口密度、１人当たり県民所得(千円)、１人当たり国民医療費(千円)のデータも選択しました。 こんなようなExcelファイルです。10行目に変数名を追加しました。 これをR言語に取り込みます。 まず、tidyverseパッケージを読み込…

.entry-title{counter-reset:h1;} .entry-content h1{counter-increment:h1;counter-reset:h3;} .entry-content h3{counter-increment:h3;counter-reset:h5;} .entry-content h1:before{content:counter(h1) "\2e\a0";} .entry-content h3:before{content:counter(h1) "-" counter(h3) "\2e\a0";} はじめに 対象イベント 読み方、使い方 Remo…

エンジニアの鈴木（泰）です。 今回は、multiprocessingとthreadingとasyncioの違いとはなんだろう？という問に挑戦してみたいと思います。 この問の答えをグーグル先生に聞いてみると、非常にたくさんの情報がヒットします。しかしながら、どの情報も断片的なものばかりで（本記事もそうなのかもしれません）、色々と本を読んだりネットを漁ったりして、情報を補完しなければなりませんでした。 本記事は、僕が調べた限りの情報を集約し、この問に対する結論を１つの記事にまとめたものとなっています。 前提 マルチプロセスとは マルチスレッドとは Pythonにおけるマルチスレッド 本題 マルチプ…

Photo by Sharon Pittaway on Unsplash www.crosshyou.info このブログは上のブログの続きです。 今回はR言語のでロング型のデータフレームをワイド型に変換しようと思います。 ロング型のデータフレームは、 このように「科目」の列と「点数」で一つのデータを表しています。 ワイド型は このように、一つ一つの列が「科目と点数」になっています。 ロング型のデータフレームをワイド型に変換するには、spread()関数を使えばいいらしいのですが、いまいち使い方がよくわからないので、原始的に、2016年だけのデータフレーム、2017年だけのデータフレーム、20…

Photo by Manuel Sardo on Unsplash 今回は都道府県別の後期高齢者医療制度被保険者実態調査のデータを分析してみようと思います。データは、政府統計の総合窓口(www.e-stat.go.jp)から取得しました。 この中から、都道府県別１人当たり所得額・保険料調定額というデータをみてみます。 このようなCSVファイルです。 これをR言語に読み込みます。 まず、tidyverseパッケージを読み込みます。 read_csv関数でファイルを読み込みます。 str()関数でデータフレーム、dfを確認します。 pref_nameが文字化けしています。 前に作成しておいた、上の…

問題 atcoder.jp 考え方 ① N, X, A を受け取って、A から X を除いて、残りを出力する。何がポイントなの？と問題文を見てわからなかったが、２つ引っかかりやすいところがあった。 ② １つ目。AのリストからXを取り除くところを remove() を使おうと思ったが、remove() では最初にヒットしたものしか取り除けない。つまり、A = [3, 5, 6, 5, 4] に A.remove(5) をしても、 A = [3, 6, 5, 4] と2個目の「５」は残ってしまう。 remove() を使うのであれば、繰り返し処理が必要。 今回は remove() を使わずに、内包…