jawiki
ウィキペディア日本語版の略称のひとつ。
http://download.wikimedia.org/jawiki/というURLなどにも見られるように、Wikimediaプロジェクトでウィキペディア日本語版のデータベースを識別する名称として使われる。
このタグの解説について
この解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。関連ブログ
身長180cm(男)、身長160cm(女)の二次元キャラクターは異常に多い
恒例『異常に多い』シリーズです(6年ぶり2度目) 第一弾↓ wtetsu.hatenablog.com アニメ・漫画・ゲーム等キャラ13,000人くらいの身長設定を集める 男女別にカウントしてみる 結果 男性 順位 身長 人数 1位 180cm 383人 2位 175cm 360人 3位 178cm 343人 女性 順位 身長 人数 1位 160cm 572人 2位 158cm 436人 3位 165cm 406人 まあ、異常に多いというほどではなかったです。 誕生日ほど露骨な傾向ではなかった。 男キャラ身長 男キャラ身長 女キャラ身長 女キャラ身長 メモ キリ番っぽい160cmやら170cm…
ネットで話題
もっと見る
dumps.wikimedia.org関連ブログ
【Python】JSONを開く際に、「UnicodeDecodeError: 'cp932' codec can't decode byte 0x85〜」 が出た時の処理について
起こったこと Pythonが楽しくて、アウトプットとして自然言語処理100本ノックをやっていたとき。 Macで叩いたソースコードをGitHubに上げて、Windowsを触っていたときにgit cloneして動かそうと思ったのですが、 jsonファイルをただ読み込もうとした際に下記のようなエラーが発生しました。 for line in f: UnicodeDecodeError: 'cp932' codec can't decode byte 0x85（以下略） ？？？？ 環境 Macbook Python 3.8.0 Windows 10 Python 3.8.5 ソースコード # codin…
Wikipediaの特定カテゴリの記事のみを取得する
自然言語処理に関する機械学習の手法を試す際には大量のテキストデータが必要になることがあります。そこで、手軽に使えるテキストデータとしてWikipediaの記事データを使うことにしたのですが、全データを対象にしてアルゴリズムを学習させるのは時間がかかり過ぎますし、特定のカテゴリ（分野）に特化して学習したモデルを作りたいと思うことも少なくありません。 MySQLを使って抽出する方法もあるようですが環境の構築が少々面倒だと思ったので、全データから特定カテゴリの記事のみを抽出するプログラムを書くことにしました。 全記事データを取得するまで 特定カテゴリのページIDを得る 特定カテゴリのページIDに該当…
Word2Vecによる単語計算のアプリをHerokuにデプロイした話：Word2VecのModel作成編
【アプリ名】Word2Vecによる単語計算【概要】Word2Vecによる単語計算を行えるWebアプリ Word2Vecによる単語計算 【言語】 Python 【サーバー】 Heroku 単純にWord2Vecを試したいだけであれば、学習済みのデータが転がっているので、それをダウンロードして読み込めばすぐにできる しかし、Herokuにデプロイするには容量の問題が発生する 有料プランでアレば問題ないのだが、無料プランでは500MBまでしかストレージが使用できず、転がっている学習済モデルだと500MBを超えてしまう なので、モデルから作った １．Wikipediaの文章データをダウンロードする ２…
言語処理100本ノック2020年版を解いてみた【第3章：正規表現 25〜29】
自身のQiita記事（こちら）の転載です。 東北大乾・岡崎研（現乾・鈴木研）で作成された、新人研修の一つであるプログラミング基礎勉強会の教材『言語処理100本ノック 2020年版』をPython（3.7）で解いた記事の第6弾です。 独学でPythonを勉強してきたので、間違いやもっと効率の良い方法があるかもしれません。 改善点を見つけた際はご指摘いただけると幸いです。 第3章からは合っているかどうかな部分が多くなってきているので、改善点だけでなく、合っているかどうかという点もぜひご指摘ください。 ソースコードはGitHubにも公開しています。
▲心くじけず言語処理100本ノック＝＝25～28＝＝※5/27に29追加
こんにちは！ テービーテックの村松です。「言語処理100本ノック2020]」 nlp100.github.io に挑戦中！ 途中でくじけないか見守ってください・・・。 そして、皆さんも一緒に挑戦してみましょう！本日は第第3章: 正規表現 25～28です！ (※5/27に29を追加しました) 間違い・コード改善点などありましたら教えていただけると嬉しいです。 第3章: 正規表現 「Wikipediaの記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzに以下の処理を行うプログラムを作成せよ」ここからはjawiki-country.json.gzを使用して問題に…
▲心くじけず言語処理100本ノック＝＝20～24＝＝
こんにちは！ テービーテックの村松です。「言語処理100本ノック2020]」 nlp100.github.io に挑戦中！ 途中でくじけないか見守ってください・・・。 そして、皆さんも一緒に挑戦してみましょう！本日は第第3章: 正規表現 20～24です！ 間違い・コード改善点などありましたら教えていただけると嬉しいです。 第3章: 正規表現 「Wikipediaの記事を以下のフォーマットで書き出したファイルjawiki-country.json.gzに以下の処理を行うプログラムを作成せよ」ここからはjawiki-country.json.gzを使用して問題に取り組んでいきます。 仕様は以下の通…
家族連れにおすすめ乗って楽しい列車をご紹介
家族連れにおすすめ乗って楽しい鉄道(2020/5/22) 読者の皆さんこんにちはToridenです。この投稿は、初めての鉄道紹介をです。今回は、家族連れにおすすめの乗って楽しい列車をご紹介していこうと思います。 家族連れにおすすめ乗って楽しい鉄道(2020/5/22) 北海道 1.ノロッコ号 2.SL冬の湿原号 東北 1.ストーブ列車 2.リゾートしらかみ 3. リゾートあすなろ 4.SL銀河 5.Pokémon with YOUトレイン 6.とれいゆ つばさ 関東 1.デハ101 2.ラビュー 3.小田急ロマンスカー 5.東急世田谷線 中部 1.ろくもん号 2.ゆけむり 3.リニアモーターカ…
自然言語処理100本ノック2020から逃げるな「20. JSONデータの読み込み」
これは自然言語処理100本ノック2020に挑んだ、とある人間の記録。 他の問題はこちら → 自然言語処理100本ノック2020から逃げるな まとめ 20. JSONデータの読み込み Wikipedia記事のJSONファイルを読み込み，「イギリス」に関する記事本文を表示せよ．問題21-29では，ここで抽出した記事本文に対して実行せよ． Pythonコード import gzip import json path = 'jawiki-country.json.gz' def load(): with gzip.open(path, 'rt') as f: for l in f: data = js…
言語処理100本ノック2020（python）備忘録20-29
20 import gzip import json country_dict_list = [] with gzip.open('jawiki-country.json.gz', 'rt') as r: data = r.readlines() for line in data: country_dict_list.append(json.loads(line)) for line_dict in country_dict_list: if line_dict['title'] == 'イギリス': england_data = line_dict['text'] print(england…
言語処理100本ノック2020年版を解いてみた【第3章：正規表現 20〜24】
自身のQiita記事（こちら）の転載です。 東北大乾・岡崎研（現乾・鈴木研）で作成された、新人研修の一つであるプログラミング基礎勉強会の教材『言語処理100本ノック 2020年版』をPython（3.7）で解いた記事の第5弾です。 独学でPythonを勉強してきたので、間違いやもっと効率の良い方法があるかもしれません。 改善点を見つけた際はご指摘いただけると幸いです。 第3章からは合っているかどうかな部分が多くなってきているので、改善点だけでなく、合っているかどうかという点もぜひご指摘ください。 ソースコードはGitHubにも公開しています。
【言語処理100本ノック 2020】 3章をPythonで解いた
こんにちは。たかぱい（@takapy0210）です。 本エントリは言語処理100本ノック 2020の3章を解いてみたので、それの備忘です。 nlp100.github.io 例によってコードはGithubに置いてあります。 github.com 第3章: 正規表現 20. JSONデータの読み込み 21. カテゴリ名を含む行を抽出 22. カテゴリ名の抽出 23. セクション構造 24. ファイル参照の抽出 25. テンプレートの抽出 26. 強調マークアップの除去 27. 内部リンクの除去 28. MediaWikiマークアップの除去 29. 国旗画像のURLを取得する 第3章: 正規表現 …
その10万円は何色なのか？｜後出し的に利用制限されるお金の使い道一考
// // 新型コロナウイルス（新型肺炎）による生活困窮の保障として、全国民に一律10万円が配られることになった。受給者間の不公平感を抑えつつ、素早く支給し、誰もが躊躇なく受け取れる。うん、悪くないかも。 ただ、配られる前から、色が付いているのが、心配。 宮根誠司、給付金１０万円は「もらわない」 松井一郎大阪市長はふるさと納税呼びかけ #SmartNews https://t.co/MXEnSUIgOR — SabeHiro_jawiki_ (@618okNfk) April 20, 2020 【大反対】杉村太蔵 国民一律10万円給付に反対 https://t.co/s9GppyX5Jz — …
日本語CTRLを1から学習する - 6
はじめに これまでCTRL1の学習に必要な要素をまとめてきた。 今回は実際に学習を行うコードを実装した。 https://github.com/NeverendingNotification/japanese_ctrl 学習対象データ 今回学習を行うデータは以下の3つとしている。 日本語wikipedia2 青空文庫3 JDSC4 学習時は各データセットごとに制御コードを割り振る。 データサイズに大きなバラつきがあるためサンプリングを調整している。 設定ファイル 設定ファイルは以下のyaml形式で記載されている。 main_params: log_dir: "logs/test1" seed:…
