別館 子子子子子子(ねこのここねこ)

2018-05-05

gogakuondemand.rbをv1804_1に更新

すみません、今回はデバッグのための更新です。NHKのせいではありません…。

それから、基礎英語0のストリーミングサイトが他の番組と若干異なっております。そのため、もしかすると5月に再度更新するかもしれません。

と書いておりましたが、5月に変わったら予期していた仕掛けが上手く行かず暴発しましたorz

ということで、またいつものところ
NHK語学講座のラジオ番組ストリーミングを取得するRubyスクリプトgogakuondemand.rb(v1804_1 2018/5/5更新版) - 別館 子子子子子子(ねこのここねこ)をご覧ください。
ダウンロードもそこから行えます。
よろしくお願いします。

2018-04-09

gogakuondemand.rbをv1804に更新

NHK大好きな@です。
毎度おなじみ gogakuondemand.rb を更新しました。
今回は年度変更に伴う番組変更への対応を行いました。具体的には

以上の3番組への対応です。
また、ダウンロード範囲を同一年度に限定しました。特に

の為の変更です。ボキャブライダーは未だに2017年度のファイルもアップされているのでダウンロード出来ますが、いちいち全ファイルの確認を行う必要も無いと思いましたのでそのように変更しました。
なお、pref.rb ファイルでの "school_year" 設定変更で2017年度分もダウンロード可能ですが、ボキャブライダー以外の番組に対してもダウンロード対象年度が限定されます。必要なときにだけ変更してください。
それから、基礎英語0のストリーミングサイトが他の番組と若干異なっております。そのため、もしかすると5月に再度更新するかもしれません。

またいつものところ
NHK語学講座のラジオ番組ストリーミングを取得するRubyスクリプトgogakuondemand.rb(v1804 2018/4/9更新版) - 別館 子子子子子子(ねこのここねこ)
をご覧ください。
ダウンロードもそこから行えます。
よろしくお願いします。

2018-03-01

WatirでHeadless Chromeを使うまでのメモ

サーバ的環境から JavaScript が必要なブラウザアクセスする場合はいままでずっと PhantomJS を使ってきたわけですが、残念ながら PhantomJS は2017年6月ごろで開発を終了したそうです*1
ということで遅まきながら Headless Chrome を使ってみることにしましたのでメモ書きします。

更新すべきもの

  • chromedriver

これが一番のネックでした。Chrome に内蔵されていないと思ってなかったので、古いバージョンのまま使っていました。その際のエラーはこんな感じ。

browser = Watir::Browser.new(:chrome, headless: true)                                                       
Selenium::WebDriver::Error::UnknownError: unknown error: unrecognized Chrome version: HeadlessChrome/64.0.3282.186
  (Driver info: chromedriver=2.27.440174 (e97a722caafc2d3a8b807ee115bfb307f7d2cfd9),platform=Mac OS X 10.12.6 x86_64)
from /Users/riocampos/.anyenv/envs/rbenv/versions/2.3.3/lib/ruby/gems/2.3.0/gems/selenium-webdriver-3.9.0/lib/selenium/webdriver/remote/response.rb:69:in `assert_ok'

chromedriver=2.27 ってちゃんと出てますよね。気付けよ>俺。
で。chromedriver の更新を今後も継続的に行うため、今回は Homebrewインストールすることにしました。現時点のバージョンは2.35。

$ brew info chromedriver
chromedriver: stable 2.35
Tool for automated testing of webapps across many browsers
https://sites.google.com/a/chromium.org/chromedriver/
Not installed
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/chromedriver.rb
==> Caveats
To have launchd start chromedriver now and restart at login:
  brew services start chromedriver
Or, if you don't want/need a background service you can just run:
  chromedriver
$ brew install chromedriver
==> Downloading https://chromedriver.storage.googleapis.com/2.35/chromedriver_mac64.zip
######################################################################## 100.0%
Error: The `brew link` step did not complete successfully <==ここでエラー出ていることに気付こう…
The formula built, but is not symlinked into /usr/local
Could not symlink bin/chromedriver
Target /usr/local/bin/chromedriver
already exists. You may want to remove it:
  rm '/usr/local/bin/chromedriver'

To force the link and overwrite all conflicting files:
  brew link --overwrite chromedriver

To list all files that would be deleted:
  brew link --overwrite --dry-run chromedriver

Possible conflicting files are:
/usr/local/bin/chromedriver
==> Caveats
To have launchd start chromedriver now and restart at login:
  brew services start chromedriver
Or, if you don't want/need a background service you can just run:
  chromedriver
==> Summary
&#127866;  /usr/local/Cellar/chromedriver/2.35: 4 files, 11.3MB, built in 16 seconds

インストールは終わったので確認。

$ which chromedriver
/usr/local/bin/chromedriver
$ chromedriver
Starting ChromeDriver 2.27.440174 (e97a722caafc2d3a8b807ee115bfb307f7d2cfd9) on port 9515 <==バージョンが以前のものになっていることに気付こうよ…
Only local connections are allowed.
^C

ということで古いものを削除。

$ rm '/usr/local/bin/chromedriver'
$ brew link chromedriver
Linking /usr/local/Cellar/chromedriver/2.35... 1 symlinks created

現時点のバージョンは3.9.0。ちなみに3.6.0から「PhantomJS は deprecated」と出るようになりました。

$ gem update selenium-webdriver
Updating installed gems
Updating selenium-webdriver
Fetching: selenium-webdriver-3.9.0.gem (100%)
Successfully installed selenium-webdriver-3.9.0
Gems updated: selenium-webdriver

現時点のバージョンは6.10.3。Headless Chrome が使えるようになったのは6.6からだそうです。
インストールログを消しちゃいましたが、まあ selenium-webdriver と同様に gem update しちゃえばいいわけで。

Headless Chrome実行時の注意

Headless Chrome を先に起動した状態から Chrome も起動しようとしたのですが、起動しませんでした。どうやら先に画面ありのふつうの Chrome を起動しておかないとダメみたいですね。まあ普段は Mac の起動と同時に Chrome も立ち上げますから問題無いでしょう。

実行してみる

$ pry
[1] pry(main)> require 'watir'                                                                                             
=> true
[2] pry(main)> browser = Watir::Browser.new(:chrome, headless: true)                                                       
=> #<Watir::Browser:0x..fbfcb7aab4783eb70 url="data:," title="">
[3] pry(main)> browser.goto "www.yahoo.co.jp"                                                                              
=> "http://www.yahoo.co.jp"
[4] pry(main)> browser.screenshot.save("yahoo.jpg")                                                                       
2018-03-01 16:07:06 WARN Selenium name used for saved screenshot does not match file type. It should end with .png extension
=> #<File:yahoo.jpg (closed)>

スクリーンショットpng じゃないと怒られるようです(以前はそんなことなかったのに。
ではこの記事のサイトを撮影しましょう。

[5] pry(main)> browser.goto('http://d.hatena.ne.jp/riocampos+tech/20180301/watir_with_headless_chrome')                    
=> "http://d.hatena.ne.jp/riocampos+tech/20180301/watir_with_headless_chrome"
[6] pry(main)> browser.screenshot.save('htd.png')                                                                          
=> #<File:htd.png (closed)>

こんなスクリーンショットが撮れました。
f:id:riocampos:20180301170058p:image:w600

*1:とはいえ最新の PhantomJS は http://phantomjs.org/release-2.1.3.html を見ると2018年1月リリースなんだよね。

2018-02-21

Google検索で日付範囲指定したい場合(2016年以降)

2016年より前だと、Google検索窓の検索文字列に「daterange:YYYY-MM-DD..YYYY-MM-DD」を追記すれば良かったようなのですが、最近は使えなくなってしまいました。
いまは、例えば2016/1/1から2017/2/21までを検索したい場合だと検索URL

&tbs=cdr%3A1%2Ccd_min%3A1%2F1%2F2016%2Ccd_max%3A2%2F21%2F2018

を追記するようにします。
で、cdr以降は何かというと
encodeURIComponent("cdr:1,cd_min:1/1/2016,cd_max:2/21/2018")

の結果なのです。日付は米国式にMM/DD/YYYYと書かなきゃいけない、ので面倒です。

これを追記するための bookmarklet を書きたいのですが、面倒になって書いてません。
だれか書いてくださいw

tbsって何だ

検索結果の日付範囲指定やソート順などを指定する要素みたいです。

  • tbs=sbd:1 →(0:古い順、1:新しい順)

  • tbs=qdr:h →(1時間以内
  • tbs=qdr:h24 →(24時間以内
  • tbs=qdr:d →(1日以内
  • tbs=qdr:w →(1週間以内
  • tbs=qdr:m →(1ヶ月以内
  • tbs=qdr:m6 →(6ヶ月以内
  • tbs=qdr:y →(1年以内更新
  • tbs=qdr:y2 →(2年以内

google検索を最新順にソートする方法 - そこに落ちてた帳面

2018-02-15

heroku-buildpack-imagemagickの使い方

Twitter bot に画像処理を加えたいと思って Ruby MiniMagick gem を使いました。
で、デプロイしたあとに気付きました。
あ、ImageMagick を使えるように設定してない!
大急ぎでやり方を探して処理しました。

heroku-buildpack-imagemagick

とはいえ簡単な処理なのです。 heroku に buildpack を追加するだけ。

ImageMagick

ImageMagickビルドパックは公式からは提供されていませんが、カスタムビルドパックを作ってる人がいるのでこれを利用します。

$ heroku buildpacks:add https://github.com/ello/heroku-buildpack-imagemagick

これでImageMagickのカスタムビルドパックの追加が完了です。
HerokuでImageMagickのconvertができるまで - Qiita


これですね。
ello/heroku-buildpack-imagemagick

実行

$ heroku buildpacks:add https://github.com/ello/heroku-buildpack-imagemagick
Buildpack added. Next release on twitter-bot will use:
  1. heroku/ruby
  2. https://github.com/ello/heroku-buildpack-imagemagick
Run git push heroku master to create a new release using these buildpacks.

コミットする必要があります。

$ git commit -m "add heroku-buildpack-imagemagick" --allow-empty
[master 69186ad] add heroku-buildpack-imagemagick

ではデプロイしましょう。

$ git push heroku master
Counting objects: 1, done.
Writing objects: 100% (1/1), 196 bytes | 196.00 KiB/s, done.
Total 1 (delta 0), reused 0 (delta 0)
remote: Compressing source files... done.
remote: Building source:
remote: 
remote: -----> Ruby app detected
remote: -----> Compiling Ruby
 :
remote: -----> Detecting rake tasks
remote: 
remote: -----> ImageMagick app detected
remote: -----> Install ImageMagick
remote: -----> Downloading ImageMagick from http://www.imagemagick.org/download/releases/ImageMagick-6.9.5-10.tar.xz
remote: --2018-02-15 13:47:21--  http://www.imagemagick.org/download/releases/ImageMagick-6.9.5-10.tar.xz
remote: Resolving www.imagemagick.org (www.imagemagick.org)... 198.72.81.86
remote: Connecting to www.imagemagick.org (www.imagemagick.org)|198.72.81.86|:80... connected.
remote: HTTP request sent, awaiting response... 200 OK
remote: Length: 8794440 (8.4M) [application/x-xz]
remote: Saving to: ‘/tmp/build_e7e5db58f15dc697460ae578ff813215/ImageMagick-6.9.5-10.tar.xz’
 :
remote: -----> Extracting ImageMagick from /tmp/build_e7e5db58f15dc697460ae578ff813215/ImageMagick-6.9.5-10.tar.xz
 :
remote: -----> Building ImageMagick
 :
remote: -----> Caching ImageMagick installation
remote: -----> Writing policy file
remote: -----> Updating environment variables
remote: -----> Discovering process types
remote:        Procfile declares types -> bot
remote: 
remote: -----> Compressing...
remote:        Done: 56.2M
remote: -----> Launching...
remote:        Released v31
remote:        https://twitter-bot.herokuapp.com/ deployed to Heroku
remote: 
remote: Verifying deploy... done.
To https://git.heroku.com/twitter-bot.git
   75f8ab8..69186ad  master -> master
[https://gist.github.com/riocampos/2e758f3d359796b93ff19356d6f76f08:title=heroku log after `heroku buildpacks:add https://github.com/ello/heroku-buildpack-imagemagick`]

ImageMagickビルドに6分ぐらいかかった。

動くか確認

先ほどの Qiita 記事に従って、動くかどうかを確認してみましょう。

$ heroku run magick -version
Running magick -version on ⬢ colbase-bot... up, run.2716 (Free)
bash: magick: command not found

あれ?
でも ImageMagick ってだいたいは convert コマンドを使うよね?

$ heroku run convert -version
Running convert -version on &#11042; colbase-bot... up, run.2202 (Free)
Version: ImageMagick 6.9.5-10 Q16 x86_64 2018-02-15 http://www.imagemagick.org
Copyright: Copyright (C) 1999-2016 ImageMagick Studio LLC
License: http://www.imagemagick.org/script/license.php
Features: Cipher DPC OpenMP 
Delegates (built-in): bzlib djvu fontconfig freetype jbig jng jpeg lcms lqr lzma openexr png tiff wmf x xml zlib

動いた動いた^_^

My Google+