Hatena::ブログ(Diary)

モノづくりが好きですープログラミングとハンドメイドの記録ー

2099-12-31

せつめい

23:33

この記事は常にトップに表示されます。

主に次のようなことについて書いています

2017-01-25

Pythonでスクレイピング

12:12

これで、画像の収集をやってみる。

第7章で、牛丼画像を、フォト蔵からスクレイピングする例があるので収集。

はまったところ

  • httpsのアクセスは、python2.7以降は不可らしい。
    • 下記をすると(自己責任だけど)アクセス可能になるらしい。*1

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

  • マルチバイト文字エラー
    • このおまじないが必要らしい。

# vim:fileencoding=utf-8

2016-04-07

続・Selenium Grid設定メモ

23:51

どうも、LINUX上のFirefoxはうまくいかない、というコメントがいくつかあるみたいなので環境を変えてみる

  • node

- Chrome On Windows 10 (実機)

  • hub

- Mac OS X (前回と同じ)

nodeの立ち上げ

java -jar selenium-server-standalone-2.48.2.jar -role node -hub http://192.168.0.1x:4444/grid/register -Dwebdriver.chrome.driver=.\chromedriver.exe

hubがちゃんと認識してるっぽい


Registered a node http://192.168.0.xx:5555


macからテストスクリプトを実行(Windows, Chromeを指定)

→実行された!

環境確認用のアドレスにアクセスした時に、下記のアドレスにでる画面で、

http://192.168.0.1x:4444//grid/console

Linuxの環境は「failed: Operation timed out」って画面にでるんだよなあ

なんかうまく登録できていなかったということかな。

まあLINUXブラウザバリエーションテストなんかしないからいいか、、、、^^;

2016-04-05

Selenium Grid 設定メモ

02:13

ホスト:MacBook Air (w/z FireFox 44)

ゲスト:Oracle LINUX (w/z FireFox 17)

ゲストOSのネットワークをブリッジ接続とする。

NATだと、ホストと繋がらないらしい)

ホスト側のhub立ち上げ

java -jar selenium-server-standalone-2.53.0.jar -role hub


ホスト側の、node.jsonの設定

{

"capabilities":

[

{

"platform": "MAC",

"browserName": "firefox",

"maxInstances": 2,

"version": "44.0",

"seleniumProtocol": "WebDriver"

}

],

"configuration":

{

"hub": "http://localhost:4444/grid/register"

}

}

~

ホスト側の、nodeの起動

java -jar selenium-server-standalone-2.53.0.jar -role node -hub http://localhost:4444/grid/register -nodeConfig node.json

この状態で、

DesiredCapabilities capability = DesiredCapabilities.chrome();

capability.setBrowserName("firefox");

capability.setPlatform(org.openqa.selenium.Platform.MAC);

capability.setVersion("44.0");

driver = new RemoteWebDriver(new URL("http://192.168.9x.1:5555/wd/hub"), capability);

driver.get("http://www.google.com");

とりあえずGoogle先生を開くことができた

つぎに、VirtualBoxの中

調べてでてくる書き方では常に、下記のエラー

Caused by: org.openqa.grid.common.exception.GridException: Error forwarding the new session Error forwarding the request Connect to 192.168.12x.1:5555

configurationを少しいじってみる

{

"capabilities":

[

{

"browserName": "firefox",

"maxInstances": 1,

"version": "17.0",

"seleniumProtocol": "WebDriver"

}

],

"configuration":

{

"hub": "http://192.168.0.1x:4444/grid/register", //hubのURL

"remoteHost": "http://192.168.0.2x:5558",

"url": "http://192.168.0.2x:5558",

"host": "http://192.168.0.2x"

}

}


この動画*1を参考に、

設定を真似みたら、


org.openqa.selenium.remote.UnreachableBrowserException: Could not start a new session. Possible causes are invalid address of the remote server or browser start-up failure.

どうやら届いたようだ。ちょっと進化した感じ。

つぎはゲストOSの中にブラウザパスを設定してみる予定。

2016-03-07

Developer Summit 2016で感銘を受けた、 Mikasaをインストールしてみる

23:15

mikasaフルインストールマニュアル

  • まあ無理だったんだけれども、、、、
  • さくさく書いてある通りにインストール
  • 実行した時に、次のようなエラーが出る。

replicated to only 0 peer(s) instead of 1 peers

SparkのUIも一向に動かない

f:id:meowmeow-cats0830v:20160307231205j:image:w360

ググってみたら、こんな記述が。

The warning in your case means that incoming data from stream are not replicated at all. The reason for that may be that you run the app with just one instance of Spark worker or running in local mode. Try to start more Spark workers and see if the warning is gone.

ワーカーノードをもっと作って、ということらしい。

Connection: close