Hatena::ブログ(Diary)

Solr, Python, MacBook Air in Shinagawa Seaside RSSフィード

2016-07-12

[]EC2クラスターを作成する メモ

1. n台のEC2を用意し、それぞれに Elasticsearch をインストールする

VPCセキュリティグループは同じにする

アベイラビリティゾーンはコスト優先なら同じにする
可用性を優先するならゾーンをまたいだほうがいい


2. セキュリティグループ内で 9300 の相互通信を許可する


3. クラスタサーバ登録
3台のサーバにそれぞれ登録する
vi config/elasticsearch.yml
discovery.zen.ping.unicast.hosts: ["host1のIP", "host2のIP", "・・・"]


# ネット上では下記も必要との書き込みがあるが
# elasticsearch-2.3.3 はなくてもよいみたい
# discovery.zen.ping.multicast.enabled: false


4. elasticsearch 再起動

2016-07-04

[][] 2年半ぶりにインストールしてみた メモ

1. Elasticsearch インストール

$ wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz
$ tar xvfz elasticsearch-2.3.3.tar.gz
$ cd elasticsearch-2.3.3/bin
$ ./elasticsearch
$ curl http://localhost:9200/ <- 動作確認
{
  "name" : "Ariel",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.3",
    "build_hash" : "218bdf10790eef486ff2c41a3df5cfa32dadcfde",
    "build_timestamp" : "2016-05-17T15:40:04Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

2. 管理画面 elasticsearch-head のインストール

$ cd elasticsearch-2.3.3

$ bin/plugin install mobz/elasticsearch-head

$ vi config/elasticsearch.yml
network.host: 0 <- localhost以外からアクセスする時は設定必要。0はとりあえず...

elasticsearch 再起動

ブラウザから動作確認
http://hoge:9200/_plugin/head/

3. kuromoji インストール

$ cd elasticsearch-2.3.3/bin 
$ ./plugin install analysis-kuromoji
-> Installing analysis-kuromoji...
Trying https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/analysis-kuromoji/2.3.3/analysis-kuromoji-2.3.3.zip ...
Downloading .........................................................................................................................................................................................................................................................................................DONE
Verifying https://download.elastic.co/elasticsearch/release/org/elasticsearch/plugin/analysis-kuromoji/2.3.3/analysis-kuromoji-2.3.3.zip checksums if available ...
Downloading .DONE
Installed analysis-kuromoji into /home/ec2-user/work/elasticsearch-2.3.3/plugins/analysis-kuromoji

elasticsearch 再起動

$  curl -X GET 'http://localhost:9200/_nodes/plugins’  <- plugins に組み込まれていることを確認
{"cluster_name":"elasticsearch","nodes":{"LmezOxGLSdapGXz17DdULw":{"name":"Ariel","transport_address":"127.0.0.1:9300","host":"127.0.0.1","ip":"127.0.0.1","version":"2.3.3","build":"218bdf1","http_address":"127.0.0.1:9200","plugins":[{"name":"analysis-kuromoji","version":"2.3.3","description":"The Japanese (kuromoji) Analysis plugin integrates Lucene kuromoji analysis module into elasticsearch.","jvm":true,"classname":"org.elasticsearch.plugin.analysis.kuromoji.AnalysisKuromojiPlugin","isolated":true,"site":false}],"modules":[{"name":"lang-expression","version":"2.3.3","description":"Lucene expressions integration for Elasticsearch","jvm":true,"classname":"org.elasticsearch.script.expression.ExpressionPlugin","isolated":true,"site":false},{"name":"lang-groovy","version":"2.3.3","description":"Groovy scripting integration for Elasticsearch","jvm":true,"classname":"org.elasticsearch.script.groovy.GroovyPlugin","isolated":true,"site":false},{"name":"reindex","version":"2.3.3","description":"_reindex and _update_by_query APIs","jvm":true,"classname":"org.elasticsearch.index.reindex.ReindexPlugin","isolated":true,"site":false}]}}}knaka ~/work/elasticsearch-2.3.3/bin $

4. Kibana インストール

$ wget https://download.elastic.co/kibana/kibana/kibana-4.5.1-linux-x64.tar.gz
$ tar xvfz kibana-4.5.1-linux-x64.tar.gz
$ cd kibana-4.5.1-linux-x64/bin
$ ./kibana
ブラウザからアクセスして動作確認 http://hoge:5601

2016-06-04

[] Webクロールをリンクをたどって再帰的に行う場合にはホップフィルタを設定する

デフォルトではホップ数が指定されていないので再帰的なクロールがされない

シードで指定したURLのみがクロールされる

再帰的にクロールするためには最大ホップ数を指定する

Jobの編集ページから ホップフィルタ タブを選び

タイプの最大ホップ数 'link':

に最大ホップ数を設定する

f:id:knaka20blue:20160604202354j:image

2016-04-04

Mac iTerm iTerm2 右クリックペーストできるようにする

iTerm -> Preferences -> Pointer ( 上の方にある )

Right button single click : Paste from clipboard

Middle button single click : Open Context Menu





以上

2015-12-24

[][] Jython から Kuromoji を使って形態素解析する メモ

kuromoji-0.7.7.jar に CLASSPATH を通しておく


hoge.jy

#!/usr/local/jython/bin/jython
# -*- coding: utf-8 -*-

from org.atilika.kuromoji import Tokenizer

if __name__ == "__main__":

 parseWord = u"すもももももももものうち"
 builder = Tokenizer.builder();

 # ノーマルモード
 normal = builder.build();
 TokensNormal = normal.tokenize(parseWord);

 for token in TokensNormal:
  print token.getSurfaceForm() + "\t" + token.getAllFeatures()

$ hoge.jy
すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

[][] EC2GUI を使わないで コマンドラインだけで Jythonインストールする ヘッドレス メモ

jython-installer-2.7.0.jar を下記から ダウンロード
http://www.jython.org/downloads.html

$ sudo su -
# java -jar /tmp/jython-installer-2.7.0.jar -c
Welcome to Jython !
You are about to install Jython version 2.7.0
(at any time, answer c to cancel the installation)
For the installation process, the following languages are available: English, German
Please select your language [E/g] >>>
Do you want to read the license agreement now ? [y/N] >>>
Do you accept the license agreement ? [Y/n] >>>
The following installation types are available:
  1. All (everything, including sources)
  2. Standard (core, library modules, demos and examples, documentation)
  3. Minimum (core)
  9. Standalone (a single, executable .jar)
Please select the installation type [ 1 /2/3/9] >>> 2
Do you want to install additional parts ? [y/N] >>>
Do you want to exclude parts from the installation ? [y/N] >>>
Please enter the target directory >>> /usr/local/jython
Directory /usr/local/jython is not empty - ok to overwrite contents ? [y/N] >>> y
Contents of directory /usr/local/jython will be deleted now! Are you sure to proceed ? [Y/n] >>>
Your java version to start Jython is: Oracle Corporation / 1.8.0_31
Your operating system version is: Linux / 3.10.35-43.137.amzn1.x86_64
Summary:
  - mod: true
  - demo: true
  - doc: true
  - src: false
  - ensurepip: true
  - JRE: /usr/java/jdk1.8.0_31/jre
Please confirm copying of files to directory /usr/local/jython [Y/n] >>>
 10 %
 20 %
 30 %
 40 %
 50 %
 60 %
 70 %
Generating start scripts ...
Installing pip and setuptools
 90 %
Ignoring indexes: https://pypi.python.org/simple/
Downloading/unpacking setuptools
Downloading/unpacking pip
Installing collected packages: setuptools, pip
Successfully installed setuptools pip
Cleaning up...
 100 %
Do you want to show the contents of README ? [y/N] >>>
Congratulations! You successfully installed Jython 2.7.0 to directory /usr/local/jython.