Hatena::ブログ(Diary)

Solr, Python, MacBook Air in Shinagawa Seaside RSSフィード

2016-04-04

Mac iTerm iTerm2 右クリックペーストできるようにする

iTerm -> Preferences -> Pointer ( 上の方にある )

Right button single click : Paste from clipboard

Middle button single click : Open Context Menu





以上

2015-12-24

[][] Jython から Kuromoji を使って形態素解析する メモ

kuromoji-0.7.7.jar に CLASSPATH を通しておく


hoge.jy

#!/usr/local/jython/bin/jython
# -*- coding: utf-8 -*-

from org.atilika.kuromoji import Tokenizer

if __name__ == "__main__":

 parseWord = u"すもももももももものうち"
 builder = Tokenizer.builder();

 # ノーマルモード
 normal = builder.build();
 TokensNormal = normal.tokenize(parseWord);

 for token in TokensNormal:
  print token.getSurfaceForm() + "\t" + token.getAllFeatures()

$ hoge.jy
すもも	名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
も	助詞,係助詞,*,*,*,*,も,モ,モ
もも	名詞,一般,*,*,*,*,もも,モモ,モモ
の	助詞,連体化,*,*,*,*,の,ノ,ノ
うち	名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ

[][] EC2GUI を使わないで コマンドラインだけで Jythonインストールする ヘッドレス メモ

jython-installer-2.7.0.jar を下記から ダウンロード
http://www.jython.org/downloads.html

$ sudo su -
# java -jar /tmp/jython-installer-2.7.0.jar -c
Welcome to Jython !
You are about to install Jython version 2.7.0
(at any time, answer c to cancel the installation)
For the installation process, the following languages are available: English, German
Please select your language [E/g] >>>
Do you want to read the license agreement now ? [y/N] >>>
Do you accept the license agreement ? [Y/n] >>>
The following installation types are available:
  1. All (everything, including sources)
  2. Standard (core, library modules, demos and examples, documentation)
  3. Minimum (core)
  9. Standalone (a single, executable .jar)
Please select the installation type [ 1 /2/3/9] >>> 2
Do you want to install additional parts ? [y/N] >>>
Do you want to exclude parts from the installation ? [y/N] >>>
Please enter the target directory >>> /usr/local/jython
Directory /usr/local/jython is not empty - ok to overwrite contents ? [y/N] >>> y
Contents of directory /usr/local/jython will be deleted now! Are you sure to proceed ? [Y/n] >>>
Your java version to start Jython is: Oracle Corporation / 1.8.0_31
Your operating system version is: Linux / 3.10.35-43.137.amzn1.x86_64
Summary:
  - mod: true
  - demo: true
  - doc: true
  - src: false
  - ensurepip: true
  - JRE: /usr/java/jdk1.8.0_31/jre
Please confirm copying of files to directory /usr/local/jython [Y/n] >>>
 10 %
 20 %
 30 %
 40 %
 50 %
 60 %
 70 %
Generating start scripts ...
Installing pip and setuptools
 90 %
Ignoring indexes: https://pypi.python.org/simple/
Downloading/unpacking setuptools
Downloading/unpacking pip
Installing collected packages: setuptools, pip
Successfully installed setuptools pip
Cleaning up...
 100 %
Do you want to show the contents of README ? [y/N] >>>
Congratulations! You successfully installed Jython 2.7.0 to directory /usr/local/jython.

2015-12-16

[] 出口ノード数

世界で 7〜800 ぐらいでしょうか

日本は 1% ぐらいですね

http://torstatus.blutmagie.de/network_detail.php

[][]を使ってダークウェブクローリングする

Tor + polipo環境ができていれば 環境変数 http_proxy を設定しておくと

Scrapy が読み取って Tor 経由のアクセスになってくれるようです


export http_proxy=http://localhost:8123

2015-12-02

[][][] から ダークウェヴを見てみる

polipo経由でTorに潜ることでPythonから.onionのダークウェヴを見てみます

PythonプログラムPolipo(プロクシ : 8123) ⇛ Tor(親プロクシ) ⇛ hogehoge.onion


#! /usr/bin/env python
# coding=utf-8

# polipo 経由で Tor を使う

import urllib2

url = "http://hogehoge.onion/"

proxy = {"http":"http://localhost:8123"}
proxy_handler = urllib2.ProxyHandler(proxy)
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)

request = urllib2.Request(url)
response = urllib2.urlopen(request)
html = response.read()

print html

[][][] EC2 インストールメモ

polipoは軽量なプロキシです

これを経由することで SOCK に対応していないブラウザクライアントアプリからも

Torアクセスできるようになります


以下は同じサーバに自前のTorサーバが動いていることが前提の設定です

$ sudo  yum --enablerepo=epel install polipo

$ sudo vi /etc/polipo/config
コメントアウトされているのをはずす

proxyAddress = "0.0.0.0"    # IPv4 only
socksParentProxy = "localhost:9050"
socksProxyType = socks5
diskCacheRoot = ""
allowedClients = 127.0.0.1, 110.67.20.xxx ← クライアントのIPアドレス

$ sudo /etc/init.d/polipo start

$ sudo tailf /var/log/polipo


Firefox から polipo (プロキシ)を使う設定

オプション -> 詳細 -> ネットワーク -> 接続設定 -> 手動でプロキシを設定する 
手動でプロキシを設定する ON
HTTPプロキシ(X): プロキシのホスト名
ポート(P): 8123

Tor 経由だと遅くなるけど 我慢する

2015-12-01

[] [AWS] EC2インストール メモ


$ sudo yum update

$ sudo yum -y install gcc-c++ glibc-headers openssl-devel readline libyaml-devel readline-devel zlib zlib-devel libffi-devel libxml2 libxslt libxml2-devel libxslt-devel sqlite-devel

$ sudo pip install --upgrade pip

$ sudo vi /etc/sudoers
    secure_path に /usr/local/bin を追加     <- pip は /usr/local/bin にインストールされるため

$ sudo /usr/local/bin/pip install --upgrade scrapy

$ sudo pip install service_identity