Hatena::ブログ(Diary)

Solr, Python, MacBook Air in Shinagawa Seaside RSSフィード

2017-01-09

ホンダ ディーラ オプション ナビ VXM-165VFI ( パナソニック製 音の匠 ) 向け 動画 エンコード パラメータ メモ

set PICTURE=--maxWidth 720 --maxHeight 480 --modulus 4
set VIDEO=--encoder x264 --x264-preset medium --h264-profile baseline --h264-level 2.1 --quality 20 --rate 30 --pfr
set AUDIO=--audio 1 --aencoder faac --ab 192 --arate 48 --mixdown stereo

HandBrakeCLI.exe -i hoge.mp2 -o hoge.m4v %PICTURE% %VIDEO% %AUDIO%

2016-12-25

[] 5.5 文字化け対策

$ sudo vi /etc/my.cnf
[client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
character-set-server=utf8

mysql> show variables like "char%";
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

2016-10-30

[] インストール メモ

Fluentdサーバクライアント間の通信TCPUDPの両方を使う

セキュリティグループの設定では忘れないように!

ログは /var/log/td-agent/td-agent.log に出る


1) Fluentd クライアント

# curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sudo sh
# sudo chkconfig --add td-agent

# vi /etc/init.d/td-agent

# rootでの実行に変更
TD_AGENT_USER=root
TD_AGENT_GROUP=root

# vi /etc/td-agent/td-agent.conf 

<match www.apache.access>
 type forward
 <server>
  host 172.30.0.35 <- FluentdサーバのIPアドレス
  port 12345
 </server>
</match>

<source>
 type tail
 format apache2
 pos_file /var/log/td-agent/httpd-access.log.pos
 path /var/log/httpd/access_log
 tag www.apache.access
</source>

# /etc/init.d/td-agent start

2) Fluentd サーバ

# curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sudo sh
# sudo chkconfig --add td-agent
# /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-zabbix
# /opt/td-agent/embedded/bin/fluent-gem install fluent-plugin-cloudwatch

# vi /etc/init.d/td-agent

# rootでの実行に変更
TD_AGENT_USER=root
TD_AGENT_GROUP=root

# vi /etc/td-agent/td-agent.conf 

<match www.apache.access>
 type file
 path /var/log/td-agent/wwwaccess
</match>

<source>
 type forward
 port 12345
</source>

# /etc/init.d/td-agent start

3) アンインストール

# yum remove td-agent

2016-10-27

[] SMTPサーバ指定してメール送信する

メールクライアント

メールサーバのIPアドレスを登録
$ vi ~/.mailrc
set smtp=smtp://x.x.x.x:25

メールサーバ

メールクライアントのIPアドレス追加
# vi /etc/postfix/main.cf
    mydestination = $myhostname, ・・・, y.y.y.y
# service postfix reload

2016-10-18

[][] Solr6 Jythonフィードの前処理をする メモ

1. Jythonインストール

Jythonスタンドアローン版を下記からダウンロード

http://www.jython.org/downloads.html

sudo mkdir /var/solr/data/コア名/lib

sudo cp jython-standalone-2.7.0.jar /var/solr/data/コア名/lib

sudo /etc/init.d/solr restart <- Solr 再起動

2. solrconfig.xml の変更

拡張子.jyは使えない

  <initParams path="/update/**">
    <lst name="defaults">
      <!-- str name="update.chain">add-unknown-fields-to-the-schema</str -->
      <str name="update.chain">script</str>
    </lst>
  </initParams>

    <updateRequestProcessorChain name="script">
      <processor class="solr.StatelessScriptUpdateProcessorFactory">
        <str name="script">update-script.py</str>
      </processor>
      <processor class="solr.RunUpdateProcessorFactory" />
    </updateRequestProcessorChain>

3. update-script.py を書く

下の例だとSolrログファイルメッセージが出力される

デフォルトでは /var/solr/logs/solr.log

def processAdd(cmd):
  doc = cmd.solrDoc
  id = doc.getFieldValue("id")
  logger.info("update-script#processAdd: id=" + id)

def processDelete(cmd):
    logger.info("update-script#processDelete")

def processMergeIndexes(cmd):
    logger.info("update-script#processMergeIndexes")

def processCommit(cmd):
    logger.info("update-script#processCommit")

def processRollback(cmd):
    logger.info("update-script#processRollback")

def finish():
    logger.info("update-script#finish")

[][][] Amazon LinuxSolr 6.2.1 インストール

インストール

wget http://ftp.jaist.ac.jp/pub/apache/lucene/solr/6.2.1/solr-6.2.1.tgz
tar xvfz solr-6.2.1.tgz
sudo solr-6.2.1/bin/install_solr_service.sh solr-6.2.1.tgz
sudo vi /etc/default/solr.in.sh <- これやんないとエラーになった
    SOLR_JAVA_HOME="/usr" <- 追記

sudo /etc/init.d/solr start

コアの作成とサンプルデータフィード

sudo - solr <- Solr の操作は solr ユーザで行う。インストールすると自動的にできる
vi .bash_profile
    export SOLR_JAVA_HOME="/usr" <- 追記
source vi .bash_profile

/opt/solr/bin/solr create_core -c mycore <- コアの作成
/opt/solr/bin/post -c mycore /opt/solr/example/exampledocs/books.csv <- サンプルデータフィード

ブラウザから確認

http://hoge:8983/solr/#/mycore/query