Hatena::ブログ(Diary)

Solr, Python, MacBook Air in Shinagawa Seaside RSSフィード

2017-11-16

windows10 既定のプログラムの変更方法

コントロール パネル\プログラム\既定のプログラム\関連付けを設定する

2017-10-21

Embulk を Windows10インストール してみた

1. インストール

コマンドプロンプトを起動

PowerShell -Command "& {Invoke-WebRequest http://dl.embulk.org/embulk-latest.jar -OutFile embulk.bat}"

> d: <- Dドライブにインストールする場合
> mkdir embulk
> cd embulk
> copy C:\Users\hoge\embulk.bat .

2. テスト

> embulk example ./try1

./try1/seed.yml を修正 (ディレクトリの区切り文字を \ から / に変更)
  path_prefix: "./try1/csv/sample_"

> embulk guess   ./try1/seed.yml -o config.yml
> embulk preview config.yml
> embulk run     config.yml

3. プラグインインストール

> embulk gem install embulk-input-mongodb embulk-formatter-jsonl

2017-10-20

pyspark の 実行で Out Of Memory になったとき Spark の ヒープサイズ を変える方法

$SPARK_HOME/conf/spark-defaults.conf を 編集する
spark.driver.memory              20g

2017-10-19

pyspark を Windows10インストール

Anaconda Prompt(py27) を起動
pip install pyspark

環境変数
PYSPARK_DRIVER_PYTHON=jupyter-notebook

C:\Users\hoge\Anaconda3\envs\py27\Scriptspyspark2.cmd を編集
rem Figure out where the Spark framework is installed
rem set SPARK_HOME=%~dp0.. <- SPARK_HOME設定済みならコメントアウト

すでに Spark が起動されていたら停止する

コマンドプロンプトから
pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

MongoDB用のパッケージを追加している

Apache SparkWindows10インストールして上手くいかなかったときにやったこと

Sparkダウンロードして解答する tgz
http://spark.apache.org/downloads.html 

winutils.exeダウンロードして Spark の bin ディレクトリに置く
https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

この後、起動がうまくいかなたっかのだけれど

SparkをCドライブ直下に置いたら解決した


C:\spark-2.2.0-bin-hadoop2.7

環境変数
HADOOP_HOME : C:\spark-2.2.0-bin-hadoop2.7
SPARK_HOME :  C:\spark-2.2.0-bin-hadoop2.7

Spark 起動
C:\spark-2.2.0-bin-hadoop2.7\bin\spark-shell

Program Files とか空白を含むディレクトリの下だとダメなのかも

2017-10-16

Twitter アプリケーション 作成手順

↓を参考に4つのキーを取得した

http://wepicks.net/twitter-restapi-tmhoauth/#item2-1


Consumer Key (API Key)

Consumer Secret (API Secret)

Access Token

Access Token Secret

URLが必要になるので 適当なURLがない場合は SNSアカウントなどを使う

Anaconda + PyCharm + Windows10 に Python2.7 環境を追加してみた

1. スタートメニュー -> Anaconda3(64bit) -> Anaconda Prompt


2. conda コマンドPython 2.7 環境を作る Anaconda も一緒にインストールする

conda create -n py27 python=2.7 anaconda

# Python 2.7 環境は以下にインストールされる
C:\Users\hoge\Anaconda3\envs\py27

3. PyCharm で Python2.7 のプロジェクトを作る


File -> New Ploject
Location : 任意のディレクトリ
Interpreter : 歯車からAdd Local 
  C:\Users\hoge\Anaconda3\envs\py27\python.exe
Create

4. Windows のAnaconda のメニューに Anconda Prompt(py27) というのが追加されるので pip するときは そこから

pip install mglearn

5. Pathの追加

C:\Users\hoge\Anaconda3\envs\py27
C:\Users\hoge\Anaconda3\envs\py27\Scripts