2013-02-09

Heroku で Haskell (Scotty + Persistent)

Heroku がすごいことを知ったので少しずつ使おうとしています。で、 Haskell で書いたアプリケーションを動かそうとしているのですが、ちょいちょい触りつつわかったことを書いてみます。

巷では Heroku で Haskell を動かすにはビルド済みのバイナリを push するのがよく知られた方法のようです。

しかしこの方法は Heroku の Celadon Cedar stack が Ubuntu 10.04 64bit であることを前提としていて、少し考えるとわかるように次のような問題があります。

ローカルで Ubuntu 10.04 64bit を用意しなければならない
Cedar stack が別のディストリビューションを使うようになったら追従しなければならない

で、そうでなくて Heroku 上でビルドする方法はないのかと探したら少し前に xuwei さんが Haskell 用の buildpack を使う方法を書いていました。ここで紹介されているリポジトリに書いてある通りにやってみるとすごく簡単にアプリケーションを動かすことができます。

というわけで、この buildpack を使って遊んでみた感じのまとめとして、 Scotty + Persistent で簡単なアプリケーションを作ってみました。

ページにアクセスするとフォームが現れて、そこから post された文字列を DB に格納して、 DB にある内容を表示するというまあごくシンプルなやつです。使い方とかは README に書いてあるので読んでください。

テンプレートエンジンは少し探してみたのですがなんか定番っぽいのがなさそうで、 fujimura さんの書いている Mustache (hastache) を使ってみました。

https://gist.github.com/fujimura/4277295

Heroku の無料アカウントで標準の PostgreSQL を使うことになります。 Mac の Homebrew で何も考えずに PostgreSQL をインストールすると 32bit 版がインストールされますが、これを使うと persistent-postgresql のビルドでこけます。まあその辺直すのめんどくさそうだったので、ローカルでは SQLite を使い、 Heroku 上では PostgreSQL を使うということができるようにしてみました。 PostgreSQL をインストールしていない環境で動かすには src/DBUtil.hs の #define SQLite の行をアンコメントし、 scotty-on-heroku.cabal の persistent-postgresql の行をコメントアウトしてください。

ちなみに Yesod アプリケーションも同じ方法で作ってみようとしたのですが、どうやら Heroku では push 時に走るビルドが 15 分かかると殺されてしまう仕様のようです。 (公式ドキュメントに見当たらない・・) 15 分では Yesod を最初からビルドすることはできないのでこの方法では無理です。 Yesod に限らずとも大きなアプリケーションを動かすときはビルド済みのバイナリを push という方法しかなさそうです。

2012-12-09

Advent Calendar Advent Calendar 9日目

Advent Calendar Advent Calendar の9日目です。前の人は @sa__i さんでした。

今日は SKK Advent Calendar を紹介します。

SKK とは日本語入力ソフトウェア (IME) の一つです。元々は Emacs 上で動く IME として開発され、 UNIX 環境では XIM 用に移植された skkimput、また Windows 向けの skkime や Mac OS X 用の AquaSKK など多くのクローンが存在します。その独特かつ慣れると快適な入力方法ゆえ根強い人気を誇り、一見さんお断りの上級者向け IME として有名となっています。

SKK が他の一般的な入力方法と異なっているのは、 IME が形態素解析を行わなずユーザーが漢字変換したい単位を自分で指定することです。形態素解析を行って単語や文節の区切りを認識して変換するソフトウェアでは頻繁に解析ミスが生じて意図した変換にならないことがあります。 SKK が快適なのは自分で変換単位を指定することで形態素解析のミスによる変換ミスが起こらないことが保証されるからです。また SKK を使うと「変換できる単位」で漢字変換を行う癖がつくため、たまに通常の IME を使う場合でも解析ミスによる変換ミスを防ぐことにつながります。通常の IME の形態素解析が信用ならない人にはおすすめです。 (自然言語処理界隈の人たちに SKK ユーザが多いという噂があります。)

その他、よく挙げられる SKK の長所

シームレスかつ高度な辞書登録
シームレスな入力モードの変更 (かな、カナ、半角英数、全角英数)
高度な補完機能
zh zj zk zl z- z[ z] z, z. z/ といった省略記法
/today などの英単語による変換

などがあります。

さて、そのような独特の IME である SKK の Advent Calendar (2010年) が存在しました。

http://atnd.org/events/10855

ぱっと見ただけでも単位の換算、拡張ローマ字入力である AZIK の話題、などなかなか濃い話題が多そうです。

この中でも特に注目したいのは Android SKK雑感という記事です。 Android SKK とはその名の通り Android で SKK を動かそうというプロジェクトです。 IS01 (Android 1.6) のようにハードウェアキーボード付きの端末に便利じゃね？といって開発されているようです。

それにしてもあの SKK が Android で動くとは。これは試さないわけにはいきません。もちろん自分の持っている端末 (EMOBILE GS02, Android 2.3.6) にインストールしてみました。 IME の設定を SKK に変更し、いざ Twitter クライアントを開き、そこで目にしたものは・・

いやー、予想してはいたけどね。

と言っていたところで、続編のプロジェクトを見つけました。 SKK for Android with hard-key というプロジェクトです。

http://homepage1.nifty.com/ray-mizuki/software/skk_jp.html

こちらは同じ端末で試したところ、ハードウェアキーボードがないので全く入力ができませんでした。誰かハードウェアキーボードのある Android 端末を持っている人は試してみてください。

という感じで SKK Advent Calendar の紹介でした。

ちなみに僕は今は SKK は使っていません。

2012-12-08

Arch Linux on Raspberry Pi

Raspberry Pi を買って Arch Linux をインストールして自宅サーバ (NAS) にしてみたのでメモ。

準備

Raspberry Pi
- ModMyPi というサイトで買うと2週間前後で届くっぽい
SD カード
- Amazon ベーシックの SDHC カード 32GB を使うことにしました

Arch Linux のインストール

Arch Linux を ARM アーキテクチャの上で動かすプロジェクトがあるので、そのイメージをインストールします。

http://archlinuxarm.org/platforms/armv6/raspberry-pi

ここの Installation の通りにやれば大丈夫なはず。

起動

Raspberry Pi は MicroUSB の電源を接続するとすぐに起動します。このとき電源の供給が不安定だとすぐに電源が落ちてしまいます。うまく長時間起動しない場合はまず電源を疑います。安っぽい USB AC アダプタなどの場合はうまくいかないことが多いみたい。

安定して起動した場合でも少しでも消費電力を抑えるために HDMI ケーブルなどは繋がないほうがいい。電源と Ethernet ケーブルだけつないで最初から SSH でログインして扱うことにします。

ログイン、パッケージのアップデート

SSH でログインしますが DHCP でどの IP アドレスが割り当てられたかはわからない。 DHCP サーバの情報を見に行ってもいいのだけど、次のコマンドを打って怪しいところを調べていくと手っ取り早い。

$ for i in `seq 1 255`; do
ping -t 1 -n -c 1 192.168.0.$i 2> /dev/null &
done | grep 'bytes from'
64 bytes from 192.168.0.1: icmp_seq=0 ttl=64 time=7.468 ms
64 bytes from 192.168.0.3: icmp_seq=0 ttl=64 time=7.328 ms
64 bytes from 192.168.0.8: icmp_seq=0 ttl=64 time=3.365 ms
64 bytes from 192.168.0.29: icmp_seq=0 ttl=64 time=0.059 ms
64 bytes from 192.168.0.29: icmp_seq=0 ttl=64 time=0.046 ms

僕の環境では 192.168.0.8 が割り当てられていたのでそいつにログインします。

$ ssh root@192.168.0.8
# パスワードは root

ログインしたらまずパッケージを最新にして再起動。

[root@alarmpi ~]# pacman -Syu
[root@alarmpi ~]# reboot

再び DHCP で割り当てられた IP アドレスを調べてログインします。

$ ssh root@192.168.0.8

IP アドレスの固定

参考：https://wiki.archlinux.org/index.php/Netcfg

DHCP は不便なので IP アドレスを固定します。 netcfg というパッケージを使います。

[root@alarmpi ~]# pacman -S netcfg
[root@alarmpi ~]# cd /etc/network.d
[root@alarmpi ~]# cp examples/ethernet-static static
[root@alarmpi ~]# vi static

自分の環境に合うように設定を変えて netcfg サービスを登録します。ここでは 192.168.0.200 に固定したとします。再起動します。

[root@alarmpi ~]# systemctl enable netcfg@static
[root@alarmpi ~]# reboot

設定した IP アドレスに SSH ログインできれば OK

SD カードの全容量を使うようにする

参考：http://d.hatena.ne.jp/paraches/20121015/1350308852

初期では合計 2GB 程度しか使えないようになっているので、パーティションを広げます。

[root@alarmpi ~]# fdisk /dev/mmcblk0
Welcome to fdisk (util-linux 2.22.1).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


Command (m for help): p

Disk /dev/mmcblk0: 31.5 GB, 31486640128 bytes, 61497344 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000c21e5

        Device Boot      Start         End      Blocks   Id  System
        /dev/mmcblk0p1   *        2048      194559       96256    c  W95 FAT32 (LBA)
        /dev/mmcblk0p2          194560     3862527     1833984   83  Linux

Command (m for help): d
Partition number (1-4): 2
Partition 2 is deleted

Command (m for help): n
Partition type:
   p   primary (1 primary, 0 extended, 3 free)
      e   extended
      Select (default p):
      Using default response p
      Partition number (1-4, default 2):
      Using default value 2
      First sector (194560-61497343, default 194560):
      Using default value 194560
      Last sector, +sectors or +size{K,M,G} (194560-61497343, default 61497343):
      Using default value 61497343
      Partition 2 of type Linux and of size 29.2 GiB is set

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table. The new table will be used at
the next reboot or after you run partprobe(8) or kpartx(8)
Syncing disks.
[root@alarmpi ~]# reboot

再びログインして

[root@alarmpi ~]# resize2fs /dev/mmcblk0p2

しばらく待ちます。戻ってきたらディスク容量を確認。

[root@alarmpi ~]# df -h

増えていれば OK

その他初期設定

root パスワード変更

[root@alarmpi ~]# passwd

SSH 設定変更

ポート変更、 root ログイン拒否くらいは。

[root@alarmpi ~]# vi /etc/ssh/sshd_config
[root@alarmpi ~]# systemctl restart sshd

ホスト名変更

[root@alarmpi ~]# vi /etc/hostname

一般ユーザの追加

[root@alarmpi ~]# adduser

sudo

[root@alarmpi ~]# pacman -S sudo
[root@alarmpi ~]# visudo

ロケールの設定

[root@alarmpi ~]# vi /etc/locale.gen

次の行を加えて

ja_JP.utf8 UTF-8

locale-gen します

[root@alarmpi ~]# locale-gen

時刻を JST に設定

ntpd が勝手に動いてくれているけど、デフォルトでは GMT 時刻になっているはず。

[root@alarmpi ~]# ln -sf /usr/share/zoneinfo/Japan /etc/localtime

以上で

基本的な設定は終わり。最後に一応再起動。

[root@alarmpi ~]# reboot

これから必要に応じてアプリケーションをインストールしていきます。

Samba のインストール

外付け HDD をつないで NAS にします。まず普通にマウントできるか確認。

$ sudo mkdir /mnt/data
$ sudo mount -t ext3 /dev/sda1 /mnt/data

問題なければ /etc/fstab に書く。

$ sudo vi /etc/fstab

/dev/sda1 /mnt/data ext3 defaults 0 0

再起動して自動でマウントされていれば OK

$ sudo reboot

次に Samba のインストール。

参考：http://altarf.net/computer/building_home_server/874

$ sudo pacman -S samba

Samba 関連はこれだけで全部入ります。

$ sudo vi /etc/samba/smb.conf

デフォルト設定をコピーせずに全部自分で書くほうが早いのでそうします。

[global]
workgroup = WORKGROUP
security = share
log file = /var/log/samba/log.%m
max log size = 50

dos charset = CP932
unix charset = UTF8
display charset = UTF8

[data]
comment = data
path = /mnt/data
public = Yes
guest ok = Yes
read only = No
writable = Yes
force user = dai
create mask = 0777
force create mask = 0777
directory mask = 0777
hosts allow = 192.168.

こんな感じに最低限。ザルセキュリティだけどどうせ自分しか使わないのでいいことにする。

(2013-04-14 追記) サービスを起動する前に Samba ユーザの追加が必要かもしれない。

$ sudo pdbedit -a dai

Samba サービスを起動

$ sudo systemctl start smbd.service

Windows の場合はエクスプローラから \\192.168.0.200 と入力
Mac の場合は Finder で Cmd+k を押して 192.168.0.200 と入力

で、見えることを確認します。大丈夫ならサービスを登録

$ sudo systemctl enable smbd.service
$ sudo reboot

再起動しても大丈夫なことを確認。

Windows のエクスプローラとか Mac の Finder から自動で見えるようにしたいのだけど、その設定はよくわかりませんでした。 Windows の場合はとりあえずショートカットを作成することができます。 Mac は AFP? の仕様が変わったらしくて (http://www.dejavuz.com/root-jobs/9423.html)、この URL のとおりにやってみたのだけど無理そうだったので諦めました。

Subsonic のインストール

Subsonic は音楽のストリーミングをするためのサーバ。こいつを立てておけば出先からでも自宅から音楽をストリーミングできるので、持ち歩く手間もなければ外部のサービスにアップロードする手間もなく、音楽の管理がとても楽になります。もちろんインターネットからアクセスできるようにする設定は必要です。

Debian とかの場合はパッケージが用意されているのだけど、 Arch にはないので Download ページから Stand-alone 版を使います。

まず Java, lame, ffmpeg が必要なのでこれらをインストール。

$ sudo pacman -S openjdk6 lame ffmpeg

Stand-alone 版をダウンロードして SCP などでサーバに持っていきます。

次に

$ mkdir subsonic
$ mv subsonic-4.7-standalone.tar.gz subsonic
$ tar xvf subsonic-4.7-standalone.tar.gz
$ cd ..
$ sudo mv subsonic /var

Subsonic 用のユーザを作ってやるのが行儀良いですが、ここではログインしている一般ユーザのままとして進めます。

subsonic.sh を実行するとサーバが起動します。

$ /var/subsonic/subsonic.sh

Raspberry Pi では HTTP でアクセスできるまでにかなり時間がかかるので、この後

$ tail -f /var/subsonic/subsonic_sh.log

としてログでも眺めていると良いでしょう。

しばらくすると http://192.168.0.200:4040/ にアクセスできるようになります。ユーザー名 admin 、パスワード admin でログイン。

初回は相当重いです。

admin のパスワードを変えます
音楽ファイルを置いてある場所を指定します
- /mnt/data/music など
- Fast access mode にチェックを入れておきましょう。スペック的にこれがないと遅くてやってられないです
- Scan media folders now を押すとライブラリをスキャンします
  - 僕の場合は約 7500 ファイル中音楽ファイルは 5000 くらいで、所要時間が 1 時間半くらいでした
Transcoding のメニューから m4a, mp4 を削除します
- iTunes Store で買った曲はこうしないと再生できないっぽいです

3G 回線でストリーミングしたい場合など適当にダウンサンプリングしますが、このとき transcoder を /var/subsonic/transcode に置いてやる必要があります。

$ cd /var/subsonic/transcode
$ sudo ln -s `which ffmpeg` .
$ sudo ln -s `which lame` .

さらにダウンサンプリングするプレイヤーで Max bitrate を設定してやる必要がある？このへんの設定はいじってもうまく動いてないっぽくてわからない・・

最後に、起動時に自動で立ち上がるように .service ファイルを書いて登録します。

参考：http://sarahetmoi.take-uma.net/Entry/8/

$ sudo vi /etc/systemd/system/subsonic.service

[Unit]
Description=Subsonic

[Service]
Type=forking
User=dai
Group=users
ExecStart=/var/subsonic/subsonic.sh

[Install]
WantedBy=multi-user.target

正直 .service ファイルの書き方はよくわかってないのだけどこんな感じ。 man systemd.service が詳しいので読むほうがいいと思います。

日本語ファイルがうまく再生できなかったので、

export LANG=ja_JP.UTF-8

をsubsonic.sh の先頭に書きました。正しくなさそうなやり方な気がするけど。

で、サービスを登録

$ sudo systemctl enable subsonic.service

再起動して自動的に起動されることを確認。

$ sudo reboot

あとはルータの設定をいじってポート解放しておきます。

DDNS 自動設定

ValueDomain でドメインをとっているので、自動で DDNS を設定するスクリプトを使います。

http://www.junkperl.com/

説明は省略。

2012-12-06

はてなブログ始めました

完全に今さらなのだけど、たまに見てくれている人がいるっぽいのでこっちにも書いておきます。
はてなブログを使うことにしました。
http://daimatz.hateblo.jp/

記事は Markdown で書けるのがいいですね。

2012-12-01

Markdown メモツール mamemose を作りました

mamemose: Markdown memo server

Markdown で快適にメモを取るためのツールを作ったので公開しました。 mamemose といいます。 Ruby でできています。 UNIX ライクな環境で動きます。

GitHub リポジトリ： https://github.com/daimatz/mamemose

コレは何

軽量マークアップ言語である Markdown でメモを取るためのツールです。この手のツールはすでにいくつか存在しますが、 mamemose は次の特徴を持っています。

Ruby 製
ローカルで HTTP サーバとして動く
テキストエディタ等で書かれた Markdown 形式のファイルを、コマンド操作無しで HTML に変換して表示する
ローカルに余計な HTML ファイルなどを生成せず、ディレクトリを汚さない
複数マシンで内容を共有できる (要 Dropbox 等)
- 出先でモバイル端末からも Dropbox 等にアクセスして手軽に見ることができる
使い慣れたエディタでメモを取ることができる
検索できる
ディレクトリを掘ることで構造化する。タグなどで管理する機能はない

公開までの流れ

半年ほど前のある日、僕はある勉強会に参加していました。それまでにも何かするたびにメモをどうにかして残そうとは思っていたものの、馴染むツールが見つからず結果としてあまり見返したいと思えないようなメモになってしまうことが常でした。

その日試しに Markdown というもので一度メモを取ってみて、その手軽さを知りました。 Markdown はそれまで聞いたことはあったものの、「所詮 HTML に変換するだけだろー」という感じであまり良い物には思えなかったのです。しかし実際に触れてみてその考えは180度変わりました。むしろ自分の書くメモをすべて Markdown で書きたいと思うまでになったのです。

世の Markdown メモツールを探しましたが、いまいちコレというものが見つかりませんでした。プログラムを書くのと同じ感覚でメモを取りたい。ふと気づいたときにさっとエディタからメモを取りたい。そして見るときは HTML + CSS で綺麗にマークアップされたものを見たい。でも変換のためにコマンドを打つのは嫌だし、同じ内容の Markdown ファイルと HTML ファイルが別々に存在するのも嫌だな。複数マシン間での同期は必須 (これは Dropbox 様の力を借りてもいい)。もちろんマルチプラットフォーム、少なくとも Mac と Linux は必須。プログラムのシンタックスハイライトもしてほしいかな。できれば数式も打ちたい。

このような自分の要求に答えるメモツールは探した限りでは見つかりませんでした。そこで自分で作ることにしたのです。

ある程度使える状態まで作ったものを初めは gist で公開していました。その後機能が増えてきたので GitHub の普通のリポジトリに変更しました。そして今日、 RubyGems に公開し、簡単にインストールできるようになりました。

名前は mamemose といいます。発音は「マメモス」でしょうか。 Markdown memo server で mamemose です。ネーミングセンスないって言うなよ。

インストール

RubyGems に公開されています。インストールはコマンド一発

$ gem install mamemose

でできます。

使い方

詳しくは GitHub のページを読んでください。流れとしては、

設定ファイル ~/.mamemose.rb に設定を書く。
$ mamemose コマンドで mamemose サーバが起動
- ~/.gem/*/bin あたりにパスを通す必要あるかも
- ログイン時に自動的に起動するように設定するとよいでしょう
http://localhost:PORT/ にアクセスすると、設定ファイルの DOCUMENT_ROOT で指定したディレクトリ以下のファイルが綺麗にマークアップされて見ることができます。
もちろん、メモを編集したらブラウザの更新ボタンを押すだけで反映されます。煩わしいコマンド入力などは必要ありません。

という感じです。

シンタックスハイライトは、広く使われている GitHub Flavored Markdown の構文を使うことができます。ただしハイライトエンジンは JavaScript 製の SyntaxHighlighter を使います。シンタックスハイライトの機能については、一時期 Pygments を使うなど悩んだのですが、あまりサーバの役割を増やしたくないということでこの形に落ち着きました。

また、 MathJax の力を借りて数式も書くことができます。構文はほぼ LaTeX そのままなので、新しい数式マークアップの構文を覚える必要もありません。

その他

なぜ Ruby で作ったのか

普段使う言語は Haskell, C++, Ruby です。そのうちなぜ Ruby を選んだかということですが

Ruby の WEBrick という標準ライブラリでとても手軽に HTTP サーバを立てることができること。また Ruby 言語自体の表現力の豊かさから、そのサーバを拡張してアクセスされたファイルに変換をかまして返すような機能を実装するのに最適だったこと。
Ruby は広く使われているし、いくつかのプラットフォームでは標準で入っている。 Haskell に比べれば導入障壁ははるかに低いということ。

ということが挙げられます。

ちなみに僕はエセ Rubyist で、書き捨てのスクリプトを Ruby で書くことはよくありましたが、真面目なプロジェクトで Ruby を使ったことはありません。 bundler とかも存在は知っていたもののほぼ初めて使った感じ。もちろん RubyGems への登録も初めて。

注意

あくまで「ローカルで使う個人用のメモツール」の前提なので、公開用の Web サイトとかで使わないように。たぶん重すぎて使いものにならないです。

テスト

書いてない。 5ヶ月ほど使ってきて致命的に困ったことはないので大丈夫だと思うのだけど。もちろん書くべきとは思っている。