聞いたトークで印象に残ったもの

備考

ハマったのは Raspberry Pi の pi ユーザで i2c を触るようなデーモンを作るケースで、この場合 pi ユーザに i2c グループ権限がついてないとダメなのでこういうのが必要になる。

依存なしでどうにかしたかったのは、cpanm が ansible の Core Modules に入ってなくてめんどかったから

SSH の設定

手元からまず copy-id

$ ssh-copy-id user@ufhostname

リモートの設定をかえる

$ sudo vi /etc/ssh/sshd_config
PasswordAuthentication no
PermitRootLogin no
UsePAM no
$ sudo /etc/init.d/ssh restart
# 別のターミナルを開いて ssh できることを再度確認

Firewall の設定

ssh, http, https と mosh 用の udp ポートをあけておく (該当するソフトウェアをインストールすると勝手に空いたりするのだが念のため)

sudo ufw default deny
sudo ufw allow 80
sudo ufw allow 443
sudo ufw allow 22
sudo ufw allow 60000:61000/udp

sudo ufw enable

必要なパッケージいれる

sudo apt-get install zsh gcc libncurses5-dev language-pack-ja git daemontools daemontools-run mysql-server ca-certificates cpio curl dnsutils imagemagick imagemagick-common irssi libcairo2-dev libcurl4-openssl-dev mime-support   nginx nginx-common nginx-full ntp ntpdate optipng pkg-config  rsync shared-mime-info w3m wget xz-utils xml-core zip libxml2-dev libtiff5-dev libssl-dev libsqlite3-dev libreadline-dev libpng12-dev  libpango1.0-dev libopenjpeg-dev libmysqlclient-dev libjpeg8-dev libgif-dev libfreetype6-dev libffi-dev cmake screen ruby-dev rrdtool libdb-dev postfix unattended-upgrades

sudo ln -s /etc/service /service

旧サーバから rsync

home ディレクトリごとまるごと移す

一時的に sudo で rsync をつかえるようにする

$ sudo vi /etc/sudoers.d/rsync
Defaults    env_keep += "SSH_AUTH_SOCK"
Defaults!/usr/bin/rsync    !requiretty
cho45    ALL=(ALL)       NOPASSWD: /usr/bin/rsync
 ||<

>||
## dry-run 
sudo rsync --dry-run -auvz -e 'ssh -i /home/cho45/.ssh/id_ecdsa' --rsync-path='sudo rsync'  --progress  /home/cho45/ cho45@160.16.210.51:/home/cho45/

/srv
/etc/nginx
/etc/postfix
# /etc/mysql 変更点がなかった。。。あらためて見直そう
/etc/letsencrypt
# /var/lib/mysql mysqldump でやった
# /service 手動でやる

cd ~/project/h2o
git clean -f
cmake -DWITH_BUNDLED_SSL=on .
make
sudo make install

sudo mkdir /var/log/h2o

/var/log/h2o/*.log {
    daily
    missingok
    rotate 90
    compress
    delaycompress
    notifempty
    create 0640 www-data adm 
    sharedscripts
    postrotate
        svc -h /service/h2o
    endscript
}

perlbrew install perl-5.22.2 --as perl-5.22

mysqldump -uroot --routines --all-databases --flush-privileges | ssh cho45@160.16.210.51 'mysql -uroot'

160.16.210.51 www.lowreal.net
160.16.210.51 lowreal.net
160.16.210.51 cho45.stfuawsc.com
160.16.210.51 coqso.lab.lowreal.net
160.16.210.51 no-real.net
160.16.210.51 block.lab.lowreal.net

crontab -l > crontab.user
sudo crontab -l > crontab.root

crontab crontab.user
sudo crontab crontab.root

カーネルパラメータ

/etc/sysctl.conf に追記

net.core.somaxconn = 50000
net.ipv4.tcp_max_syn_backlog = 30000
net.core.netdev_max_backlog = 5000

net.ipv4.ip_local_port_range= 1024 65535

sudo sysctl -p で反映

ref

• さくら VPS セットアップメモ - 冬通りに消え行く制服ガールは✖夢物語にリアルを求めない。 - subtech

nginx

nginx -V の結果に --with-ipv6 があることを確認する。

server {
    listen   80; 
    listen [::]:80;
    ...
}

という感じにして ipv6 側もlistenするようにする。

h2o

listen: 80 と書いてる場合、デフォルトで v6 も listen するようになっているのでやることはない。

DNS サーバの IPv6 対応

ここでの「DNS サーバの IPv6 対応」はDNS サーバへの通信が IPv6 でできるかという話になるが、value-domain の NS1.VALUE-DOMAIN.COM とか、さくらインターネットの ns1.dns.ne.jp は対応していないっぽい?

IPv4 で解決できるなら別に問題ないんだけど、IPv6 オンリーの環境 (あるの?) からだと名前がひけないことになる。

確認

http://ipv6-test.com/validate.php これが便利

備考

自分に IPv6 アクセス環境がないので、とりあえず1つのドメインだけ対応させた。現状ではとくに IPv6 の対応したからといってメリットがないのが微妙。。。

ref

• セラミックコンデンサのFAQ | 村田製作所

webp のインストール

homebrew で入れる。

$ brew install libtiff
$ brew install --HEAD webp

• • HEAD つけないとコンパイル済みの TIFF 非対応バイナリがインストールされるので注意

Export Actions にシェルスクリプトを置く

~/Library/Application Support/Adobe/Lightroom/Export Actions

にスクリプトを置くと、書き出しダイアログで選べるようになる。書き出したあとスクリプトの引数に現像済みファイル名が渡されるので、これを処理するようにすればよい。

以下のようなファイルを webp.rb という名前で Export Actions フォルダに保存して実行属性をつけておく。

#!/usr/bin/env ruby

require 'logger'

logger = Logger.new('/tmp/webplog')
logger.info ARGV.inspect

begin
	ARGV.each do |f|
		dir = File.dirname(f)
		out = File.join(dir, File.basename(f, ".tif") + '.webp')
		logger.info "%s => %s" % [f, out]
		IO.popen([
			'/usr/local/bin/cwebp',
			'-metadata', 'all',
			'-preset', 'photo',
			'-q', '90',
			'-o', out,
			'--',
			f
		], :err=>[:child, :out]) do |io|
			while l = io.gets
				logger.info l.chomp
			end
		end
	end

rescue Exception => e
	logger.fatal e.inspect
end

Lightroom の書き出し設定

ファイル設定

• TIFF
• 8 bit/チャンネル

として

「後処理」で「webp」を選ぶ

で書きだし。

問題点

EXIF が消える。cwebp が TIFF の EXIF デコードに非対応のため

なぜこうなったか

/etc/hosts に ::1 localhost のエントリ(IPv6)があり、h2o は解決したアドレスのうちからランダムに1つ選択するため。プロキシ先のバックエンドサーバは IPv6 を bind しておらず、::1 が選択された場合に接続に失敗していた。

メモ

• h2o がホストを選択するところ (rand している)
• nginx でも同様の設定をしていたが、nginx はランダムにしないみたい
  • 最初の1つを使ってそう、IPv4を優先して配列にいれてそう

APN 設定

IIJ mio の場合、APN の設定で IPv4/IPv6を選ぶだけで優先的に v6 接続されるようになる。

全ホストの IPv6 対応

自力で確認できる環境が身近にあることがわかったので、このサーバでホストしているホストを IPv6 対応してみた (もとも IPv6 インターフェイスも listen してるので単に AAAA レコードをひけるようにしただけ)

ちゃんと接続されてるのか?

見た目が何も変わらないのが正しい状態なのだけど、IPv6 接続されてるのかよくわからないので、仕掛けをしてみた。

判定は単に REMOTE_ADDR を見て、IPv6 アドレスだったら IPv6 接続と判定する。: を含んでいたら IPv6 と判定するようにする。

このサイトの場合、ページ全体をキャッシュしているため、内容をIPv4/IPv6で出しわけると持つべきキャッシュが倍になってしまい現実的ではない。ということで、以下のようにした。

• CSS で適当なところに content: attr(data-ip-info); と書いておく
• JS で接続情報を取得するエンドポイントを叩き data-ip-info を埋める

ref

• http://www.iij.ad.jp/company/development/tech/activities/lte_ipv6/
• http://trendy.nikkeibp.co.jp/article/pickup/20131209/1053986/?P=3&rt=nocnt

とりあえず動かしてグラフ化

Ruby 用のライブラリを書いて読みだして、GrowthForecast に投げてみました。Raspberry Pi 上で動かしています。シリアルは USB 経由で、PWM では GPIO 経由で読んでいます。

結構おもしろくて、人がいるかいないかはグラフから一目でわかるレベルです。換気するとそくざに値に反映されるのもおもしろいです。

Ruby 用のライブラリ

Ruby で読み出し用のライブラリを書いてみました。

• https://github.com/cho45/ruby-mh-z19

Serial 経由の読みこみとPWM (Linux のみ。sys/class/gpio 経由) どちらとも実装してあります。

def self.trigger(pin, edge, timeout=nil, &block)
	self.direction(pin, :in)
	self.edge(pin, edge) #=> write "/sys/class/gpio/gpio#{pin}/edge"
	File.open("/sys/class/gpio/gpio#{pin}/value", "r") do |f|
		fds = [f]
		buf = " "
		while true
			rs, ws, es = IO.select(nil, nil, fds, timeout)
			if es
				f.sysread(1, buf)
				block.call(buf.to_i)
				f.sysseek(0)
			else
				break
			end
		end
	end
end

ppm = 2000 * (th - 2e-3) / ((th + tl) - 4e-3)

キャリブレーション

シリアル経由だと、ゼロ補正とスパン補正というのがあります。仕様書にどうやってキャリブレーションするか書いてないのですが、おそらく以下の手順です

まぁキャリブレーションは難しいのですが、一定期間内の最低値を外気のCO2濃度 (約400ppm) とみなしてときどき自動で補正していく方法もあるようです。

気象庁の二酸化炭素濃度のグラフを見る限り、近年は 400ppm 程度のようです。季節変動もみられますが、センサーの精度よりも小さいので無視できます。

二酸化炭素濃度の基準

ビル衛生管理上では 1000ppm を目安に換気せよと書いてあります。これは二酸化炭素の影響だけではなくて、これを目安として他の有害物質の滞留を防ぐという意味合いもあるみたいです。

また CO2 単体でも 2000ppm以上になると自覚できる症状が現れることがあるようです。

ref.

• http://www.vaisala.co.jp/Vaisala%20Documents/Technology%20Descriptions/CEN-TIA-IST-HVAC-CO2-Measurement-Accuracy-B211311JA-A.pdf
• いくつかある製品の一覧
• MH-Z19 データシート
• MH-Z19B のデータシート

ref

• 「感染症法に基づく消毒・滅菌の手引き」における次亜塩素酸ナトリウムの位置づけ

Raspberry Pi で喋らせる

Open jtalk で喋るようにしてあるので

• 1000ppm を超えたら換気をうながす (アラート)
• 600ppm 未満になったら告知する (アラート解除)

みたいにした。

alert = false

loop do
        begin
                ppm = get_latest.last
                case
                when ppm > 2000
                        system("jsay.sh", "CO2濃度が2000ppmを超えました。ただちに換気を行ってください")
                        alert = true
                when ppm > 1000
                        system("jsay.sh", "CO2濃度が1000ppmを超えました。換気を行ってください")
                        alert = true
                when alert && ppm < 600
                        alert = false
                        system("jsay.sh", "CO2濃度が600ppmまで下がりました")
                end
        rescue Exception => e
                p e
        end
        sleep 5 * 60
end

get_latest は GrowthForecast からデータをとってくるやつ。センサーからデータを読むプロセスは別にしてあるので、間接的にgfからとってきてる。

常に表示する

家で余っているスマフォに常時表示するようにした。これも GrowthForecast からデータをとる。具体的には

• ロード直後は http://gf.lab.lowreal.net/xport/home/sensor/co2?t=sh&width=60 で過去ログをとってくる
• その後は1秒ごとに http://gf.lab.lowreal.net/api/home/sensor/co2 を取得して number と updated_at を使う

グラフは vis.js を使ってみた。結構つかいやすい。example のうちの 404 Not Found を参考にしたらうまくできた。

今後

GrowthForecast にデータを投げてるので、gf の API をメインで使ってみたが、gf はそういう用途のためのものじゃないので、かなり無駄感がある。WebSockeet 経由でデータを転送するゲートウェイみたいなのをまず作ったほうがいいかもしれない。

メモ

• h2o_now は ms 単位
• durations は h2o.h の COMPUTE_DURATION で *delta_usec = h2o_timeval_subtract*1; となっていてμsになってるっぽい
• server-status はどこのホストに書いても同じのがかえってくる (あくまでサーバ共通のステータスがとれる)

mackerel にメトリクスとして送る

mackerel-plugin-h2o みたいなのは今のところないっぽい? ので、status/json からとれる内容をポストするプラグインを書いた。

https://github.com/cho45/mackerel-agent-plugins/tree/mackerel-plugin-h2o/mackerel-plugin-h2o

音がちょっとうるさい

本体側で若干コイル鳴きしててうるさい。といってコイル鳴きなので、かなり静かな環境でなければ聞こえない。

待機電力

一本も電池を入れてない場合、液晶のバックライトが消えてスタンバイ状態になるようだ。このときの消費電力は 0.3Wぐらい。

全て充電完了になっている場合、液晶のバックライトがついて充電完了を知らせる表示になる。このときの消費電力は0.5Wぐらい。

その他

ACアダプタは12V 1.5A (18W) のものが付属していた。ポートあたり最大 500mA (1.2V) らしいので十分っぽい。

ref

• https://www.raspberrypi.org/forums/viewtopic.php?t=16054

serial ログイン

UART ピンからのログインの場合

sudo vim /lib/systemd/system/serial-getty@.service

ExecStart=-/sbin/agetty --keep-baud 115200,38400,9600 %I $TERM

となっているので

ExecStart=-/sbin/agetty -a pi --keep-baud 115200,38400,9600 %I $TERM

とする。

なお、この状態でシェルで reset を実行すると halt や reboot がハングするようになる。謎…… reset を殺して対応してるけど理由がわからなくて気持ちわるい。systemd がおかしいのだろうか？

console ログイン

ssh 経由とかの場合。

sudo raspi-config から設定可能です。なので基本的には raspi-config でやったほうがよさそう。

以下は手動でやる方法

sudo vim /lib/systemd/system/getty@.service 

ExecStart=-/sbin/agetty --noclear %I $TERM

となっているので、以下のように

ExecStart=-/sbin/getty --noclear -a pi %I $TERM

分解

効果

全体的に変な動きは減った。しかし中央(2ch) のレンジをかえるロータリーエンコーダはそもそも不良っぽくて完全には治らなかった。

ref.

• http://www.candrian.gr/index.php/owon-ds7102-rotary-encoder-fix/
• https://www.youtube.com/watch?v=jGueG7Aw-s8

歪みゲージのつかいかた

歪ませる必要があるので、このように上下に板をつけて挟みこみます。このとき、多少すきまが必要なのでワッシャーなどをかまします。

今回使った歪みゲージのスペックは以下の通りです。(コピペ) また、M4 と M5 のネジが切ってありました。

Rated Load: 1Kg
Rated Output: 1.0mV/V±0.15mV/V
Zero Output: ±0.1mV/V
Creep: 0.03%F.S./30min
Input End: Red+ (power), Black-(power)
Output End: Green+(signal), White-(signal)
Recommended operating voltage: 3 ~ 12 VDC
Maximum operating voltage: 15 VDC
Input Impedance: 1115±10%Ω
Output Impedance: 1000±10%Ω
Protection class: IP65
Total Size: approx. 3.15 x0.50 x 0.50 inch
Cable: 0.8 x 20 cm (diameter x length)
Material: Aluminum Alloy
Weight: 30g

HX711 で読んでみる (Arduino)

手に入れたのは↑のようなモジュールです。適当に配線して読みます。

以下のライブラリを使ってみました。

• https://github.com/bogde/HX711

README の通りにスケールを設定する必要があります。

#include <Arduino.h>
// https://github.com/bogde/HX711
#include "HX711.h"

const int DT_PIN = 2;
const int SCK_PIN = 3;

HX711 scale;

void setup() {
	Serial.begin(9600);
	Serial.println("start");
	scale.begin(DT_PIN, SCK_PIN);

	Serial.print("read:");
	Serial.println(scale.read());

	scale.set_scale();
	scale.tare();

	Serial.print("calibrating...");
	delay(5000);
	Serial.println(scale.get_units(10));

	scale.set_scale(-1536.00);
	scale.tare();

	Serial.print("read (calibrated):");
	Serial.println(scale.get_units(10));
}


void loop() {
	Serial.println(scale.get_units(10), 1);

	scale.power_down();
	delay(500);
	scale.power_up();
}

このようなコードを書いて、

1. 何ものせずに起動
2. calibrating... が表示されたらすかさず1円玉を1枚載せる (1g)
3. 値を読む
4. scale.set_scale(...); に値を埋めこむ

という方法をとりました。

どんな感じか

こんな感じで値が読めました。1円玉を1つずつ増やして5枚まで載せてみました。

ref.

• https://github.com/bogde/HX711

ゼロキャリブレーションの方法

窓をあけて換気扇をつけ、周辺環境をできるだけ400ppmに近付けます。最低でも30分ぐらいは換気します。室内であっても十分に換気ができていれば400ppm前後にはできるので、気をつけるのは息を吹きかけないようにする (自分が風上にいないこと) ぐらいです。人間の呼気中の CO2 は 4% (40000ppm) ぐらいなので、普通に影響します。

センサはシリアル経由で繋ぎました。起動に数分時間がかかるので放っておきます。

以下のスクリプトを実行します。

https://github.com/cho45/ruby-mh-z19/blob/master/examples/cal.rb

短いのでコピペすると

#!/usr/bin/env ruby

$LOAD_PATH << "#{File.dirname(__FILE__)}/../lib"

require 'mh-z19'

co2 = MH_Z19::Serial.new(ENV['PORT'])
# wait sensor startup
loop do
	detail =  co2.read_concentration_detail
	p detail
	case detail[:status]
	when 0
		p "booting"
	when 1
		p "startup"
	when 64
		break
	end
	sleep 1
end

co2.calibrate_zero_point

sleep 3

p co2.read_concentration_detail

こんな感じになります。この MH-Z19 はドキュメントに書いてないのですが、ステータスビットや認識している温度も返すようで、read_concentration_detail だとそれらもとれるような実装にしてあります。

グラフ

例によって1日ぐらい放置してみました。スパンキャリブレーションしていないので、やはり最大値に差があります。とはいえ 100〜200ppm 以内には入ってる感じなので、実用的にはとりあえず十分かもしれません。いずれにせよ何もしない場合よりは遥かにマシなので、必ずやったほうがよさそうです。

なぜメッセージブローカーが必要か

センサーデータを複数のプログラムから使いたい場合、特にほぼリアルタイムで情報を得たいようなケースだと、直接各アプリケーションに投げるのではなくて、センサーはある一箇所に値を投げることだけを考え、アプリケーションはある一箇所からデータを受けとることだけを考えるように分離したくなります。

例えば今まではセンサーデータをアプリケーションであるグラフサービスに直接投げていましたが、これだとセンサーデータをさらに別のデバイスから読みだして表示するといった場合に、本来の用途ではないグラフサービス側のAPIに問合せたりする必要があって不便です。

MQTT を選択

MQTT はキューがない (最後の値だけ保存する/Retain) Pub/Sub のメッセージ配信プロトコルで、組込み系だとそこそこメジャーなようです。ググってみるとクライアント実装はそこそこ充実しています。

サーバ実装がいまいちコレというのがない気がするのですが、RabbitMQ のプラグインに MQTT プロトコルサポートがあるので、これを利用するのが比較的よさそうでした。

これ系のプロトコルは MQTT 以外にもいろいろあって、RabbitMQ の本来の用途である AMQP も競合プロトコルになります。AMQP より MQTT が好まれるのはプロトコルのシンプルさのためですが、機能的には AMQP が勝ります。

RabbitMQ のインストール

ひとまず Ubuntu のパッケージをそのままつかうことにしました。

sudo apt-get install rabbitmq-server

Rabbit MQ は Erlang で書かれているので、Erlang 関係のパッケージが大量にはいります。

インストール直後から起動していて、rabbitmqctl status でステータスが見れます (root 権限が必要です)。デフォルトではクラスタリング用のポート25672と、AMQP 用のポート 5672 が listen されていました。

sudo rabbitmqctl status

続いて mqtt プラグインを有効にしておきます。

sudo rabbitmq-plugins enable rabbitmq_mqtt

このコマンドは自動的に設定が反映され、status を見ると mqtt を 1883 で listen していることがわかります。

RabbitMQ の設定

適当に見てみると /etc/rabbitmq/rabbitmq-env.conf というのが最初からありますが、これは環境変数設定ファイルなのでとりあえずそのままにしておきます。

ログとして /var/log/rabbitmq/$node@$host.log というファイルがあり、これの冒頭に

node           : rabbit@stfuawsc
home dir       : /var/lib/rabbitmq
config file(s) : /etc/rabbitmq/rabbitmq.config (not found)
cookie hash    : 
log            : /var/log/rabbitmq/rabbit@stfuawsc.log
sasl log       : /var/log/rabbitmq/rabbit@stfuawsc-sasl.log
database dir   : /var/lib/rabbitmq/mnesia/rabbit@stfuawsc

というログが出ています。この通り設定ファイルは /etc/rabbitmq/rabbitmq.config になりますが、まだないので作る必要があります。

サンプル設定ファイルがあるのでとりあえずこれをコピペしてつくるのがよさそうです。

# とりあえず眺める 
zless /usr/share/doc/rabbitmq-server/rabbitmq.config.example.gz

# コピペからはじめる
sudo sh -c 'zcat /usr/share/doc/rabbitmq-server/rabbitmq.config.example.gz > /etc/rabbitmq/rabbitmq.config'

Erlang の設定ファイル形式なのでちょっと読みにくいです。

• % から行末まではコメント
• シングルクオートはアトム (Ruby でいうところのシンボルと同様)
• ダブルクオートはその文字列の数値のリスト
• 括弧付きダブルクオートはバイナリ (Bit Syntax)
• 余計なカンマがあると怒られる (ケツカンマ問題がある)

設定方針

ここでは方針として以下のようにします。

• MQTT を使う
• TLS を使う

TLS の設定では取得済みの Let's Encrypt の証明書をそのまま流用します。ただ、Let's Encrypt がつくる /etc/letsencrypt/live 以下が root 以外読めないようになっている一方、RabbitMQ は証明書ファイルを rabbitmq ユーザで読もうとするようで eacces がでます。

しかたないので以下のようにしてアクセスを許可するように変えてしまいました。なにかもっとスマートに解決したほうがいいと思うのですが、思いつきませんでした。

sudo chmod 0755 /etc/letsencrypt/{live,archive}

設定

以下のようにしてみました。

%% -*- mode: erlang -*-
%% ----------------------------------------------------------------------------
%% RabbitMQ Sample Configuration File.
%%
%% See http://www.rabbitmq.com/configure.html for details.
%% ----------------------------------------------------------------------------
[
 {rabbit,
  [
   {ssl_listeners, [5671]},
   {handshake_timeout, 10000},
   {log_levels, [{connection, info}, {channel, info}]},

   {ssl_options, [{cacertfile,           "/etc/letsencrypt/live/cho45.stfuawsc.com/fullchain.pem"},
                  {certfile,             "/etc/letsencrypt/live/cho45.stfuawsc.com/cert.pem"},
                  {keyfile,              "/etc/letsencrypt/live/cho45.stfuawsc.com/privkey.pem"},
                  {verify,               verify_peer},
                  {fail_if_no_peer_cert, false}]},

   {auth_mechanisms, ['PLAIN', 'AMQPLAIN']},
   {auth_backends, [rabbit_auth_backend_internal]},

   {ssl_handshake_timeout, 5000}
  ]},

 {rabbitmq_mqtt,
  [
   {allow_anonymous, false},
   {vhost, <<"/">>},
   {exchange, <<"amq.topic">>},
   {subscription_ttl, 1800000},
   {prefetch, 10},

   {tcp_listeners, [1883]},
   {ssl_listeners, [8883]}
  ]}
].

ユーザの追加

もともとある guest/guest は localhost からだけ接続が許されているのでそのままにして、外部から使う用のユーザを追加します。

# guest しかない
$ sudo rabbitmqctl list_users
Listing users ...
guest   [administrator]

# ユーザ追加
$ sudo rabbitmqctl add_user tsun pass
Creating user "tsun" ...

# 確認
$ sudo rabbitmqctl list_users        
Listing users ...
guest   [administrator]
tsun    []

# パーミッションを追加 conf write read の順で指定する。これは正規表現。ここでは全権
$  sudo rabbitmqctl set_permissions tsun  ".*" ".*" ".*"
Setting permissions for user "tsun" in vhost "/" ...

繋いでみる

クライアントに rubygems の mqtt を使ってみます

gem install mqtt

#!/usr/bin/env ruby

require 'mqtt'
require 'thread'

# MQTT::Client seems not thread safe
mutex = Mutex.new

pub_thread = Thread.start do
	mutex.lock
	MQTT::Client.connect(
		host: '127.0.0.1',
		port: 8883,
		ssl: true,
		username: 'guest',
		password: 'guest',
	) do |client|
		mutex.unlock
		p [:pub, client]


		10.times do
			sleep 1
			p :publish
			client.publish("test", "this is test", false)
		end
	end
end

sub_thread = Thread.start do
	mutex.lock
	MQTT::Client.connect(
		host: '127.0.0.1',
		port: 8883,
		ssl: true,
		username: 'tsun',
		password: 'dere',
	) do |client|
		mutex.unlock
		p [:sub, client]
		client.subscribe("test")
		client.get do |topic,message|
			p [ topic, message ]
		end
	end
end

pub_thread.join

こんな感じのコードで動いていることを確認できるはずです。ただし guest を指定しているので、同一ホストで動かす必要があります。

ポートを開ける

基本の動作確認ができたので、パブリックにアクセス可能にするためポートをあけます。ufw で 8883 (MQTT with TLS) だけをあけました。他はいまのところ使用予定がないので閉じたままです。listen 自体しないほうがより安全ですが、サーバ内でごにょごにょすることはありそうなのでそのままにしています。

 sudo ufw allow 8883

外部から、さきほど作ったユーザで接続確認を行ってとりあえずセットアップ完了です。

ref

• https://www.rabbitmq.com/man/rabbitmqctl.1.man.html
• http://erlang.org/doc/reference_manual/data_types.html
• http://erlang.org/doc/programming_examples/bit_syntax.html

RabbitMQ 3.6.6 をいれる

Ubuntu のレポジトリのは 3.5.7 と古いので、Installing on Debian / Ubuntu にしたがって 3.6.6 にします。

既に古いのが入っていても、説明通りに RabbitMQの apt レポジトリを設定して、 apt-get update して install したら自動でアップグレードされます。

プラグインをいれる

rabbitmq_web_mqtt をいれます。これは Community Plugins にありますが、 RabbitMQ のチームが作っているので安心感があります。プラグイン自体が比較的新しくて、RabbitMQ 3.6.1 以降でないと使えません。

$ wget --content-disposition https://bintray.com/rabbitmq/community-plugins/download_file\?file_path\=rabbitmq_web_mqtt-3.6.x-14dae543.ez
$ sudo mv rabbitmq_web_mqtt-3.6.x-14dae543.ez /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.6/plugins/
$  sudo rabbitmq-plugins list | grep web_mqtt
[  ] rabbitmq_web_mqtt 

$ sudo rabbitmq-plugins enable rabbitmq_web_mqtt
The following plugins have been enabled:
  cowlib
  cowboy
  rabbitmq_web_mqtt

Applying plugin configuration to rabbit@stfuawsc... started 3 plugins.

$ sudo rabbitmq-plugins list | grep web_mqtt    
[E*] rabbitmq_web_mqtt    

設定する

デフォルトで 15675 が listen されています。このままでいいのですが、念のため設定を書いておくことにしました。

設定例がないのでソースを読むしかないようです。rabbitmq_web_mqtt.schema が設定ファイルのスキーマのようなので、これを参考に以下のようにしました。

 {rabbitmq_web_mqtt,
  [
   {tcp_config,[{port, 15675}]}
  ]
 }

WebSocket 経路の TLS 化はリバースプロキシ (h2o) で行うので、このサーバ自体には TLS の設定を書いていません。

リバースプロキシ

HTTP フロントエンドの h2o からポート 15675 にリバースプロキシするように設定しました。これで外部から接続可能になります。

なおh2oは定期的にWebSocket接続を切るようになっているので、クライアント側で再接続するコードが必須です。

WebSocket から繋ぐ

認証はどうなるのか? という疑問があるところですが、MQTT レイヤーでのユーザ認証があります。Upgrade 時に Origin による制限などはかけられないようです。

rabbitmq-web-mqtt-examples というレポジトリがあり、これを参考にすれば簡単に接続できます。

ライブラリとして Eclipse Paho の JavaScript 版を使っています。WebSocket のエンドポイントを指定する以外は普通にMQTTするのと変わりません。

var TOPIC = "/foo/bar/baz";
var USER = "foo";
var PASS = "bar";
function mqttConnect() {
	var client = new Paho.MQTT.Client(
		location.hostname,
		location.port || 80,
		"/mqtt", "myclientid_" + Math.random().toString(32)
	);

	client.onConnectionLost = function (responseObject) {
		console.log(responseObject);
		// reconnect
		setTimeout(mqttConnect, 1000);
	};

	client.onMessageArrived = function (message) {
		var data = Number(message.payloadString);
		console.log(data);
	};

	client.connect({
		userName: USER,
		password: PASS,
		timeout: 3,
		onSuccess: function () {
			console.log('onSuccess');
			client.subscribe(TOPIC, {qos: 1});
		},
		onFailure: function (message) {
			console.log('onFailure', message.errorMessage, message);
		}
	});
}

ブラウザ上の WebSocket の場合、TLS はブラウザ側でやってくれるので、普通の MQTT with TLS の接続で考えることよりも少なくて楽です。

ref

• http://www.rabbitmq.com/installing-plugins.html
• https://github.com/rabbitmq/rabbitmq-web-mqtt
• https://github.com/rabbitmq/rabbitmq-web-mqtt-examples/tree/master
• https://eclipse.org/paho/

各ソフトウェアのバージョン

$  sudo rabbitmqctl status
...
{rabbit,"RabbitMQ","3.6.6"}
...

$ cat /usr/lib/erlang/releases/18/OTP_VERSION 
18.3

rabbitmq.config

{versions, ['tlsv1.2', 'tlsv1.1', tlsv1]}

接続確認

openssl s_client で接続確認してみる。

$ openssl s_client -connect 127.0.0.1:5671 -tls1_2 < /dev/null

$ openssl s_client -connect 127.0.0.1:5671 -tls1_1 < /dev/null 
CONNECTED(00000003)
139728874526360:error:1409442F:SSL routines:ssl3_read_bytes:tlsv1 alert insufficient security:s3_pkt.c:1472:SSL alert number 71
139728874526360:error:1409E0E5:SSL routines:ssl3_write_bytes:ssl handshake failure:s3_pkt.c:656:
---
no peer certificate available
---
No client certificate CA names sent
---
SSL handshake has read 7 bytes and written 0 bytes
---
New, (NONE), Cipher is (NONE)
Secure Renegotiation IS NOT supported
Compression: NONE
Expansion: NONE
No ALPN negotiated
SSL-Session:
    Protocol  : TLSv1.1
    Cipher    : 0000
    Session-ID: 
    Session-ID-ctx: 
    Master-Key: 
    Key-Arg   : None
    PSK identity: None
    PSK identity hint: None
    SRP username: None
    Start Time: 1483074781
    Timeout   : 7200 (sec)
    Verify return code: 0 (ok)
---

解決方法

結局これは Erlang の ssl ライブラリの問題らしく、基本的には Erlang のバージョンをあげる必要があるっぽい。しかしRabbitMQ 3.6.1 / Erlang 18.3 TLS insufficient security failures からリンクがある通り以下のようにするとうまくいった。

ref

• http://stackoverflow.com/questions/36784391/rabbitmq-3-6-1-erlang-18-3-tls-insufficient-security-failures#comment61161248_36784391

ウェブとか HTTP/2 関係

h2 対応とか、このウェブサイトの最適化を結構やっていた。ハードウェア触る気力がなくなると、ノートPCだけでぼーっと最適化するみたいな流れ…… ウェブ技術はなんというか、仕事じゃなければあんまり気を張らなくても実装できるので、とりあえずやっておくというか、良い言いかたをすれば癒し的側面がある。

サーバサイドで Mathjax するあたりとかは結構がんばったし効果が高かった。

h2 対応のために h2o を導入したので、それ関係のエントリがかなり多い。

類似エントリみたいな、ちょっとアルゴリズムよりのこともやってみた。ただ実装するというより SQLite にこだわって工夫してやってみたところは良かった。仕事で SQLite 使うことはないので役には立たない。アルゴリズムの実装がものすごく苦手なんだけど (こういうこと言うとバカにされまくる……)、ちょっと頑張った例。TF-IDF なんてクソみたいに簡単なアルゴリズムではあるが……

仕事だと分業のおかげで、こういう上から下まで一貫してチューニングするみたいなのはやる機会がない。

• lowreal.net のHTTP2/HTTPS 化を実施 | tech - 氾濫原
• nginx の rewrite ルールっぽく h2o の mruby でリクエストの rewrite を行う | tech - 氾濫原
• h2o のログ設定 (logrotate.d) | tech - 氾濫原
• 現在の h2o.conf.yaml | tech - 氾濫原 (今はもっとだいぶ肥大化してます)
• サイトの最適化 | tech - 氾濫原
• サーバーサイド MathJax で数式表示を高速化する | tech - 氾濫原
• HTTP2 で何をサーバープッシュすべきか | tech - 氾濫原
• デザインの調整 | tech - 氾濫原
• JavaScript の必要ないソーシャルボタン | tech - 氾濫原
• h2o での server-push タイミングの最適化 | tech - 氾濫原
• ブログシステムの HTML 生成を効率化 | tech - 氾濫原
• ブログのキャッシュバックエンドの変更 | tech - 氾濫原
• トラックバックを実装しました | tech - 氾濫原
• 複数の psgi を1つのサーバでサービスするときにメモリをケチる | tech - 氾濫原
• SQLite で「PRIMARY KEY」を《真のプライマリキー》とするには | tech - 氾濫原
• TF-IDFとコサイン類似度による類似エントリー機能の実装 | tech - 氾濫原
• Gist に置いた JavaScript のベンチマークをとる | tech - 氾濫原
• SQLite の WITHOUT ROWID の効果測定 | tech - 氾濫原
• さくらのVPS、大阪・東京・石狩でどれを選ぶべきか | tech - 氾濫原
• AMP に対するモヤモヤ | tech - 氾濫原
• サーバー移行 | tech - 氾濫原
• このサイトのキャッシュ | tech - 氾濫原
• さくらのVPSのウェブサーバでIPv6の接続をうける | tech - 氾濫原
• サイトの負荷のシミュレーション | tech - 氾濫原
• h2o の proxy.reverse.url で localhost を指定していたら確率的に connection failure | tech - 氾濫原
• h2o で listen するポートを増やしたときは master プロセスの再起動が必要 | tech - 氾濫原
• nginx をアンインストール | tech - 氾濫原
• IPv6 対応にした | tech - 氾濫原
• h2o の duration stats | tech - 氾濫原
• h2o の status/json を mackerel に送る | tech - 氾濫原

おうちハック的なのもやっている。

• IFTTT の通知チャンネルに LINE が増えたので家庭内BOTを作った | tech - 氾濫原

アンテナアナライザなど高周波関係

デジタルSWR計。アンテナアナライザへの布石。

• 自作 デジタル SWR 計(再) | ログアンプを使いQRP〜1KWまで | tech - 氾濫原
• 自作 デジタル SWR 計(再) 2 | 方向性結合器の改善編 | tech - 氾濫原
• 自作SWR 計を一旦仕上げ | tech - 氾濫原
• AD8307 を 3.3V で動かすときの罠 | tech - 氾濫原

アンテナアナライザ関係。いろいろ勉強になっておもしろかった。 今年前半では一番大きなプロジェクトだったように思う。数学苦手なのだけれど面白いなと思えたところが地味な収穫かもしれない。

• AD9851 DDS モジュールを LPC1114/mbed と | tech - 氾濫原
• アンテナアナライザの回路 シリーズ抵抗1本型 | tech - 氾濫原
• アンテナアナライザの回路 ブリッジ型 | tech - 氾濫原
• アンテナアナライザの回路 - ブリッジの三つの電位差を測るタイプ | tech - 氾濫原
• アンテナアナライザの回路 ー 位相検出器を使ったタイプ | tech - 氾濫原
• アンテナアナライザの回路 ー ヘテロダインを使ったタイプ | tech - 氾濫原
• 複素電圧・複素電流とはなんなのか | tech - 氾濫原
• 「コイルとコンデンサは電圧と電流の位相差を90度進めさせる/遅れさせる」とはどういう意味なのか | tech - 氾濫原
• 簡単かつ安く高精度なアンテナアナライザーを自作したい | tech - 氾濫原
• 簡単かつ安く高精度なアンテナアナライザーを自作したい (2) | tech - 氾濫原
• 自作アンテナアナライザーのBluetooth化とアプリケーション | tech - 氾濫原
• アンテナアナライザーをケースに収めた | tech - 氾濫原

スペアナ最高に楽しい。でも最近高周波回路やってなくてあんまり起動してない……

• スペクトラムアナライザ DSA815-TG を買いました / LAN経由でスクリーンショットとれるようにしました | tech - 氾濫原
• DSA815-TG の 10MHz 付近の奇妙なバグとファームウェアアップグレード | tech - 氾濫原
• アマチュア無線用コモンモードフィルタの特性評価 | tech - 氾濫原
• スペアナとリターンロスブリッジを使ってSWRを測ってみる | tech - 氾濫原
• 高周波用アッテネータを作ってみる | tech - 氾濫原
• 10MHz バンドパスフィルタ | tech - 氾濫原
• 10MHz バンドパスフィルタ2 | tech - 氾濫原
• LTSpice で伝送線路トランス | tech - 氾濫原

キーボード関係

ヤパチーからの流れで自作して、builderscon で発表させてもらった。今年後半の主なプロジェクトとなった。結果的には、カンファレンスできっかけをもらってカンファレンスのトークに還元した感じになって主観的には良かった。

• ErgoDox について調べた(買わないけど) | tech - 氾濫原
• Inkscape で作図したファイルを KiCAD の pcbnew で読みこむ | tech - 氾濫原
• BLE Nano の開発 - ブレッドボード配線 | tech - 氾濫原
• OSX + BLE で HID over GATT でペアリング(bonding)ができなくてハマった | tech - 氾濫原
• BLE Nano + mbed の ADC の基準電圧 | tech - 氾濫原
• HHKB を左右分割エルゴノミクスキーボードにする (OSX) | tech - 氾濫原
• BLE Nano + mbed の Serial の実装がつらい感じだった | tech - 氾濫原
• KiCAD で複数ボードプロジェクトを運用する | tech - 氾濫原
• OS X で KiCAD を使う際の注意点 | tech - 氾濫原
• BLE Nano (nRF51822) でどうしても 1mA 以上電流食うぞというとき | tech - 氾濫原
• BLE Nano (nRF51822) のドライブ能力を外付け部品なしで拡張する | tech - 氾濫原
• mbed + BLE Nano で FOTA (DFUService) を使うには? | tech - 氾濫原
• なぜ BLE Nano にご執心なのか | tech - 氾濫原
• BLE Nano (nRF51) + mbed でセキュリティ付きペアリングをして 0x3d エラーがでる | tech - 氾濫原
• ErgoDox ではないナニか。オープンソースかつ Bluetooth 接続のキーボード | tech - 氾濫原 まとめエントリ
• 自作キーボードの製作 — コンセンプトとキーレイアウトおよび技術仕様編 | tech - 氾濫原 (1)
• 自作キーボードの製作 — 回路設計とアートワーク・ハードの製作編 | tech - 氾濫原 (2)
• 自作キーボードの製作 — ファームウェアの実装編 | tech - 氾濫原 (3)
• BLE Nano のオンラインプロジェクトをエクスポートして GCC でコンパイルして RAM 32kB 使えるようにする | tech - 氾濫原
• BLE Nano (nRF51822)、waitForEvent ( sd_app_evt_wait() ) 中に予期せず WDT が発動する場合 | tech - 氾濫原
• Karabiner で自作キーボードが認識しなかった件 | tech - 氾濫原
• BLE Nano (nRF51) HOGP で接続中のアイドル電流 | tech - 氾濫原
• BIOS 画面でもBluetooth LE な無線キーボードを使いたい | tech - 氾濫原
• Microsoft Universal Foldable Keyboard (US版) を買ってみたら辛い事実がわかった | tech - 氾濫原
• builderscon tokyo 2016 で「 Bluetooth キーボードの作りかた」を喋りました | tech - 氾濫原

その他組み込みや電子工作

ESP8266 結構触ってたなという感じ。安くなると夢が広がる。

• ESP8266 から GrowthForecast へセンサーデータをPOST | tech - 氾濫原
• ESP8266 (ESP-WROOM-02) の Deep Sleep でデータを引き継ぐ | tech - 氾濫原
• ESP8266 起動時にシリアルにでるゴミっぽいもの | tech - 氾濫原
• メモ： ESP8266 での実測電流 | tech - 氾濫原
• ESP8266 の低消費電力の限界をさぐる (ESP-NOWを使ってみる) | tech - 氾濫原
• ESP-NOW はどのように IEEE802.11 フレームを使っているか？ | tech - 氾濫原

ebay とかで買ったやつをとにかく動かすシリ〜ズみたいなのをやってた。意外と得るものが多い。そのときそのときで触ってる環境で動かしてるのでプラットフォームに一貫性がない。

• Use IIC/I2C/TWI 1602 Serial Blue Backlight LCD Display | tech - 氾濫原
• 超小型 DC/DC ステップアップコンバータ SX1308 2A $0.99 | tech - 氾濫原
• I2C 8*8 LED dot Matrix module HT16K33 | tech - 氾濫原
• BMP180 I2C 気圧・温度計センサー | tech - 氾濫原
• MQ-135 Sensor Air Quality Sensor Hazardous Gas Detection LM393 MQ135 gas sensor | tech - 氾濫原
• AD9850 DDS モジュール | tech - 氾濫原
• AD9851 DDS モジュール | tech - 氾濫原
• 100円ぐらいで売られている中華ラジケータ(アナログパネルメータ)を試す | tech - 氾濫原
• 中華AD8307を使ってみる | tech - 氾濫原
• 中華AD8307をデジタル電力計にしてみる | tech - 氾濫原
• MAX7219 8桁 7セグメント LED モジュール / Arduino | tech - 氾濫原
• ST7735 128x128 TFT カラー液晶モジュール | tech - 氾濫原
• STM32F103 C8 T6 の安いボードでLチカ (platformio + mbed) | tech - 氾濫原
• 中華製の J-Link OB を使い OpenOCD で nRF51 に書きこむ | tech - 氾濫原
• 中華製 HDMI -> USB 3.0 UVC キャプチャデバイス | tech - 氾濫原
• MH-Z19 という格安 CO2 センサを読んでみた | tech - 氾濫原
• CO2 センサの可視化 | tech - 氾濫原
• 歪みゲージと HX711 を使って重量計測する (Arduino) | tech - 氾濫原

ioctl を Ruby から呼ぶのを割とやってて、書いてないけどこれ以外にも SPI を Ruby でやるとかもやってたりした。Ruby は IO 処理書くのがかなり楽なのと全体的に可読性が良く、ビルトインメソッドが充実しているので「パフォーマンスはともかく理解しやすいコードを書く」みたいなときに Ruby で書くことが多い。

gem とか使わないとダメになってくると他の言語に逃げがち。gem、クオリティ低いものが大量にあって、どれを使うべきか?自分で実装すべきか?とか悩んでるうちに1日終わる。テキトーに動かしたいときはほんと時間の無駄。

• ruby-serialport で任意のボーレートを設定するには (ただし Linux に限る) | tech - 氾濫原
• Ruby で IO#ioctl の引数に構造体 (struct) へのポインタを渡したいとき | tech - 氾濫原
• Ruby の pack テンプレート文字列からそのデータサイズを求める | tech | ruby - 氾濫原
• Ruby でネストした構造体文字列をネストした配列として unpack する | tech | ruby - 氾濫原

消費電力可視化もいろいろやってみたが、今のところ実用に至ってない。

• 市販の節電モニターから値を読みだしてグラフ化 | tech - 氾濫原
• コンセントごとの消費電力を知りたい人生 | tech - 氾濫原
• スマートメータのBルートサービスで Wi-SUN モジュールを使って瞬間消費電力を読み出す | tech - 氾濫原
• スマートメータから瞬間消費電力を読むRubyのコード | tech - 氾濫原

急に C++ と親密になって好きになった。組込みなら絶対 C++ で書きたい。

• 組込みでこそ C++ | tech - 氾濫原

mbed 関係。結構さわったしコードも読んだ。

• LPC1114 LPC1114FN28 / mbed 開発を platformio を使ってやる | tech - 氾濫原
• mbed のフレームワークの温度感 | tech - 氾濫原
• mbed InterruptIn はネストするか | tech - 氾濫原

GPS DO を途中までつくった感じ。完成してない (必要性の無さに気付いて、やる気をうしなってしまった)

• ublox NEO-6M GPS Module | tech - 氾濫原
• トランジスタ技術 2016年 2月号 の GPS 特集 - 氾濫原
• OCXO の VFC ピンでの可変範囲を GSP の 1PPS を使って調べた | tech - 氾濫原
• OCXO と GPS 1PPS その2 | tech - 氾濫原
• OCXO と GPS 1PPS その3 | tech - 氾濫原

CNC / PCB Milling 関係

いろんなことで、かなり役に立っている。元はとったな〜というぐらいの気分でいる。grbl からmachinekit (beaglebone black) への移行が主なトピック。machinekit を収める筐体作りがまだ途中。

• PCB Milling で TSSOP | tech - 氾濫原
• 間違えて RN-42 の 2mmピッチ基板のやつを買ってしまった | tech - 氾濫原
• YAP(achimon)C::Asia Hachioji 2016 mid in Shinagawa | tech - 氾濫原
• メモ書き：KiCAD + pcb2gcode で pcbmilling | tech - 氾濫原
• pcb2gcode へのプルリク | tech - 氾濫原
• Machinekit (Linux CNC) のアーキテクチャと、BeagleBone Black での動作 | tech - 氾濫原
• CNC フライスで加工台の面出しをするG-Codeを生成するRubyスクリプト | tech - 氾濫原
• Beagle Bone Black + Machinekit での CNC 制御 (Sable-2015) | tech - 氾濫原
• Machinekit (LinuxCNC) を XBox コントローラを使って機械を動かす。 | tech - 氾濫原
• Beagle Bone Black + Machinekit での PCB Milling | tech - 氾濫原
• pcb2gcode のオートレベリングを使ってみる | tech - 氾濫原
• 最適な Probe 速度を計算する | tech - 氾濫原
• Fusion 360 + Machinekit (LinuxCNC) でちゃんとパスがトレースされない | tech - 氾濫原
• 非導体系材料用に Touch Probe を作った | tech - 氾濫原
• BeagleBone Black の LED をはんだゴテなしで延長する | tech - 氾濫原
• Autoleveller を使ってリカバリ可能なオートレベリングをする | tech - 氾濫原

知見はかなり溜ってきた。

3D モデリング

Fusion 360 導入で可能性がとてもひろがった。全く新しい分野の技術習得という意味では今年一番価値があったかもしれない。拘束によって作図するのはとても気持ちいい。

3D プリンタがない (置く場所がない) のが悩み。欲しんだけどなあ。

• SketchUp Make を捨てて Autodesk Fusion 360 に移行した | tech - 氾濫原
• Fusion 360 の練習 RCA ジャック | tech - 氾濫原
• Fusion 360 の練習 非常停止ボタン | tech - 氾濫原
• Fusion 360 練習 パネルマウント USB コネクタ (USB 内部延長) | tech - 氾濫原
• Fusion 360 の練習 DB25 のプラグ (オス) コネクタ | tech - 氾濫原
• Fusion 360 で SVG をインポートしてスケッチに利用する | tech - 氾濫原
• Fusion 360 のいいところ - 氾濫原
• モデリングしたものを削り出す | tech - 氾濫原
• Fusion 360 の練習 DC プラグ2連発 | tech - 氾濫原
• Fusion 360 の練習 - トグルスイッチ・DCジャック・LED | tech - 氾濫原
• Fusion 360 同軸切換器 CX210A | tech - 氾濫原
• Fusion 360 - RCサーボモータ S03T 2BBMG | tech - 氾濫原
• Fusion 360 - HDMI パネルマウントメス | tech - 氾濫原
• Fusion 360 の練習 - 神明鳥居 | tech - 氾濫原
• Fusion360 — 電源ボタン - 氾濫原
• Fusion360 - リレーモジュール - 氾濫原

その他

全く分類できないもの

• cmake で CGI を書く | tech - 氾濫原

cmake はプログラミング言語ってことはわかったけど結局役に立ってない。相変わらず他人の書いた CMakefile.txt は読む気がしない。