こういう感じのコードをコピペする。本体は xorshift128、seed から初期値を xorshift32 で設定する (seed をそのまま初期値にすると、近い seed から似たような乱数が始まるので)

Math.random.seed = (function me (s) {
	// Xorshift128 (init seed with Xorshift32)
	s ^= s << 13; s ^= 2 >>> 17; s ^= s << 5;
	let x = 123456789^s;
	s ^= s << 13; s ^= 2 >>> 17; s ^= s << 5;
	let y = 362436069^s;
	s ^= s << 13; s ^= 2 >>> 17; s ^= s << 5;
	let z = 521288629^s;
	s ^= s << 13; s ^= 2 >>> 17; s ^= s << 5;
	let w = 88675123^s;
	let t;
	Math.random = function () {
		t = x ^ (x << 11);
		x = y; y = z; z = w;
		// >>>0 means 'cast to uint32'
		w = ((w ^ (w >>> 19)) ^ (t ^ (t >>> 8)))>>>0;
		return w / 0x100000000;
	};
	Math.random.seed = me;
	return me;
})(0);

console.log('seed', 1);     //=> seed 1
Math.random.seed(1);
console.log(Math.random()); //=> 0.9905915781855583
console.log(Math.random()); //=> 0.24318050011061132
console.log(Math.random()); //=> 0.00421533826738596
console.log(Math.random()); //=> 0.7972566017415375

console.log('seed', 2);     //=> seed 2
Math.random.seed(2);
console.log(Math.random()); //=> 0.620286941062659
console.log(Math.random()); //=> 0.3181322005111724
console.log(Math.random()); //=> 0.7347465583588928
console.log(Math.random()); //=> 0.9439261923544109

console.log('seed', 1);     //=> seed 1
Math.random.seed(1);
console.log(Math.random()); //=> 0.9905915781855583
console.log(Math.random()); //=> 0.24318050011061132
console.log(Math.random()); //=> 0.00421533826738596
console.log(Math.random()); //=> 0.7972566017415375

備考

JSの数値型はすべて浮動小数点だけど、ビット演算は32bit整数で行われる。ほとんどの場合、ビット演算の結果は signed 32bit 整数として見たときの値になる。

// not not なのでビット表現は変化しないが、符号ビットが立っているので -1 になる
~~0xffffffff //=> -1

その中で 符号なし右ビットシフト演算子は「The result is an unsigned 32-bit integer.」と書いてあって、珍しい。

// 0ビットシフトなのでビット表現は変化しないが、符号ビットを無視するので 0xffffffff になる
(-1)>>>0 //=> 4294967295
  1. トップ
  2. tech
  3. Math.random を seed 付きに置き換える

keras を使ってみたらすんなりモデルを書けたので、少し遊んでいる。入出力の shape の意味を理解できれば、詳しいアルゴリズムまで知ることなく遊べるぐらいまで簡単になっていた (だからといって最適なモデルが作れるわけではないけど)

過去の信号列から現在の信号状態を学習した結果、出力として各時点での再構築された信号列が出るわけだけど、これを並べていくと、ネットワークがどういう特徴を学んでいるか伺い知れるところがある。

  1. トップ
  2. tech
  3. RNN (時系列) AutoEncoder で遊んでいる

メモ書き。試行錯誤の途中でコードが消えさったりしていてよくないので、やったことだけ書いておく

モールスの特徴

  • 信号周波数が固定されており正弦波。キャリアの有無で信号を伝える
    • 「信号のOFF」と「信号がない」ことは区別できない
  • 聴覚受信で必要な SNR は 6 (カジュアル)〜1dB (定型) 程度 https://en.wikipedia.org/wiki/Minimum_detectable_signal http://kf6hi.net/radio/SNR.html
  • 定型文が多い
  • 符号速度は15wpm〜40wpm ぐらいの範囲。1dot [ms] = 1200 / wpm なので、40wpm=66Hz程度。100Hzの帯域で十分 (無線機のフィルタも100Hzが下限)。

波形の処理でなんとかする

検出したい周波数を中心として0Hzに正規化 (検波)し、振幅を得る。100Hz のローパスフィルタをかけ、ダウンサンプル (200Hz 程度) する。

これを Denoising AutoEncoder のネットワークに順次入力し、デコーダ出力列から信号列を復元する (出力はある程度重なるので、最終的に平均を出す)。

出力は文字データではなく、フェージングや符号ゆらぎなどを解決した符号列とする。つまり入力数と出力数は必ず一致し、実際に文字化する処理は含まない。

入力

こういうデータ。これはノイズが少ないのでわかりやすい。

モデル

適切なパラメータが一切わからないが試行錯誤してこんな形になった。RNN の場合、入力シェイプがやや難解でググったり他の人のコードを読んだりして理解した。最初は LTSM を使っていたけど時間がかかるのでGRUにしてみた。

実際の入力データは keras.preprocessing.sequence.TimeseriesGenerator を使うのが楽だった。(最初は知らなくて自力でつくっていた)。timestep は 32、つまり過去の信号 32 サンプル分を1サンプルずつずらしながら入力している。

RepeatVector の前まではエンコーダで、その後がデコーダ。

学習

node.js と web-audio-engine を組合せて大量にノイズ+信号のデータと正解データを作って学習させた。

結果

学習はちゃんとできて、認識できるのは認識できる。

ただ、ノイズがかなり多い信号はやはりどうしようもなかった。聴覚だと聞きとれても、そもそも 0Hz に正規化した時点でノイズに埋もれてしまっていて、学習しようがなさそうだった。


ということでこの方法ではなく他の方法を考えてみることにした。

備考

とりあえずできるのかな〜ベースでやったため、ちゃんとした評価方法を考えてなかった。SNRなど評価の指標を立てたい。しかしSNRは求めかたが難しくてこまってる。

  1. トップ
  2. tech
  3. RNN モールスデコーダの試作

binary_crossentropy 使ってるのに、target 値が 0/1 ではない

binary_crossentropy を loss function にして、出力層を sigmoid にしているにも関わらず、肝心の target (y_train) が 0/1 ではなく、0/0.9999... みたいな値になっていた。当然誤差が常に発生することになる。

acc が一生上がらなくて???と思っていたらこれが原因だった。

  1. トップ
  2. tech
  3. 機械学習ハマったところ (一生 acc 上がらない)

nvidia driver のインストールまわりで Ubuntu が起動しなくなったり操作不能になったりする。OS 再インストールを何度かしなおす必要があった。機械学習専用のマシンに Ubuntu だけインストールするのがおすすめ。

Ubuntu は最新版ではなく LTS を入れること。事例が少なくて面倒なことになる。

とりあえずサードパーティドライバをインストールしてみる

sudo apt update
sudo ubuntu-drivers autoinstall
sudo reboot

これで nvidia-smi はできるが古いのが入ってしまった。

ppa から nvidia-driver-* でグラボにあった最新のドライバをいれる。

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-430

ドライバが入ったら、tensorflow-gpu などを入れるが、各ツールキットのバージョンがうまく一致していなければ動かない。

自分でやろうとせず、余計なことをしないで Anaconda を使うのが正解。Anaconda が nvidia の外部ツールキットも含めて必要なものをすべて入れてくれる。

# これですべてが入る
conda install tensorflow-gpu
$ python
>> import tensorflow as tf
>> tf.test.gpu_device_name()

なおドライバが古いと CUDA driver version is insufficient for CUDA runtime version と怒られる。

  1. トップ
  2. tech
  3. Ubuntu 18.04 LTS に Tensorflow GPU