氾濫原

RNN (時系列) AutoEncoder で遊んでいる

tech | 08:49 |

keras を使ってみたらすんなりモデルを書けたので、少し遊んでいる。入出力の shape の意味を理解できれば、詳しいアルゴリズムまで知ることなく遊べるぐらいまで簡単になっていた (だからといって最適なモデルが作れるわけではないけど)

過去の信号列から現在の信号状態を学習した結果、出力として各時点での再構築された信号列が出るわけだけど、これを並べていくと、ネットワークがどういう特徴を学んでいるか伺い知れるところがある。

tech | 09:20 |

メモ書き。試行錯誤の途中でコードが消えさったりしていてよくないので、やったことだけ書いておく

信号周波数が固定されており正弦波。キャリアの有無で信号を伝える
- 「信号のOFF」と「信号がない」ことは区別できない
聴覚受信で必要な SNR は 6 (カジュアル)〜1dB (定型) 程度 https://en.wikipedia.org/wiki/Minimum_detectable_signal http://kf6hi.net/radio/SNR.html
定型文が多い
符号速度は15wpm〜40wpm ぐらいの範囲。1dot [ms] = 1200 / wpm なので、40wpm=66Hz程度。100Hzの帯域で十分 (無線機のフィルタも100Hzが下限)。

検出したい周波数を中心として0Hzに正規化 (検波)し、振幅を得る。100Hz のローパスフィルタをかけ、ダウンサンプル (200Hz 程度) する。

これを Denoising AutoEncoder のネットワークに順次入力し、デコーダ出力列から信号列を復元する (出力はある程度重なるので、最終的に平均を出す)。

出力は文字データではなく、フェージングや符号ゆらぎなどを解決した符号列とする。つまり入力数と出力数は必ず一致し、実際に文字化する処理は含まない。

こういうデータ。これはノイズが少ないのでわかりやすい。

適切なパラメータが一切わからないが試行錯誤してこんな形になった。RNN の場合、入力シェイプがやや難解でググったり他の人のコードを読んだりして理解した。最初は LTSM を使っていたけど時間がかかるのでGRUにしてみた。

実際の入力データは keras.preprocessing.sequence.TimeseriesGenerator を使うのが楽だった。(最初は知らなくて自力でつくっていた)。timestep は 32、つまり過去の信号 32 サンプル分を1サンプルずつずらしながら入力している。

RepeatVector の前まではエンコーダで、その後がデコーダ。

node.js と web-audio-engine を組合せて大量にノイズ+信号のデータと正解データを作って学習させた。

学習はちゃんとできて、認識できるのは認識できる。

ただ、ノイズがかなり多い信号はやはりどうしようもなかった。聴覚だと聞きとれても、そもそも 0Hz に正規化した時点でノイズに埋もれてしまっていて、学習しようがなさそうだった。

ということでこの方法ではなく他の方法を考えてみることにした。

とりあえずできるのかな〜ベースでやったため、ちゃんとした評価方法を考えてなかった。SNRなど評価の指標を立てたい。しかしSNRは求めかたが難しくてこまってる。

tech | 12:57 |

binary_crossentropy を loss function にして、出力層を sigmoid にしているにも関わらず、肝心の target (y_train) が 0/1 ではなく、0/0.9999... みたいな値になっていた。当然誤差が常に発生することになる。

acc が一生上がらなくて？？？と思っていたらこれが原因だった。

tech | 12:58 |

nvidia driver のインストールまわりで Ubuntu が起動しなくなったり操作不能になったりする。OS 再インストールを何度かしなおす必要があった。機械学習専用のマシンに Ubuntu だけインストールするのがおすすめ。

Ubuntu は最新版ではなく LTS を入れること。事例が少なくて面倒なことになる。

とりあえずサードパーティドライバをインストールしてみる

sudo apt update
sudo ubuntu-drivers autoinstall
sudo reboot

これで nvidia-smi はできるが古いのが入ってしまった。

ppa から nvidia-driver-* でグラボにあった最新のドライバをいれる。

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-430

ドライバが入ったら、tensorflow-gpu などを入れるが、各ツールキットのバージョンがうまく一致していなければ動かない。

自分でやろうとせず、余計なことをしないで Anaconda を使うのが正解。Anaconda が nvidia の外部ツールキットも含めて必要なものをすべて入れてくれる。

# これですべてが入る
conda install tensorflow-gpu

$ python
>> import tensorflow as tf
>> tf.test.gpu_device_name()

なおドライバが古いと CUDA driver version is insufficient for CUDA runtime version と怒られる。

tech | 00:56 |

プリントがうまくいかなかったのかな？と思ってしまうが、実はシリコンスプレーを使うとびっくりするほどすんなり入る