Sierra になる前はキーチェーンに勝手に登録されてうまいことやってくれてた気がするけど、うまいことやってくれなくなった。

機能が削除されたわけではなくてデフォルトで無効化されたらしい。

Host *
AddKeysToAgent yes
UseKeychain yes

を ~/.ssh/config に追記した