LookingGlassでの表示を綺麗にするために、three.jsのdisplacement mapの階調を8ビット256から24ビット16777216に拡張する
displacement mapは、画像データを元にお手軽に3次元(2.5次元)形状を表現する手法として知られています。これを使ってLookingGlassの表示アプリを作っている方がいたりして、なるほど簡単で良いなと感心しました。
stereo.jpn.org
ただグレーは通常256階調しか持ちませんので、Looking Glassの奥行表現の性能を表現しきれません。そこで、256階調を3色分の情報を使ってもっと細かに奥行を表現できるようにしたいと思います。
var displacementmap_vertexを改造する
three.jsではdisplacement mapをvar displacementmap_vertexという変数の中に定義した式で計算しています。そこで、この式の記述を探して中を書き換えてしまいます。
デフォルトのグレー256階調をコメントアウトします。
//var displacementmap_vertex = "#ifdef USE_DISPLACEMENTMAP\n\ttransformed += normalize( objectNormal ) * ( texture2D( displacementMap, uv ).x * displacementScale + displacementBias );\n#endif";
その下に、3色1677階調版を記述します。チャンネル毎に256倍のオフセットを与えているだけです。
var displacementmap_vertex = "#ifdef USE_DISPLACEMENTMAP\n\ttransformed += normalize( objectNormal ) * ( (texture2D( displacementMap, uv ).x + 256. * texture2D( displacementMap, uv ).y + 256. * 256. * texture2D( displacementMap, uv ).z ) * displacementScale + displacementBias );\n#endif";
データは、手前から奥へRGBの並びになります。
今日の本文
ソニーのモニターヘッドホンのMDR-M1STが出たので買ってみましたが、圧がCD900STより強くて長時間使えません。なんでこんな変更をしたんだ?
ソニー・ミュージックソリューションズ ハイレゾ対応スタジオ用モニターヘッドホンSONY MDR-M1ST
- 出版社/メーカー: Sony
- メディア: エレクトロニクス
- この商品を含むブログを見る
SONY 密閉型スタジオモニターヘッドホン MDR-CD900ST
- 出版社/メーカー: ソニー(SONY)
- メディア: エレクトロニクス
- 購入: 10人 クリック: 273回
- この商品を含むブログ (53件) を見る
final D8000 FI-D8PAL 平面磁界型ヘッドホン
- 出版社/メーカー: final
- メディア: エレクトロニクス
- この商品を含むブログを見る
Jetson NanoでRealSense D435iとT265を使ったプログラムを自動起動させる方法
Jetson Nanoは値段が安くてそこそこ性能が良いので、ロボットの頭として便利に使えます。画像処理も得意なのでいろいろなセンサーを搭載して、ロボットの起動と同時に、それらセンサーを使ったプログラムが自動で起動するようにしたいことが結構あります。
「Ubuntu」「自動起動」などで検索してやり方を調べてみると、rc.localを使った方法やsystemdを使った方法などが見つかります。しかし、これらはX-Windowが立ち上がる前に呼ばれてしまうので、X-Windowを使用するプログラムを正しく起動することが難しいです。
またteratermなどからログインしてプログラムを起動しようとしても、xwindowを使うプログラムは画面のポートフォワーディングを設定しておかないとすんなり立ち上がってくれません。
そこで、xwindowが立ち上がってからプログラムを起動するように設定したいと思います。
~/.config/autostartを使う
Gnomeデスクトップの準備ができてからプログラムを起動するためには、ユーザのホームディレクトリに隠されている.configディレクトリの下に、autostartというディレクトリを用意して、その中に.desktop拡張子をもったファイルを置くことで行います[1]。
準備
autostartディレクトリが無い場合は自分で作ります。
> cd ~/.config
> mkdir autostart
> cd autostart
> nano realsense.desktop // なんでもいい適当なファイル名.desktop
realsense.desktopの中身は書式[2]に従って
[Desktop Entry]
Exec=何か実行したいプログラム
Type=Application
と書きます。
実行失敗したときにエラーメッセージが読めないと困るので、gnome-terminalを立ち上げてから、起動用のシェルプログラムを呼びます。
[Desktop Entry]
Exec=gnome-terminal -- bash -c "bash /home/cvl/workspace/openFrameworks/apps/myApps/myRealsenseMulti/autostart.sh; bash"
Type=Application
プログラムが終了したときに窓が消えてしまわないように、;bashを最後におまじない的に入れておきます。
autostart.shの中身は好きに書いてもらえばいいのですが、こんな感じで使っています。
sleep 5;
cd ~/workspace/openFrameworks/apps/myApps/myRealsenseMulti
make RunRelease
スーパーユーザー権限が必要な時の対処法
Dynamixelのモータとか、ルート権限が必要なデバイスを起動したいときはsudoを付けて起動しますが、通常パスワードをインタラクティブに入力しなければなりません。sudoに-Sオプションを付けると、標準入力からパスワードを読んでくれるようになりますのでこれを利用します。
autostart.shをこんな感じに変えます。
PASSWORD=password
echo PASSWORD | sudo -S ./bulk_read_write
参考文献
[1] Ubuntu起動と同時に自動でターミナルを開く - Qiita
[2] Autostart - LXDE.org
今日の本文
Jetson Nanoは本体は安いけれど、オプションに結構お金がかかるのが難点です。自分が使っているものを備忘録として、記載しておきます。
NVIDIA Jetson Nano開発者キットケース用の新しい到着アクリルケースボックス(ジャストボックス)
- 出版社/メーカー: heartbeeps
- メディア: エレクトロニクス
- この商品を含むブログを見る
Noctua NF-A4x20 5V PWM 40mm 静音 ファン 5000rpm
- 出版社/メーカー: Noctua
- メディア: Personal Computers
- この商品を含むブログを見る
- メディア:
- この商品を含むブログを見る
SUCCUL ACアダプター 5V 4A 大手メーカーOEM社製品 センタープラス スイッチング式 最大出力20W 出力プラグ外径5.5mm(内径2.1mm)PSE取得品
- 出版社/メーカー: サクル株式会社
- メディア: エレクトロニクス
- この商品を含むブログを見る
- 出版社/メーカー: Hommy
- メディア:
- この商品を含むブログを見る
microSDXC 128GB SanDisk サンディスク Extreme UHS-1 U3 V30 4K Ultra HD A2対応 SDアダプター付 [並行輸入品]
- 出版社/メーカー: サンディスク
- メディア: エレクトロニクス
- この商品を含むブログを見る
高性能3dBi 2.4GHz/5GHz 無線LANカード WIFI/Wimax/Bluetoothモジュール用アンテナ 2本セット (MHF4 Cable=240mm)
- 出版社/メーカー: LTDparts
- メディア: エレクトロニクス
- この商品を含むブログを見る
ファンの取り付けのために、3mmのタップが立てられると便利です。
- 出版社/メーカー: ライト精機
- メディア: Tools & Hardware
- この商品を含むブログを見る
自分用読むべき論文メモ 2019年5月版
5月は情報多すぎて、上手く咀嚼ができてない.
Disney Researchなど、リアルな眼の動きを再現するために眼球運動の構造を理解しモデル化する手法を発表 https://t.co/EM9A1BO499 Movie credit: DisneyResearch|Studios pic.twitter.com/yCSvN0XtwJ
— Seamless (@shiropen2) May 31, 2019
眼球運動
QiitaではTW2710推しが目立つが
— Reyes (@shirokunet) May 31, 2019
いつも悩むGPSアンテナの選択
ケンブリッジ大学が着て洗える“電池”を開発!布に織込む導電インク - Techable https://t.co/ovWTcgyuBM pic.twitter.com/ubOznbmau5
— beep_R_A.K. (@beep_roadrunner) May 30, 2019
洗える電池
いやーNuraのヘッドフォンほんとヤバいわ。要は使用者の耳に合わせてキャリブレーションして色つけてるんだけど、本当にいい席にいるように聞こえるライブ盤と、完全に音源として再構成してるライブ盤の違いがなんとなくわかる。耳いい奴ってこんな聞こえ方してんのか。 https://t.co/eHBrxcREE2
— Mill Yoshi (@ntheweird) May 28, 2019
欲しい。
5/31-6/1にある生研公開で佐藤菅野研の公開で菅野先生らが開発したOpenGazeのデモします!! pic.twitter.com/IcsOJhoHE8
— けいひぐ (@keihigu) May 29, 2019
視線推定。Jetson Nanoでは重かった。
PMSM基本的なチャート
— Nakamura(yutaka) (@ioloa_N) May 27, 2019
①3相120度ずらしたPWMを入力して回す
②3相・単相変換したdq軸モデルで回す
③電流フィードバックしてベクトル制御
④数式モデルセンサレス・簡易ベクトル制御
⑤オブザーバセンサレス
⑥拡張誘起電圧オブザーバ
(⑦PWMタイマ自作→0速度センサレス)
⑧適応制御オブザーバ
モータノウハウ
ArxivのDeep Learning関連論文を被引用数順に1000本並べてみる - https://t.co/7ogPISSZkC
— Qiita_Python (@qiita_python) May 27, 2019
Asusから240Hzのポータブルモニター。これで超高リフレッシュレートの映像をいろいろ実験したら楽しそうだ… https://t.co/4TFniIcH7y
— 田所 淳 (@tadokoro) May 28, 2019
240Hzは要らない。欲しいのはHDMI入力なのでMB16AMTで良い。早く出ろ。
さて本日は、MATLAB EXPOでポスター展示
— leftbank (@cafe_on_the) May 27, 2019
「単眼立体視の原理と現代制御理論を応用した空間音響再現」
新たな原理で、広い音場と明確な定位が得られる高音質な3D音響再現を可能としました
一人なので休憩でいないこともあるかもしれませんが、すぐ戻ってきます
多分(¬_¬)
https://t.co/E66CvpTVBn
高音質な3D音響レンダリング。気になる。
こちらの記事のパッチを使わせてもらって、Jetson Nanoで無事にIntel Realsense D435i が使えるようになった!ちゃんとIMUのジャイロと加速度も出た~。パッチの中身読んだけど、この記事の人すごいなぁ。https://t.co/DSFDdYLIrJ pic.twitter.com/SaWFOcrRXJ
— でべ (@devemin) May 27, 2019
Jetson NanoでRealsense D435i
置いておきますねhttps://t.co/hBkYlbLtEu
— 中村 薫(Kaoru Nakamura) (@kaorun55) May 27, 2019
Git
殺伐としたディープラーニングネタですが、フリー素材でほっこりして下さい / 2件のコメント https://t.co/s1biGZwxMZ “TensorFlowの物体検出用ライブラリ「Object Detection API」を手軽に使えるソフト「Object Detection Tools」を作ってみた - karaage. [からあげ]” https://t.co/p1PG8NnQTR
— からあげ (@karaage0703) May 27, 2019
ロボティクス分野の国際会議、モントリオール開催のICRA 2019の報告資料を作成させて頂きました! #ICRA2019 https://t.co/LgtPjqQVZc
— 片岡裕雄 (@HirokatuKataoka) May 25, 2019
ICRA2019
コレは凄い!https://t.co/KKCAR0jlwb
— PINTO0309 (@PINTO03091) May 24, 2019
高解像度化
torchvision 0.3.0: segmentation, detection models, new datasets, C++/CUDA operators
— PyTorch (@PyTorch) May 23, 2019
Blog with link to tutorial, release notes: https://t.co/7PuNpMrL58
Install commands have changed, use the selector on https://t.co/DeaBDSRxs8 pic.twitter.com/Ljt7rSymno
CVPR 2019 Open Access Repository
— 望月紅葉さんと幸せな家庭を築きたい (@momiji_fullmoon) May 24, 2019
公開されてる💪 https://t.co/luCunCssks
CVPR2019
これは使ってみたくなるかも。 https://t.co/CAy4PX9kKW
— Jun Hirabayashi (平林 純) (@hirax) May 23, 2019
数式エンジンのAPI
300個以上の高精細なアノテーション付き3Dモデル,セマンティックセグメンテーション用の画像データセットです!ダウンロードはこちらから!https://t.co/3Olh5LGYnA https://t.co/f2rdhRT3Kn
— S.Akizuki (@spark25_307) May 24, 2019
www.chukyo-u.ac.jp
アノテーション付き3Dモデル
面白い
— 尹 祐根(ゆん うぐん) (@WooKeunYOON) May 24, 2019
「自分の身体に気づくための二つの処理過程を発見 リハビリテーションなど身体認知のメカニズム理解へ」 https://t.co/3mJG8qdBcd
木材を化学処理してリグニンを取り除いてから圧縮すると、鉄やチタンと比肩しうる強靭な建材になる、という研究の話。しかも「赤外線を吸収しにくく、しかし放熱性はやたらと高い」みたいな面白い性質も https://t.co/J9ysUP5hFG
— ultraviolet (@raurublock) May 23, 2019
木材ベースの新素材
ICRA2019で東北大 多田隈研究室の新型ドローンメカが見事 Best Paper Award on Mechanisms and Designをゲット!
— Shuuji Kajita (@s_kajita) May 23, 2019
Development and Experimental Validation of Aerial Vehicle with Passive R... https://t.co/DF7IdEmyAt
全てのドローンにあのボールの装着を義務付けてほしい。怖いから。
professor.kanagawa-u.ac.jp
モーターの先生
Software optimization resources https://t.co/RNBxUN4iXX
— きばんちゃん (@kivantium) May 23, 2019
高速化に関するドキュメントについて聞いたらAgner Fog という人のページを読むとよいと言われた
Excited to be at #ICRA2019
— Animesh Garg (@animesh_garg) May 20, 2019
Best Paper Award talk
Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks
Paper: https://t.co/HlzydfoJJ9
Video: https://t.co/dOAUy15Xwa
ICRA2019のベストペーパー
「次世代の半導体素材として注目される炭化ケイ素(SiC)から成る製パワー素子のPCUへの適用だ。800ボルトと高い電圧で駆動できるPCUを開発した」 RT @ フォーミュラE優勝、独ZFの高効率パワートレーン:日本経済新聞 https://t.co/hmYMR42TeE
— y-fullmoon (@hf_and_beyond) May 22, 2019
SiCが活躍し始めた
本家の Arduino Uno とピン互換で値段も同じくらいなのに、液晶モニタ、カメラ、WiFi/Bluetooth(技適マークあり)、マイク、オーディオアンプ がついて、ディープラーニングのアクセラレータもある!どういうことなの.. https://t.co/sQAak3L8Q4
— ミクミンP/Kazuhiro Sasao (@ksasao) May 22, 2019
気になるおもちゃ
文化庁が“文化財の訪日旅行客向け多言語解説”に補助金、VR/ARコンテンツも対象に - Mogura VR News https://t.co/BsifBQ97Qc
— Mogura VR News (@MoguraVR) May 22, 2019
はて。
東工大 奥富・田中研究室と社会知能研究チームの研究グループは、産総研が開発したDhaibaWorksを活用して、大規模なラベル付LiDARデータセットを構築しました。本データセットを訓練用データに利用することにより、3次元データに基づく人検出モデルを構築することができます。https://t.co/SkQD5zvXNC
— 産総研人工知能研究センターAIRC (@AIResearchAIST) May 21, 2019
Lidarデータセット
www.itmedia.co.jp
4脚ロボット
qiita.com
便利そう
角倉君(@sumicco_cv)と渋谷君(@mikiya85)がインターンで取り組んでくれたVisual SLAMフレームワーク" 𝙊𝙥𝙚𝙣𝙑𝙎𝙇𝘼𝙈 "を本日公開しました.透視投影だけでなく,全方位や魚眼にも対応しております.BSDライセンスのため企業の方にもぜひご利用頂ければと思います.https://t.co/fJxfPH1u1N https://t.co/RfXZ7kBYk9
— Ken Sakurada (@sakuDken) May 21, 2019
JetsonNanoでも動くOpenVSLAM
#Unity Shader Programming Vol.02 Lighting/Shading をリリースしました。遅くなりました。理由はいろいろありますが、価格がだいぶ上がってます。サンプルを用意したので確認の上で購入を検討してください。学生の頃に欲しかった、を目安に書いてます。https://t.co/i60OexqPAv pic.twitter.com/DU1O944ufe
— XJINE (@XJINE) May 20, 2019
Unity向けだけど勉強になりそう
ICRA 2019にて「教師なし文脈外行動理解」を発表します!
— cvpaper.challenge (@CVpaperChalleng) May 21, 2019
Hirokatsu Kataoka, Yutaka Satoh, "Unsupervised Out-of-context Action Understanding," IEEE International Conference on Robotics and Automation (ICRA), 2019.
教師無し文脈行動理解
明日の2限に駒場の学術フロンティア講義を担当します。タイトルは「音を解析・合成する信号処理技術」です。講義資料はこちら👉 https://t.co/vOiVxhPg7H
— Shoichi Koyama (@sh01) May 20, 2019
(空間音響チュートリアルっぽくなっています・・・) https://t.co/PyGQzK7JEt
音の解析と合成技術の資料
東大、「充電中に自己修復して長持ちする電池」の原理検証に成功https://t.co/THoHLtXIaj pic.twitter.com/5r3AH07zsK
— ITmedia NEWS (@itmedia_news) May 20, 2019
H∞制御(ロバスト制御)と外乱オブザーバ(外乱ロバスト)の違いがいまいち分からないのでこのあたり読む https://t.co/GJxEgacDOwhttps://t.co/N23TlwDr8Q
— モータ制御マン (@motorcontrolman) May 16, 2019
http://www.dwdrums.com/images/moonmic/olson_direct-radiator-loudspeaker-enclosures.pdf
スピーカーエンクロージャーの特性
shiropen.com
単眼ハンドモーキャプ
時間の都合,講演であまり各論には触れられません.きっかけになったサーベイ資料を公開していますので,併せて活用してもらえればと思います.https://t.co/wDpJHY9SpW
— Naoya Chiba (@n_chiba_) May 14, 2019
もしこのあたりに興味があってお話して頂ける方がいたら,3日間会場にいますので声をかけてもらえると嬉しいです.
点群関係
ETH Zurichなど、外部光学機器を必要とせずにリアルタイムに手のポーズを推定するdeep learningを用いたストレッチセンシングソフトグローブを発表 https://t.co/NvJQfJfI1E pic.twitter.com/bhR8NDk6Kz
— Seamless (@shiropen2) May 14, 2019
グローブ型のハンドモーキャプ
コンピュータビジョンのトップカンファレンスCVPRで、産総研発のビジュアルSLAMの論文が採択されました!
— Shuuji Kajita (@s_kajita) May 13, 2019
VITAMIN-E: VIsual Tracking And MappINg with Extremely Dense Feature Poin... https://t.co/DXJrvDNZW0
阪野さん
www.livoxtech.com
store.dji.com
安いからうっかり買ってしまいそうになる。欲しいけど。画角に注意。
来週の国際会議@ USにて脳細胞の発火リズムついて講演し、「シナプスの数がある程度増えると相転移が起きて細胞たちが同期発火するが、増えるぎると同期が破れてアホになる」ことを"数学的に"証明します。初公開です。下記の池谷先生のツイートに触発されてやりました。 https://t.co/9ydfFDDSfU
— 千葉逸人 (@HayatoChiba) May 14, 2019
勉強しすぎに気を付けよう
UCバークレーなど、スマートフォンで撮影した画像から実世界の3Dシーンをよりリアルに再構築する手法を発表 https://t.co/1IcfIxbCDq pic.twitter.com/r6JG9DcnUo
— Seamless (@shiropen2) May 11, 2019
内容以上に動画がうまい
MPI-IS、音声から顔アニメーションをより自然に生成するdeep learningを用いたフレームワーク「VOCA」を発表 https://t.co/6KpJFOxBA1 動画で声と共に出力結果を確認できます。 pic.twitter.com/1ZNEHTAYdV
— Seamless (@shiropen2) May 10, 2019
TensorFlowでグラフックス関連のパラメーターを推定するためのライブラリTensorFlow Graphicsが公開。3Dモデルの推定などはラベルデータの用意が大変なため、2D=>推定=>レンダリング=>3Dで2D/3Dの一致をとる形で学習が行えると良い。これには微分可能なRendererが必要だが、それを提供してくれている。 https://t.co/c2ah3XA21k
— piqcy (@icoxfog417) May 10, 2019
TensorFlow用微分可能なレンダラー
近日MLPシリーズで刊行予定の「ベイズ深層学習」の目次を貼ります.
— 須山敦志 Suyama Atsushi (@sammy_suyama) May 10, 2019
1章,はじめに
2章,ニューラルネットワークの基礎
3章,ベイズ推論の基礎
4章,近似推論手法
5章,深層学習モデルのためのベイズ推論
6章,深層生成モデルとベイズ推論
7章,深層学習とガウス過程 pic.twitter.com/PuPyAyDux2
買う本
これは凄い。こういう処理を自分で走らせるためだけにでも、早いPCを手に入れるための仕事に出たくなる。
— Jun Hirabayashi (平林 純) (@hirax) May 10, 2019
"Inverse Rendering for Complex Indoor Scenes:
Shape, Spatially-Varying Lighting and SVBRDF from a Single Image"(PDF)https://t.co/1CleHUuARF
PerceptNet: Learning Perceptual Similarity of Haptic Textures in Presence of Unorderable... https://t.co/viD8rNkZjf pic.twitter.com/pVqm8O0Du1
— arxiv (@arxiv_org) May 10, 2019
arxiv.org
触覚
Take a look inside this fully automated 3D-printing facility pic.twitter.com/14bkXIrDD9
— Tech Insider (@techinsider) May 5, 2019
ずっと見てたい
点群における3Dターゲット検出の新しいフレームワークVoteNet、2つのデータセットで最高精度を更新|https://t.co/UoV8p66spR https://t.co/1r2HjCwbwg
— Naoya Chiba (@n_chiba_) 2019年5月7日
PointNet著者らの新しい論文の紹介記事.大学ミスってたりとか気になる部分もあるけど,ともかく公開から二週間ちょいでの紹介は仕事が速くてすごい
ai-scholar.tech
これから弊研の勉強会スライドあげていきますので
— Mendy Sekiguchi (@ShunichiSekigu1) May 6, 2019
もしモデルベース強化学習に興味のある方がいれば、ぜひみていただいてコメントをいただけると嬉しいです!https://t.co/WJ9mjBX1NX
モデルベース強化学習まとめ。ありがたい。
CVPR'19論文。滑らかで閉じた3Dメッシュを生成するためにグリッド上での占有確率をDNNで出力し、それを使ってMarching Cubeでオクツリー分割していく過程ごと機械学習。非常に綺麗な結果。"Occupancy Networks: Learning 3D Reconstruction in Function Space https://t.co/oq5kjDVmNK
— Yamo (@yamo_o) May 8, 2019
github.com
綺麗に立体復元
機械学習による光源推定の機能強化はTensorFlow-liteのニューラルネットを使っているとのことで、どのような学習用の画像を用意した等の詳細はこの論文にあるそうです。 #ARCore #io19jp https://t.co/OgmXvxw0tA
— Kenichi Takahashi (@ken1_taka) 2019年5月7日
arxiv.org
光源推定
www.digikey.jp
150A10VでRds_onが0.75mΩとかいつの間にかすごい時代になったなぁ
ABC: A Big CAD Model Dataset For Geometric Deep Learning
— hardmaru (@hardmaru) 2019年5月8日
A collection of a million computer-aided design (CAD) models. Will be fun to play with vector design plans. Hope they included the kitchen sink! 🚰https://t.co/d6JmHcJbkghttps://t.co/uCe3XR978mhttps://t.co/Q3BGKqZmmz pic.twitter.com/ROfu4NC0md
CADモデルデータセット
物理学の系でDNNを使うのは最近盛んです.例えば: https://t.co/WW7uRibjbC しかし,これは基本的に対象系の時間スケールにおいてPDEや流体方程式などの時間発展方程式を立てられるという前提条件があって,時間発展方程式を解くのが難しいのでその簡便法としてDNNが利用できないか,というものです.
— Yuta Kashino (@yutakashino) 2019年5月7日
大口径BLDCを使ったバックドライバブルなオープンソースアクチュエータ
— ぷらぎあ (@plastic_gear) April 22, 2019
理論トルク80N•m
ODriveで位置制御やトルク制御も可能https://t.co/6lq6A9qmAq
モーターを作ろう
AutoEncoder(AE)はデータから圧縮された表現を学習する際に頻繁に用いられるが、2つのデータの組み合わせから“補間“できる点に着目した研究。補間表現から混合割合を復元するよう学習されたネットワークに対してAdv trainingの枠組みを導入し、よりリアルな生成を行う正則化手法を提案 https://t.co/1CFJ0zN1U8
— しゅんけー (@shunk031) 2019年5月5日
『システム/制御/情報』のガウス過程特集号「ガウス過程回帰の基礎から応用」が,先月から無料で読めるようになってる!https://t.co/39JMQCFo7m pic.twitter.com/OLQUJHVBZR
— ササキ (@saitosasaki) 2019年5月5日
東工大の @hasevr 先生による触覚学の講義資料、とてもよくまとまっていて良い https://t.co/MslFH1QY2Q
— 稲見昌彦⛅INAMI Masahiko (@drinami) May 3, 2019
リンク先の資料が勉強になる。
synapse.kyoto
知っとく価値がある。
nVidiaのJetson nanoで、ホログラムディスプレイのLookingGlassをHoloPlay.jsのSDKで使えるようにする。
Looking Glassは超面白いですね。今まで、さんざん色々な3Dディスプレイの表示クオリティの低さにがっかりさせられてきましたが、Looking Glassの画質はかなりいい線まで来ているように思えます。(欲を出せばいろいろありますが。)
Looking Glassにリアルタイムで描画しようと思ったら、3Dモデルを40枚同時に描画できなければいけないので、PCの要求仕様がかなり高いことが難点です。とくにそれらの値段が高く大きく重いことが悩みになります。
ところが、折しもちょうどいいタイミングでnVidiaのJetson Nanoという高度な描画能力を持ったマイコンボードが1万3千円ぐらいで買えるようになっていますので、この2つを組み合わせれば理想的じゃないか、と誰もが思いつくと思います。今日は、これをやってみたいと思います。
1.Jetson Nanoの準備
Jetson Nanoのイメージの焼きこみなどは、こちらを参考にしてください。
developer.nvidia.com
ぐぐれば一杯情報が出てきます。まっさらにインストールした状態から始めることにします。
2.準備
まず、作業用のディレクトリを作ります。
> mkdir workspace
> cd workspace
> mkdir ThreeJSTutorial
> cd ThreeJSTutorial
> mkdir js
次に、three.jsライブラリとHoloPlay.jsライブラリをダウンロードして展開します。
GettingStartGuideを見ながら進めるといいでしょう。
docs.lookingglassfactory.com
読むのが面倒くさい人は、次のリンクから。
https://github.com/mrdoob/three.js/archive/master.zip
https://s3.amazonaws.com/static-files.lookingglassfactory.com/ThreeJSLibrary/v0.2.1/HoloPlay.zip
これらのZIPを展開して、中身を~/workspace/ThreeJSTutorial/jsの下にコピーします。必要なのは.jsファイルが二つだけですが面倒くさいので全部コピーでも動きます。(WEBを公開する予定があって、セキュリティ等が気になる人は必要なファイルだけの方が無難。)
テスト用のindex.htmlを作ります。
まっさらの状態のJetson Nanoですとまだ使いやすいエディタも入っていないので適当なものを入れます。
sudo apt-get update
sudo apt-get -y install nano
Getting StartのWEBページの一番最後にあるexampleのソースコードをコピーして、index.htmlファイルを作ります。
> nano index.html
コピペ
medium.com
こちらのページにも同様のexampleが載っていますが、こちらの方は時間ごとに更新されて動くのでアニメーションさせたいときの参考になります。
3.WEBサーバのインストール
WindowsやLinux向けのWEBサーバーインストーラアプリXAMPPは、x86/x64をターゲットにしたバイナリで配布されているので、ARMコアのJetsonNanoでは動きません。要はLAMPのアプリが入っていればいいので、手動でインストールしていきます。Lampのインストール方法は、Jetson向けの物はほとんど見つかりませんが、RaspberryPi用の記事はたくさん書かれていますのでこれを参考にします。
www.neko.ne.jp
インストールコマンドだけを抜き出すと、こんな感じになります。sudoで始まる行だけ辿れば大丈夫のはず、です。
> uname -a
> perl -V
> sudo apt-get udpate
> sudo apt-get -y install apache2
> apache -V
> sudo apt-get -y install php php-dev php-fpm php-gd
> sudo apt-get -y install php-mysql
> sudo a2enmod proxy_fcgi setenvif
> sudo a2enconf php7.2-fpm
> sudo systemctl reload apache2
php7.2-fpmの7.2はphpのバージョンに対応します。適切なバージョンを入れてください。
> sudo apt-get -y install mysql-server
> mysqld -V
> mysql -V
> sudo apt-get -y install phpmyadmin
[yes]
[password] x2
[apache2]
4.WEBコンテンツのパスを通す
apache2のdefaultのWEBコンテンツの置き場所は、/var/www/html/の下です。状況が変わって見つからないときは、
> sudo find / -name index.html -print
などで探すとよいでしょう。ここに、workspaceディレクトリの下に作ったThreeJSTutorialディレクトリのシンボリックリンクを張ります。
> cd /var/www/html
> sudo ln -s ~/workspace/ThreeJSTutorial ThreeJSTutorial
> cd
5.Holoplay.js for Linuxを起動する
何の制限があってかわかりませんが、LookingGlassのThree.jsライブラリであるHoloPlay.jsはWindowsとMacにしか正式に対応していません。これを何とかするライブラリを先人が開発してくれているので、これを使いわせてもらいます。一応、アンオフィシャルだと思うので何があっても自己責任でお願いします。
github.com
初出はこちら。
Holoplay.js for Linux - Made with Looking Glass - Looking Glass Factory Forum
Githubからソースコードをダウンロードしてきて解凍します。適当な場所においてもかまわないはずなのですが、なぜかapt-getでgolang goをインストールしようとすると~/goにGOPATHを通そうとする(そして.bashrcに別の場所を書いても無視される)などのよくわからない挙動をしめす「ことがある」ので、~/goに展開してしまいます。
golangをインストール
> sudo apt-get -y install golang-go
> nano ~/.bashrc
一番最後の行に、
export GOPATH=~/go
export GOBIN=$GOPATH/bin
export PATH=$GOPATH/bin:$PATH
を足す。
> bash
golangのパスの機嫌がよくわからないときがあるので、何か困ったらWEBでもっと詳しいページを調べてください。
次にgoの実行環境を整えます。
> cd ~/go
> go get
何も言われず終了すればうまくいっているようです。何か文句を言われたら、PATHの設定などが間違えているのかもしれません。
これで準備ができましたので、goスクリプトを実行します。
> sudo go run main.go
この時点では何の応答もありません。
LookingGlassのUSBを接続して、WEBブラウザで用意したThreeJSTutorialを開きます。
すると、上手くいっていればキャリブレーションデータがターミナルに表示されて、ブラウザ内に次のような画面が表示されます。
うろ覚えで書いているので、上手く動いた動かない、のフィードバックをお待ちしています。
今日の工具
一流工具が欲しい病気にかかっています。
京都機械工具(KTC) ツールセット チェスト 67点組 SK36719X (SK SALE 2019) レッド 67個入
- 出版社/メーカー: 京都機械工具(KTC)
- メディア: Tools & Hardware
- この商品を含むブログを見る
マキタ(Makita) DF484DZ 充電式ドライバドリル 青 本体のみ 18V
- 出版社/メーカー: マキタ(Makita)
- メディア: Tools & Hardware
- この商品を含むブログを見る
自分用読むべき論文メモ 2019年4月版
http://openaccess.thecvf.com/content_ECCV_2018/papers/Martin_Sundermeyer_Implicit_3D_Orientation_ECCV_2018_paper.pdf
www.youtube.com
github.comqiita.com
toaruharunohi.hatenablog.com学習ベースの3次元6自由度の物体トラッキング. Best Paper Award, ECCV 2018.
Octave Convolution [Chen+, 2019]
— Shion Honda (@shion_honda) 2019年4月19日
CNNの特徴マップを空間周波数が高いものと低いものに分けて学習させるOctConvにより、精度・計算量・メモリ効率の改善を行った。ResNetなど任意のアーキテクチャで通常の畳込み層をOctConvに置き換えるだけで簡単に利用できる。https://t.co/sZykFKzCRP#NowReading pic.twitter.com/9ZEfre2INb
export.arxiv.org
コンデンサで思い出したので、電解コンデンサレスインバータ(ダイキン)というのがあることをつぶやいておく。PFCレスでもある。https://t.co/y1MA3l2UZahttps://t.co/XXtnmzEX62
— モータ制御マン (@motorcontrolman) 2019年4月18日
https://www.jstage.jst.go.jp/article/ieejias/133/10/133_NL10_3/_pdf/-char/ja
dbnst.nii.ac.jp
地球環境のために、ダイキンだけじゃもったいない。
www.youtube.com
http://ibisml.org/ibis2018/files/2018/11/kanade.pdf
Very impressive results guys. If I understand correctly this is based on supervised training using synthetic data. I hope that this goes a bit further in convincing some of the doubters in event camera work why it's interesting to work on video reconstruction from events. /1 https://t.co/z835Yq9kcp
— Andrew Davison (@AjdDavison) 2019年4月17日
http://rpg.ifi.uzh.ch/docs/CVPR19_Rebecq.pdf
www.youtube.com
イベントカメラ
学会発表や卒論発表のための資料「研究発表を準備する」https://t.co/tctTwZFl8K
— Takayuki Itoh (@1t0ocha) 2019年4月18日
Slideshareではファイルの差し替えができないので更新版をこちらに置きました→https://t.co/Oo8f0jTRYc
研究発表を準備する from Takayuki Itohwww.slideshare.net
CenterNet (Objects as Points) https://t.co/IrUTqGaW3P
— Yosuke Shinya (@shinya7y) 2019年4月17日
bounding boxの中心点をkeypoint推定で求め、中心点のfeatureからサイズ、3D座標、向き、人物姿勢推定用関節点を回帰 pic.twitter.com/PmJ912DeUX
arxiv.org
昨年掲載された解説記事、やっとフリーアクセスになった。
— Shuuji Kajita (@s_kajita) 2019年4月16日
梶田「DRC決勝戦における歩行安定化制御」 日本ロボット学会誌 vol.36, no.2, pp.140-143, 2018https://t.co/Ft0qZZjsBT
https://www.jstage.jst.go.jp/article/jrsj/36/2/36_36_140/_pdf/-char/ja
www.slideshare.net
www.slideshare.net
wired.jp
自分も苦手
ryuzさんの確率的LUTが謎すぎてすごい。入力はPWMや乱数でで変調したビット列。重みの乗算や活性化は不要で、LUTがそれら同等の非線形性を示し、逆誤差伝搬で学習できる。https://t.co/Ad1S5dVfpN https://t.co/Ad1S5dVfpN
— Kazunori Sato (@kazunori_279) 2019年4月10日
ryuz.txt-nifty.com
大事なのかもしれない
Claffin 2018年度バージョンの指リンク構造の動作。先月のエキシビションで展示したやつのプロトタイプ。 pic.twitter.com/NlybMYHlkh
— Yuki@Claffin (@astraea8322) 2019年4月9日
かっこいい
高圧電源不要のイオン風による気流制御を原理実証(東北大学)https://t.co/Ai0bm7ZTY6
— ゆきまさかずよし (@Kyukimasa) 2019年4月10日
プラズマアクチュエータを小型化・集積化することで駆動電圧を数百ボルト程度まで低くすることが原理的に可能。航空機や自動車の飛躍的燃費向上に繋がる技術への応用が期待 pic.twitter.com/CMjIyxCwxh
www.tohoku.ac.jp
論文出ました!機械学習で量子系のシミュレーションを100万倍効率化しました。
— 諏訪秀麿 Hidemaro Suwa (@suwamaros) 2019年4月9日
電子間の相互作用をしっかり取り入れた構造最適化が今後できるようになるはず。
Machine learning for molecular dynamics with strongly correlated electrons https://t.co/79i1FVZYfb
よくわかんないけどすごい
視覚と聴覚で異なる時間判断の仕組みの一端を解明 | 東京大学 https://t.co/sHV1JWoXLl
— Rina Kauffman (@rinatie_ceo) 2019年4月8日
www.u-tokyo.ac.jp
Abound SDK 0.4.6 released - https://t.co/KFN60pxjvx
— Abound Labs (@aboundlabs) 2019年4月3日
• Draws grid overlaid on mesh (see below)
• 30% faster meshing
Thanks to Stykka Labs (https://t.co/qCWL8FQaH9) for help testing. pic.twitter.com/rAkLx0NR9m
sdk.aboundlabs.com
自分用読むべき論文メモ 2019年3月版
arxiv.org
真似学習におけるモデルベースとビルドアップの融合
gigazine.net
音響メタマテリアルによる消音。音響に限らず、メタマテリアルは不思議な挙動で面白い。
モータの構造などに取り込まれるようになるかな?HiFiオーディオ向けにはどうだろう?VRの人はもう何かやってるかな。
arxiv.org
www.youtube.com
DeepVoxels
shiropen.com
論文がまだ読めない。
arxiv.org
qiita.com
http://www.shitsukan.jp/tsudoi/mt_files/43-07-kaisetsu1.pdf
arxiv.orgその他、気になるけど追えてない
petewarden.com
農業用
www.slideshare.net
qiita.com自己位置推定の教科書的な
news.mynavi.jp
定期購読
「点群深層学習 Meta-study」 by 千葉直也さん(東北大学)
— cvpaper.challenge (@CVpaperChalleng) February 25, 2019
cvpaper.challengeのMeta Study Groupのスライドを公開しました!点群(Point Cloud)処理への深層学習適用のサーベイとメタ部分(論文に出て来ない情報、強い研究者がなぜ強いか等)を調査して頂きました。https://t.co/UkoKcnU5kK
点群深層学習
自分用読むべき論文メモ 2019年2月版
NVIDIAの研究チームが発表したRMPflowという動作生成方式。実機デモのパートを見て真顔になっている。https://t.co/RrRZ5JICzl
— Shuuji Kajita (@s_kajita) 2019年2月14日
arxiv.org何か大事な変革が起きているっぽいのでRiemannian Motion Policiesというのを、まじめに勉強しなければならない。
arxiv.org測地線 - Wikipedia
微分幾何学4(リーマン幾何学)有本先生凄いなー
https://www.jstage.jst.go.jp/article/essfr/2/4/2_4_4_37/_pdf
http://rtc.nagoya.riken.jp/control/pdf/2009/2009_107471.pdf
https://www.jstage.jst.go.jp/article/jrsj/29/1/29_1_39/_pdf
https://www.jstage.jst.go.jp/article/essfr/2/4/2_4_4_4/_pdf
- 作者: 有本卓,田原健二
- 出版社/メーカー: コロナ社
- 発売日: 2017/12/15
- メディア: 単行本
- この商品を含むブログ (3件) を見る
強化学習アーキテクチャ勉強会で使用したスライドを公開しました.
— きゃぷれすと (@caprest) 2019年2月21日
発表を聞きに来られた方はありがとうございました.サーベイと題打ちましたが,ちょっとrandomな論文紹介になってしまったかもしれません.何かのたたき台になれば幸いです.https://t.co/pHtQAhD4it
https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=174177&item_no=1&attribute_id=1&file_no=1
ホーリズム - Wikipedia