業績情報

• Multi-depth HDR imaging system for improving accuracy in vein authentication　　　　　　　　　　　　　　　
  Yusuke Tanihata; Yu Feng; Keiichiro Kagawa; Kamel Mars; Keita Yasutomi; Shoji Kawahito; Takashi Komuro; Kazuya Nakano; Hiroyuki Suzuki
  Photonic Instrumentation Engineering XII, 開始ページ：32, 終了ページ：32, 2025年03月, ［査読有り］
  SPIE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.3040098
  DOI ID：10.1117/12.3040098
• 超高速ミラー駆動パンチルトカメラを用いた複数人の高精度両手指姿勢情報取得
  阿部 勇太; 入山 太嗣; 小室 孝; 島崎 航平; 石井 抱
  精密工学会誌, 巻：91, 号：3, 開始ページ：371, 終了ページ：377, 2025年03月, ［査読有り］
  Japan Society for Precision Engineering, 研究論文（学術雑誌）
  DOI：https://doi.org/10.2493/jjspe.91.371
  DOI ID：10.2493/jjspe.91.371, ISSN：0912-0289, eISSN：1882-675X
• Anomaly Detection in Mutual Actions: Unsupervised Classification of Fighting and Non-Fighting Behaviors Using Transformer-Based Variational Autoencoder
  Thura Zaw; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：397, 終了ページ：410, 2025年01月, ［査読有り］
  Springer Nature Switzerland, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-031-77392-1_30
  DOI ID：10.1007/978-3-031-77392-1_30, ISSN：0302-9743, eISSN：1611-3349
• Bit Depth Enhancement Considering Semantic Contextual Information via Spatial Feature Transform　　　　　　　　　　　　　　　
  Taishi Iriyama; Yuki Watanabe; Takashi Komuro
  IIEEJ Transactions on Image Electronics and Visual Computing, 巻：12, 号：2, 開始ページ：87, 終了ページ：96, 2024年12月, ［査読有り］
• An Asymmetric Multiplayer Augmented Reality Game with Spatial Sharing of a Physical Environment　　　　　　　　　　　　　　　
  Yuki Sawanobori; Taishi Iriyama; Takashi Komuro
  Proc. International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE 2024), 2024年12月, ［査読有り］
• A Finger-Mounted Device for Shape and Tactile Perception in AR Mockups
  Soma Masuda; Taishi Iriyama; Takashi Komuro; Kenji Nakamura; Masato Takahashi
  2024 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), 開始ページ：385, 終了ページ：386, 2024年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ismar-adjunct64951.2024.00103
  DOI ID：10.1109/ismar-adjunct64951.2024.00103
• Self-measurement of 3D Leg Shape Using a Smartphone Through a Mirror　　　　　　　　　　　　　　　
  Shwe Yee Win; Takashi Komuro; Keiko Ogawa-Ochiai; Norimichi Tsumura
  Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 巻：14862 LNCS, 開始ページ：290, 終了ページ：299, 2024年08月, ［査読有り］
  In this paper, we propose a self-measurement method of 3D leg shape for edema evaluation using only a smartphone and a mirror. In our method, patients can measure the 3D shape of their own leg by themselves at home. To obtain the initial shape of the leg, the user performs 3D scanning of a partial leg seen in a mirror. For the reconstruction of the unseen portion of the leg, ellipse fitting is applied to the slice images along the height of the leg. The 3D mesh of estimated full leg is reconstructed by connecting points on the ellipses. As the qualitative result, the estimated 3D mesh of leg shape from the partial leg seen through the mirror was obtained. For the accuracy measurement, we compared the estimated 3D leg shape with the original full leg shape by summing up the areas of the slice images for each estimated leg portion and the actual full leg portion as the quantitative result. It can be seen that our proposed method can reconstruct the 3D shape of whole leg from the partial portion of the leg seen through the mirror with sufficient accuracy.
  研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-981-97-5578-3_23
  Scopus：https://www.scopus.com/inward/record.uri?partnerID=HzOxMe3b&scp=85202600993&origin=inward
  Scopus Citedby：https://www.scopus.com/inward/citedby.uri?partnerID=HzOxMe3b&scp=85202600993&origin=inward
  DOI ID：10.1007/978-981-97-5578-3_23, ISSN：0302-9743, eISSN：1611-3349, SCOPUS ID：85202600993
• A Mid-air Multi-touch Interface using an Ultrafast Pan-tilt Camera
  Yuta Abe; Taishi Iriyama; Takashi Komuro; Kohei Shimasaki; Idaku Ishii
  Extended Abstracts of the CHI Conference on Human Factors in Computing Systems, 巻：2016, 開始ページ：1, 終了ページ：6, 2024年05月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3613905.3652007
  DOI ID：10.1145/3613905.3652007
• PSp-Transformer: A Transformer with Data-level Probabilistic Sparsity for Action Representation Learning
  Jiaxin Zhou; Takashi Komuro
  ITE Transactions on Media Technology and Applications, 巻：12, 号：1, 開始ページ：123, 終了ページ：132, 2024年01月, ［査読有り］
  Institute of Image Information and Television Engineers, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/mta.12.123
  DOI ID：10.3169/mta.12.123, eISSN：2186-7364
• Comparison of Autoencoder Models for Unsupervised Representation Learning of Skeleton Sequences
  Thura Zaw; Jiaxin Zhou; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：135, 終了ページ：146, 2023年12月, ［査読有り］
  Springer Nature Switzerland, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-031-47969-4_11
  DOI ID：10.1007/978-3-031-47969-4_11, ISSN：0302-9743, eISSN：1611-3349
• View interpolation networks for reproducing the material appearance of specular objects　　　　　　　　　　　　　　　
  Chihiro Hoshizawa; Takashi Komuro
  Virtual Reality & Intelligent Hardware, 巻：5, 号：1, 開始ページ：1, 終了ページ：10, 2023年02月, ［査読有り］
  Elsevier BV, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1016/j.vrih.2022.11.001
  DOI ID：10.1016/j.vrih.2022.11.001, ISSN：2096-5796
• AR Digital Workspace Using a Mobile Device
  Yuki Kojima; Taishi Iriyama; Takashi Komuro
  Proceedings of the 2022 ACM Symposium on Spatial User Interaction, 巻：2017, 開始ページ：1, 終了ページ：2, 2022年12月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3565970.3567690
  DOI ID：10.1145/3565970.3567690
• Visualization of Parkinson’s Disease Tremor for a Telemedicine System
  Tingyu Du; Takashi Komuro; Keiko Ogawa-Ochiai
  Communications in Computer and Information Science, 開始ページ：414, 終了ページ：419, 2022年11月, ［査読有り］
  Springer Nature Switzerland, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-031-19679-9_52
  DOI ID：10.1007/978-3-031-19679-9_52, ISSN：1865-0929, eISSN：1865-0937
• High-speed image generation of transparent objects using an image conversion network
  Sana Nishinaga; Karin Kaifuku; Jingtao Huang; Takashi Komuro; Kayo Ogawa
  2022 IEEE 11th Global Conference on Consumer Electronics (GCCE), 開始ページ：736, 終了ページ：737, 2022年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/gcce56475.2022.10014072
  DOI ID：10.1109/gcce56475.2022.10014072
• 3D Hand Pose Recognition Over a Wide Area Using Two Omnidirectional Cameras with Field-of-view Division
  Yuta Abe; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：3, 終了ページ：17, 2022年10月, ［査読有り］
  Springer Nature Switzerland, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-031-17618-0_1
  DOI ID：10.1007/978-3-031-17618-0_1, ISSN：0302-9743, eISSN：1611-3349
• Lightweight Wearable AR System using Head-mounted Projector for Work Support
  Haruki Yuda; Masamichi Limori; Taishi Iriyama; Takashi Komuro
  2022 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), 巻：31, 開始ページ：690, 終了ページ：691, 2022年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ismar-adjunct57072.2022.00144
  DOI ID：10.1109/ismar-adjunct57072.2022.00144
• An asymmetrical-structure auto-encoder for unsupervised representation learning of skeleton sequences　　　　　　　　　　　　　　　
  Jiaxin Zhou; Takashi Komuro
  Computer Vision and Image Understanding, 巻：222, 開始ページ：103491, 終了ページ：103491, 2022年09月, ［査読有り］
  Elsevier BV, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1016/j.cviu.2022.103491
  DOI ID：10.1016/j.cviu.2022.103491, ISSN：1077-3142
• Blockwise Feature-Based Registration of Deformable Medical Images
  Su Wai Tun; Takashi Komuro; Hajime Nagahara
  Lecture Notes in Computer Science, 開始ページ：472, 終了ページ：482, 2022年08月, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-031-13870-6_40
  DOI ID：10.1007/978-3-031-13870-6_40, ISSN：0302-9743, eISSN：1611-3349
• Resolving Multi-Path Interference in Compressive Time-of-Flight Depth Imaging with a Multi-Tap Macro-Pixel Computational CMOS Image Sensor
  Masaya Horio; Yu Feng; Tomoya Kokado; Taishi Takasawa; Keita Yasutomi; Shoji Kawahito; Takashi Komuro; Hajime Nagahara; Keiichiro Kagawa
  Sensors, 巻：22, 号：7, 開始ページ：2442, 終了ページ：2442, 2022年03月, ［査読有り］
  Multi-path interference causes depth errors in indirect time-of-flight (ToF) cameras. In this paper, resolving multi-path interference caused by surface reflections using a multi-tap macro-pixel computational CMOS image sensor is demonstrated. The imaging area is implemented by an array of macro-pixels composed of four subpixels embodied by a four-tap lateral electric field charge modulator (LEFM). This sensor can simultaneously acquire 16 images for different temporal shutters. This method can reproduce more than 16 images based on compressive sensing with multi-frequency shutters and sub-clock shifting. In simulations, an object was placed 16 m away from the sensor, and the depth of an interference object was varied from 1 to 32 m in 1 m steps. The two reflections were separated in two stages: coarse estimation based on a compressive sensing solver and refinement by a nonlinear search to investigate the potential of our sensor. Relative standard deviation (precision) and relative mean error (accuracy) were evaluated under the influence of photon shot noise. The proposed method was verified using a prototype multi-tap macro-pixel computational CMOS image sensor in single-path and dual-path situations. In the experiment, an acrylic plate was placed 1 m or 2 m and a mirror 9.3 m from the sensor.
  MDPI AG, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3390/s22072442
  DOI ID：10.3390/s22072442, eISSN：1424-8220
• Users’ Content Memorization in Multi-User Interactive Public Displays
  Narumi Sugiura; Rikako Ogura; Yoshio Matsuda; Takashi Komuro; Kayo Ogawa
  International Journal of Human–Computer Interaction, 巻：38, 号：5, 開始ページ：447, 終了ページ：455, 2022年03月, ［査読有り］
  Informa UK Limited, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1080/10447318.2021.1948686
  DOI ID：10.1080/10447318.2021.1948686, ISSN：1044-7318, eISSN：1532-7590
• インタラクティブデジタルサイネージにおける映像エフェクトの違いによる広告効果の検証
  猪野 志織; 小室 孝; 小川 賀代
  映像情報メディア学会誌, 巻：76, 号：2, 開始ページ：297, 終了ページ：303, 2022年03月, ［査読有り］
  Institute of Image Information and Television Engineers, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/itej.76.297
  DOI ID：10.3169/itej.76.297, ISSN：1342-6907, eISSN：1881-6908
• AR Peephole Interface: Extending the workspace of a mobile device using real-space information　　　　　　　　　　　　　　　
  Masashi Miyazaki; Takashi Komuro
  Pervasive and Mobile Computing, 巻：78, 開始ページ：101489, 終了ページ：101489, 2021年12月, ［査読有り］
  Elsevier BV, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1016/j.pmcj.2021.101489
  DOI ID：10.1016/j.pmcj.2021.101489, ISSN：1574-1192
• 3D Hand Pointing Recognition over a Wide Area using Two Fisheye Cameras
  Azusa Kuramochi; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：58, 終了ページ：67, 2021年11月, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-90963-5_5
  DOI ID：10.1007/978-3-030-90963-5_5, ISSN：0302-9743, eISSN：1611-3349
• Finger region extraction using color of skin for hand-waving finger vein authentication　　　　　　　　　　　　　　　
  Hiroyuki Suzuki; Narissa Ditthapakdijanya; Takashi Komuro; Keiichiro Kagawa; Kazuya Nakano; Takashi Obi
  Biomedical Imaging and Sensing Conference 2021, 開始ページ：33, 終了ページ：33, 2021年10月, ［査読有り］
  SPIE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.2615690
  DOI ID：10.1117/12.2615690
• Reproduction of Environment Reflection using Extrapolation of Front Camera Images in Mobile AR
  Shun Odajima; Takashi Komuro
  2021 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), 2021年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ismar-adjunct54149.2021.00068
  DOI ID：10.1109/ismar-adjunct54149.2021.00068
• Transmission of correct gaze direction in video conferencing using screen-embedded cameras
  Kazuki Kobayashi; Takashi Komuro; Keiichiro Kagawa; Shoji Kawahito
  Multimedia Tools and Applications, 巻：80, 号：21-23, 開始ページ：31509, 終了ページ：31526, 2021年09月, ［査読有り］
  Springer Science and Business Media LLC, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1007/s11042-020-09758-w
  DOI ID：10.1007/s11042-020-09758-w, ISSN：1380-7501, eISSN：1573-7721
• Human detection from low-resolution video images using 3D convolutional neural network　　　　　　　　　　　　　　　
  Hiroki Kanazawa; Yuta Nakamoto; Jiaxin Zhou; Takashi Komuro
  Fifteenth International Conference on Quality Control by Artificial Vision, 巻：1, 開始ページ：52, 終了ページ：52, 2021年07月, ［査読有り］
  SPIE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.2589829
  DOI ID：10.1117/12.2589829
• Grasping Action Recognition in VR Environment using Object Shape and Position Information
  Koki Hirota; Takashi Komuro
  2021 IEEE International Conference on Consumer Electronics (ICCE), 開始ページ：1, 終了ページ：2, 2021年01月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/icce50685.2021.9427608
  DOI ID：10.1109/icce50685.2021.9427608
• BRDF Measurement of Real Materials Using Handheld Cameras
  Haru Otani; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：65, 終了ページ：77, 2021年, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-90439-5_6
  DOI ID：10.1007/978-3-030-90439-5_6, ISSN：0302-9743, eISSN：1611-3349
• Wearable Augmented Reality System Using Head-Mounted Projector
  Masamichi Iimori; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：481, 終了ページ：491, 2021年, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-90439-5_38
  DOI ID：10.1007/978-3-030-90439-5_38, ISSN：0302-9743, eISSN：1611-3349
• Generation of Virtual Reality Environment Based on 3D Scanned Indoor Physical Space
  Satoshi Moro; Takashi Komuro
  Lecture Notes in Computer Science, 開始ページ：492, 終了ページ：503, 2021年, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-90439-5_39
  DOI ID：10.1007/978-3-030-90439-5_39, ISSN：0302-9743, eISSN：1611-3349
• 3D Registration of Deformable Objects Using a Time-of-Flight Camera
  Su Wai Tun; Takashi Komuro; Hajime Nagahara
  Lecture Notes in Computer Science, 開始ページ：455, 終了ページ：465, 2021年, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-90439-5_36
  DOI ID：10.1007/978-3-030-90439-5_36, ISSN：0302-9743, eISSN：1611-3349
• Removal of Floating Particles from Underwater Images Using Image Transformation Networks
  Lei Li; Takashi Komuro; Koichiro Enomoto; Masashi Toda
  Pattern Recognition. ICPR International Workshops and Challenges, 巻：12662 LNCS, 開始ページ：414, 終了ページ：421, 2021年, ［査読有り］
  In this paper, we propose three methods for removing floating particles from underwater images. The first two methods are based on Generative Adversarial Networks (GANs). The first method uses CycleGAN which can be trained with an unpaired dataset, and the second method uses pix2pixHD that is trained with a paired dataset created by adding artificial particles to underwater images. The third method consists of two-step process – particle detection and image inpainting. For particle detection, an image segmentation neural network U-Net is trained by using underwater images added with artificial particles. Using the output of U-Net, the particle regions are repaired by an image inpainting network Partial Convolutions. The experimental results showed that the methods using GANs were able to remove floating particles, but the resolution became lower than that of the original images. On the other hand, the results of the method using U-Net and Partial Convolutions showed that it is capable of accurate detection and removal of floating particles without loss of resolution.
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-68790-8_32
  Scopus：https://www.scopus.com/inward/record.uri?partnerID=HzOxMe3b&scp=85110679867&origin=inward
  Scopus Citedby：https://www.scopus.com/inward/citedby.uri?partnerID=HzOxMe3b&scp=85110679867&origin=inward
  DOI ID：10.1007/978-3-030-68790-8_32, ISSN：0302-9743, eISSN：1611-3349, SCOPUS ID：85110679867
• Recognizing Gestures from Videos using a Network with Two-branch Structure and Additional Motion Cues
  Jiaxin Zhou; Takashi Komuro
  2020 15th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2020), 2020年11月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/fg47880.2020.00006
  DOI ID：10.1109/fg47880.2020.00006
• A Portable Measurement System for Spatially-Varying Reflectance Using Two Handheld Cameras
  Zar Zar Tun; Seiji Tsunezaki; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  Lecture Notes in Computer Science, 開始ページ：266, 終了ページ：276, 2020年10月, ［査読有り］
  Springer International Publishing, 論文集(書籍)内論文
  DOI：https://doi.org/10.1007/978-3-030-59990-4_20
  DOI ID：10.1007/978-3-030-59990-4_20, ISSN：0302-9743, eISSN：1611-3349
• Dynamic layout optimization for multi-user interaction with a large display
  Yoshio Matsuda; Takashi Komuro
  Proceedings of the 25th International Conference on Intelligent User Interfaces, 2020年03月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3377325.3377481
  DOI ID：10.1145/3377325.3377481
• Palm-Controlled Pointing Interface Using a Dynamic Photometric Stereo Camera.　　　　　　　　　　　　　　　
  Yoshio Matsuda; Takashi Komuro; Takuya Yoda; Hajime Nagahara; Shoji Kawahito; Keiichiro Kagawa
  HCI International 2020 - Late Breaking Posters - 22nd International Conference, 開始ページ：142, 終了ページ：147, 2020年, ［査読有り］
  Springer, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-3-030-60700-5_19
  DOI ID：10.1007/978-3-030-60700-5_19, DBLP ID：conf/hci/MatsudaKYNKK20
• Object Manipulation for Perceiving a Sense of Material using User-Perspective Mobile Augmented Reality
  Ryota Nomura; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  ITE Transactions on Media Technology and Applications, 巻：8, 号：4, 開始ページ：245, 終了ページ：251, 2020年, ［査読有り］
  Institute of Image Information and Television Engineers, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/mta.8.245
  DOI ID：10.3169/mta.8.245, eISSN：2186-7364
• Situation-Adaptive Object Grasping Recognition in VR Environment
  Koki Hirota; Takashi Komuro
  2019 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR), 2019年12月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/aivr46125.2019.00035
  DOI ID：10.1109/aivr46125.2019.00035
• Semi-Automatic Creation of an Anime-Like 3D Face Model from a Single Illustration
  Takayuki Niki; Takashi Komuro
  2019 International Conference on Cyberworlds (CW), 巻：32, 開始ページ：53, 終了ページ：56, 2019年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/cw.2019.00017
  DOI ID：10.1109/cw.2019.00017
• Augmented Reality-Based Peephole Interaction using Real Space Information
  Masashi Miyazaki; Takashi Komuro
  2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), 2019年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ismar-adjunct.2019.00017
  DOI ID：10.1109/ismar-adjunct.2019.00017
• Recognizing Fall Actions from Videos Using Reconstruction Error of Variational Autoencoder
  Jiaxin Zhou; Takashi Komuro
  2019 IEEE International Conference on Image Processing (ICIP), 2019年09月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/icip.2019.8803671
  DOI ID：10.1109/icip.2019.8803671
• Simultaneous interaction with a large display by many users
  Yuriko Sakakibara; Yoshio Matsuda; Takashi Komuro; Kayo Ogawa
  Proceedings of the 8th ACM International Symposium on Pervasive Displays, 2019年06月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3321335.3329680
  DOI ID：10.1145/3321335.3329680
• Technology for visualizing the local change in shape of edema using a depth camera
  Kenta Masui; Kaoru Kiyomitsu; Keiko Ogawa-Ochiai; Takashi Komuro; Norimichi Tsumura
  Artificial Life and Robotics, 巻：24, 号：4, 開始ページ：480, 終了ページ：486, 2019年06月, ［査読有り］
  Springer Science and Business Media LLC, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1007/s10015-019-00541-1
  DOI ID：10.1007/s10015-019-00541-1, ISSN：1433-5298, eISSN：1614-7456
• Bivariate BRDF Estimation Based on Compressed Sensing　　　　　　　　　　　　　　　
  Haru Otani; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  Lecture Notes in Computer Science (LNCS), 巻：11542, 開始ページ：483, 終了ページ：489, 2019年, ［査読有り］
  We propose a method of estimating a bivariate BRDF from a small number of sampled data using compressed sensing. This method aims to estimate the reflectance of various materials by using the representation space that keeps local information when restored by compressed sensing. We conducted simulated measurements using randomly sampled data and data sampled according to the camera position and orientation, and confirmed that most of the BRDF was successfully restored from 40% sampled data in the case of simulated measurement using a camera and markers.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-3-030-22514-8_48
  Scopus：https://www.scopus.com/inward/record.uri?partnerID=HzOxMe3b&scp=85067667705&origin=inward
  Scopus Citedby：https://www.scopus.com/inward/citedby.uri?partnerID=HzOxMe3b&scp=85067667705&origin=inward
  DOI ID：10.1007/978-3-030-22514-8_48, ISSN：0302-9743, eISSN：1611-3349, SCOPUS ID：85067667705
• Measuring Reflectance of Anisotropic Materials Using Two Handheld Cameras　　　　　　　　　　　　　　　
  Zar Zar Tun; Seiji Tsunezaki; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 巻：11844 LNCS, 開始ページ：482, 終了ページ：493, 2019年, ［査読有り］
  In this paper, we propose a method for measuring the reflectance of anisotropic materials using a simple apparatus consisting of two handheld cameras, a small LED light source, a turning table and a chessboard with markers. The system is configured to obtain the different incoming and outgoing light directions, and the brightness of pixels on the surface of the material. The anisotropic Ward BRDF (Bidirectional Reflectance Distribution Function) model is used to approximate the reflectance, and the model parameters are estimated from the incoming and outgoing angles and the brightness of pixels by using a non-linear optimization method. The initial values of the anisotropic direction are given based on the peak specular lobe on the surface, and the best-fitted one is chosen for the anisotropic direction. The optimized parameters show the well-fitted results between the observed brightness and the BRDF model for each RGB channel. It was confirmed that our system was able to measure the reflectance of different isotropic and anisotropic materials.
  研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-3-030-33720-9_37
  Scopus：https://www.scopus.com/inward/record.uri?partnerID=HzOxMe3b&scp=85076128969&origin=inward
  Scopus Citedby：https://www.scopus.com/inward/citedby.uri?partnerID=HzOxMe3b&scp=85076128969&origin=inward
  DOI ID：10.1007/978-3-030-33720-9_37, ISSN：0302-9743, eISSN：1611-3349, SCOPUS ID：85076128969
• On-mouse projector: Peephole interaction using a mouse with a mobile projector　　　　　　　　　　　　　　　
  Tomohiro Araki; Takashi Komuro
  Pervasive and Mobile Computing, 巻：50, 開始ページ：124, 終了ページ：136, 2018年10月, ［査読有り］
  Elsevier BV, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1016/j.pmcj.2018.09.002
  DOI ID：10.1016/j.pmcj.2018.09.002, ISSN：1574-1192
• A Large Effective Touchscreen Using a Head-Mounted Projector
  Yusuke Kemmoku; Takashi Komuro
  Information, 巻：9, 号：9, 開始ページ：235, 終了ページ：235, 2018年09月, ［査読有り］
  In our previous work, we proposed a user interface in which a user wears a projector and a depth camera on his or her head and performs touch operations on an image projected on a flat surface. By using the head-mounted projector, images are always projected in front of the user in the direction of the user’s gaze. The image to be projected is changed according to the user’s head pose so as to fix the superimposed image on the surface, which realizes a large effective screen size. In this paper, we conducted an experiment for evaluating the accuracy of registration by measuring the positional and rotational errors between the real world and the superimposed image using our experimental system. As a result, the mean absolute errors of translation were about 10 mm when the user stopped his head, and the delay was estimated to be about 0.2 s. We also discuss the limitations of our prototype and show the direction of future development.
  MDPI AG, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3390/info9090235
  DOI ID：10.3390/info9090235, eISSN：2078-2489
• A Multi-user Interactive Public Display with Dynamic Layout Optimization
  Yoshio Matsuda; Takashi Komuro
  Proceedings of the 7th ACM International Symposium on Pervasive Displays, 開始ページ：1, 終了ページ：2, 2018年06月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3205873.3210712
  DOI ID：10.1145/3205873.3210712
• Multi-Aperture-Based Probabilistic Noise Reduction of Random Telegraph Signal Noise and Photon Shot Noise in Semi-Photon-Counting Complementary-Metal-Oxide-Semiconductor Image Sensor
  Haruki Ishida; Keiichiro Kagawa; Takashi Komuro; Bo Zhang; Min-Woong Seo; Taishi Takasawa; Keita Yasutomi; Shoji Kawahito
  Sensors, 巻：18, 号：4, 開始ページ：977, 終了ページ：977, 2018年03月, ［査読有り］
  A probabilistic method to remove the random telegraph signal (RTS) noise and to increase the signal level is proposed, and was verified by simulation based on measured real sensor noise. Although semi-photon-counting-level (SPCL) ultra-low noise complementary-metal-oxide-semiconductor (CMOS) image sensors (CISs) with high conversion gain pixels have emerged, they still suffer from huge RTS noise, which is inherent to the CISs. The proposed method utilizes a multi-aperture (MA) camera that is composed of multiple sets of an SPCL CIS and a moderately fast and compact imaging lens to emulate a very fast single lens. Due to the redundancy of the MA camera, the RTS noise is removed by the maximum likelihood estimation where noise characteristics are modeled by the probability density distribution. In the proposed method, the photon shot noise is also relatively reduced because of the averaging effect, where the pixel values of all the multiple apertures are considered. An extremely low-light condition that the maximum number of electrons per aperture was the only 2 e − was simulated. PSNRs of a test image for simple averaging, selective averaging (our previous method), and the proposed method were 11.92 dB, 11.61 dB, and 13.14 dB, respectively. The selective averaging, which can remove RTS noise, was worse than the simple averaging because it ignores the pixels with RTS noise and photon shot noise was less improved. The simulation results showed that the proposed method provided the best noise reduction performance.
  MDPI AG, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3390/s18040977
  DOI ID：10.3390/s18040977, eISSN：1424-8220
• Extended Workspace using a Smartphone with a Depth Camera　　　　　　　　　　　　　　　
  Masashi Miyazaki; Takashi Komuro
  Adj. Proc. 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2018), 開始ページ：115, 終了ページ：116, 2018年, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Reproducing Material Appearance of Real Objects using Mobile Augmented Reality　　　　　　　　　　　　　　　
  Seiji Tsunezaki; Ryota Nomura; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  Adj. Proc. 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2018), 開始ページ：196, 終了ページ：197, 2018年, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• On-mouse projector: Peephole Interaction using a Mouse with a Projector
  Tomohiro Araki; Takashi Komuro
  Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia, 2017年11月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3152832.3152849
  DOI ID：10.1145/3152832.3152849, SCOPUS ID：85040508502
• Comparative study on text entry methods for mobile devices with a hover function
  Toshiaki Aiyoshizawa; Takashi Komuro
  Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia, 開始ページ：355, 終了ページ：361, 2017年11月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3152832.3156614
  DOI ID：10.1145/3152832.3156614
• Recognition of typing motions on AR typing interface
  Masae Okada; Masakazu Higuchi; Takashi Komuro; Kayo Ogawa
  Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia, 開始ページ：429, 終了ページ：434, 2017年11月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3152832.3156618
  DOI ID：10.1145/3152832.3156618
• A gaze-preserving group video conference system using screen-embedded cameras　　　　　　　　　　　　　　　
  Kazuki Kobayashi; Takashi Komuro; Bo Zhang; Keiichiro Kagawa; Shoji Kawahito
  Proceedings of the ACM Symposium on Virtual Reality Software and Technology, VRST, 巻：131944, 開始ページ：82, 2017年11月, ［査読有り］
  In this paper, we propose a system that presents correct gaze directions of each user in a group-to-group video conference. It is known that gaze direction plays a significant role in face-to-face communication. However, in ordinary video conference systems, there is a problem that gaze directions cannot be correctly transmitted to a user in the other side since the camera is placed on the top or bottom of the display. We propose a method to generate images of each person from an appropriate viewpoint position using Kinect and screen-embedded cameras and to present the images to the user. By estimating each user's gaze direction and rendering the image of the person who the user is looking at from the users' viewpoint position, it is possible to present an image suitable for each user even in a group-to-group situation. We show demonstration of a group-to-group video conference using the proposed system and show that the system can present images suitable for each user.
  Association for Computing Machinery, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3139131.3141775
  DOI ID：10.1145/3139131.3141775, SCOPUS ID：85038562897
• Distant Pointing User Interfaces based on 3D Hand Pointing Recognition
  Yutaka Endo; Dai Fujita; Takashi Komuro
  Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces, 2017年10月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3132272.3132292
  DOI ID：10.1145/3132272.3132292
• VolGrab: Realizing 3D view navigation by aerial hand gestures　　　　　　　　　　　　　　　
  Shun Sekiguchi; Takashi Komuro
  Conference on Human Factors in Computing Systems - Proceedings, 巻：127655, 開始ページ：2064, 終了ページ：2069, 2017年05月, ［査読有り］
  In this paper, we propose a user interface that combines the existing touch interface with 3D view navigation by aerial hand gestures and that realizes simultaneous zooming and scrolling. While the touch interface enables only planar operation, aerial hand gestures enable 3D operation with an increased number of axes, and enables smooth navigation that integrates zoom and scroll operations by assigning the direction that is normal to the screen to zooming and the direction that is parallel to the screen to scrolling. We implemented a map application based on the proposed interface to confirm the effectiveness of the proposed interface.
  Association for Computing Machinery, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/3027063.3053108
  DOI ID：10.1145/3027063.3053108, SCOPUS ID：85019650259
• Accurate Distance Estimation of a Preceding Vehicle Using High-speed Stereo Video Images
  Ming Li; Takashi Komuro
  IEEJ Transactions on Electronics, Information and Systems, 巻：137, 号：7, 開始ページ：916, 終了ページ：917, 2017年, ［査読有り］
  Institute of Electrical Engineers of Japan (IEE Japan), 研究論文（学術雑誌）
  DOI：https://doi.org/10.1541/ieejeiss.137.916
  DOI ID：10.1541/ieejeiss.137.916, ISSN：0385-4221, eISSN：1348-8155
• Tracking and removal of suspended matter from underwater video images.　　　　　　　　　　　　　　　
  Takashi Komuro; Kun Chen; Koichiro Enomoto; Masashi Toda; Naoaki Tezuka
  Proceedings of SPIE - The International Society for Optical Engineering, 巻：10338, 開始ページ：103380, 2017年, ［査読有り］
  We propose a method for obtaining clear underwater images by tracking the motion of suspended matter from video images captured in water and by separating the images into foreground and background. We assume that input images are the superposition of a foreground and a background, and constructed a transition model and the observation model. An input image is divided into patches and tracking of the foreground in each patch is performed while applying Kalman filter to separate the input images into the foreground and the background. From the result of the experiment using simulated images, we confirmed that the background images were successfully estimated and a region that was moving slowly was also recognized as a part of the background.
  SPIE-INT SOC OPTICAL ENGINEERING, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.2264066
  Scopus：https://www.scopus.com/inward/record.uri?partnerID=HzOxMe3b&scp=85020274915&origin=inward
  Scopus Citedby：https://www.scopus.com/inward/citedby.uri?partnerID=HzOxMe3b&scp=85020274915&origin=inward
  DOI ID：10.1117/12.2264066, ISSN：0277-786X, eISSN：1996-756X, DBLP ID：conf/qcav/KomuroCETT17, SCOPUS ID：85020274915, Web of Science ID：WOS:000404646500029
• Mobile augmented reality for providing perception of materials.
  Ryota Nomura; Yuko Unuma; Takashi Komuro; Shoji Yamamoto; Norimichi Tsumura
  Proceedings of the 16th International Conference on Mobile and Ubiquitous Multimedia, MUM 2017, Stuttgart, Germany, November 26 - 29, 2017, 開始ページ：501, 終了ページ：506, 2017年, ［査読有り］
  ACM
  DBLP ID：conf/mum/NomuraUKYT17
• 3D interaction with virtual objects in a precisely-aligned view using a see-through mobile AR system　　　　　　　　　　　　　　　
  Yuko Unuma; Takashi Komuro
  ITE Transactions on Media Technology and Applications, 巻：5, 号：2, 開始ページ：49, 終了ページ：56, 2017年, ［査読有り］
  In this paper, we propose a system that enables users to interact with virtual objects that are displayed on a mobile display in a precisely-aligned view using their hands. By projecting a 3D scene obtained by a depth camera according to the user's viewpoint position, the scene including the user's hand displayed on the screen appears seamlessly connected to the actual scene outside the screen, which enables natural interaction with virtual objects through the screen. We conducted an experiment to evaluate the positional accuracy in the presented images. The maximum mean error was 8.60 mm, and the maximum standard deviation was 1.69 mm, which could be improved by further refinement. We also conducted an experiment to evaluate the usability of the system. We asked the participants to perform tasks using the proposed system in the aligned and non-aligned see-through modes. Despite some restrictions in our prototype system, 9 out of 14 participants completed the task faster in the aligned see-through mode. This result shows the future potential of the proposed system in interaction with virtual objects.
  Institute of Image Information and Television Engineers, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/mta.5.49
  DOI ID：10.3169/mta.5.49, ISSN：2186-7364, SCOPUS ID：85016820545
• 3D pose estimation of a front-pointing hand using a random regression forest　　　　　　　　　　　　　　　
  Dai Fujita; Takashi Komuro
  Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 巻：10118, 開始ページ：197, 終了ページ：211, 2017年, ［査読有り］
  In this paper, we propose a method for estimating the 3D poses of a front-pointing hand from camera images to realize freehand pointing interaction from a distance. Our method uses a Random Regression Forest (RRF) to realize robust estimation against environmental and individual variations. In order to improve the estimation accuracy, our method supports the use of two cameras and integrates the distributions of the hand poses for these cameras, which are modeled by the Gaussian mixture model. Moreover, tracking of the hand poses further improves the estimation accuracy and stability. The results of performance evaluation showed that the root mean square error of the angle estimation was 4.10°, which is accurate enough to expect that our proposed method can be applied to user interface systems.
  Springer Verlag, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-3-319-54526-4_15
  DOI ID：10.1007/978-3-319-54526-4_15, ISSN：1611-3349, SCOPUS ID：85016100129
• PZBoard: A Prediction-based Zooming Interface for Supporting Text Entry on a Mobile Device
  Toshiaki Aiyoshizawa; Naoto Koarai; Takashi Komuro
  Proceedings of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct, 開始ページ：627, 終了ページ：632, 2016年09月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2957265.2961828
  DOI ID：10.1145/2957265.2961828
• On-mouse projector: Extended workspace using a mouse with a projector　　　　　　　　　　　　　　　
  Tomohiro Araki; Takashi Komuro
  Proceedings of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct, MobileHCI 2016, 開始ページ：605, 終了ページ：610, 2016年09月, ［査読有り］
  In this paper, we propose On-mouse projector, an interface that combines a mouse and a mobile projector. This system satisfies both portability and large information space and enables stable operation. The mobile projector is placed on the mouse and projects images on a surface in front of the mouse. The projected image presents a part of large information space and users can change the area to see by moving the mouse. The system is assumed to be used on a flat surface such as a desk and users can stably perform the same operation as the ordinary mouse operation. We created a prototype in which a projector is fixed above a mouse using acrylic plates. This prototype works in a standalone configuration by using a stick PC and realizes various operations such as object selection, object moving and image zooming.
  Association for Computing Machinery, Inc, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2957265.2961829
  DOI ID：10.1145/2957265.2961829, SCOPUS ID：84991096397
• Dynamic Information Space Based on High-Speed Sensor Technology.　　　　　　　　　　　　　　　
  Masatoshi Ishikawa; Idaku Ishii; Yutaka Sakaguchi; Makoto Shimojo; Hiroyuki Shinoda; Hirotsugu; Yamamoto; Takashi Komuro; Array,Array; Yoshihiro Watanabe
  Human-Harmonized Information Technology, Volume 1 - Vertical Impact, 開始ページ：97, 終了ページ：136, 2016年, ［査読有り］
  Springer
  DOI：https://doi.org/10.1007/978-4-431-55867-5_5
  DOI ID：10.1007/978-4-431-55867-5_5, DBLP ID：books/sp/16/IshikawaISSSYKONW16
• AR Tabletop Interface Using an Optical See-Through HMD　　　　　　　　　　　　　　　
  Nozomi Sugiura; Takashi Komuro
  SUI'16: PROCEEDINGS OF THE 2016 SYMPOSIUM ON SPATIAL USER INTERACTION, 開始ページ：173, 終了ページ：173, 2016年, ［査読有り］
  We propose a user interface that superimposes a virtual touch panel on a flat surface using an optical see-through head-mounted display and an RGB-D camera. The user can use the interface in a hands-free state, and can perform the operation with both hands. The interface performs markerless superimposition of virtual objects on a real scene. In addition, the interface can recognize three-dimensional information of the user's fingers, allowing the user to operate with the virtual touch panel. We developed some applications in which the user can perform various operations on the virtual touch panel.
  ASSOC COMPUTING MACHINERY, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2983310.2989180
  DOI ID：10.1145/2983310.2989180, Web of Science ID：WOS:000387817100029
• Space-sharing AR Interaction on Multiple Mobile Devices with a Depth Camera　　　　　　　　　　　　　　　
  Yuki Kaneto; Takashi Komuro
  2016 IEEE VIRTUAL REALITY CONFERENCE (VR), 開始ページ：197, 終了ページ：198, 2016年, ［査読有り］
  In this paper, we propose a markerless augmented reality (AR) system that works on multiple mobile devices. The relative positions and orientations of the devices and their individual motions are estimated from 3D information in real space obtained by depth cameras attached to the devices. The system allows multiple users to share the AR space and to interact with the same virtual object. To estimate the relative positions and orientations of the devices, the system generates 2D images by looking down from above at the 3D scene obtained by the depth cameras, performs 2D registration using template matching, and obtains a transformation matrix that transforms the coordinate system of one camera to that of another camera. The motion of a camera is estimated using the ICP algorithm to realize markerless AR. Using the proposed system, we created an application that enables multiple users to interact with the same virtual object.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/VR.2016.7504721
  DOI ID：10.1109/VR.2016.7504721, ISSN：1087-8270, Web of Science ID：WOS:000386307300039
• AR Tabletop Interface using a Head-Mounted Projector　　　　　　　　　　　　　　　
  Yusuke Kemmoku; Takashi Komuro
  ADJUNCT PROCEEDINGS OF THE 2016 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY (ISMAR-ADJUNCT), 開始ページ：288, 終了ページ：291, 2016年, ［査読有り］
  In this paper, we propose a tabletop interface in which a user wears a projector with a depth camera on his or her head and can perform touch operations on an image projected on a flat surface. By using the head-mounted projector, images are always projected in front of the user in the direction of the user's gaze. By changing the image to be projected based on the user's head movement, this interface realizes a large effective screen size. The system superimposes an image on the flat surface by performing plane detection, placing the image on the detected plane, performing perspective projection to obtain a 2D image, and projecting the 2D image using the projector. Registration between the real world and the image is performed by estimating the user's head pose using the detected plane information. Furthermore, touch input is recognized by detecting the user's finger on the plane using the depth camera. We implemented some application examples into the system to demonstrate the usefulness of the proposed interface.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ISMAR-Adjunct.2016.88
  DOI ID：10.1109/ISMAR-Adjunct.2016.88, Web of Science ID：WOS:000401904700073
• 3D Tabletop User Interface with High Synchronization Accuracy using a High-speed Stereo Camera　　　　　　　　　　　　　　　
  Takumi Kusano; Takashi Komuro
  Proc. the 2015 ACM International Conference on Interactive Tabletops and Surfaces (ITS 2015), 開始ページ：39, 終了ページ：42, 2015年12月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• A tabletop projector-camera system for remote and nearby pointing operation　　　　　　　　　　　　　　　
  Shun Sekiguchi; Takashi Komuro
  Conference on Human Factors in Computing Systems - Proceedings, 巻：18, 開始ページ：1621, 終了ページ：1626, 2015年04月, ［査読有り］
  In this paper, we propose a pointing interface that can be easily installed and that enables remote and near by operations with high recognition accuracy. We use a system put on a table consisting of multiple projectors and depth cameras. The system projects a shared screen and a personal screen per each user on a projection screen and on a table respectively and enables interaction according to the user's hand motion. A personal screen can be operated by touch operations and a shared screen can be operated by pointing with fingers. Touch and pointing direction are recognized from the depth image and the confidence map obtained by a depth camera. We developed an early prototype system for verification and implemented a presentation application that supports collaborative work to the system. This application allows a user to move a window between the shared screen and the personal screen and to perform various operations on the slides. Copyright is held by the author/owner(s).
  Association for Computing Machinery, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2702613.2732731
  DOI ID：10.1145/2702613.2732731, SCOPUS ID：84954243721
• Multi-finger AR typing interface for mobile devices using high-speed hand motion recognition　　　　　　　　　　　　　　　
  Masakazu Higuchi; Takashi Komuro
  Conference on Human Factors in Computing Systems - Proceedings, 巻：18, 開始ページ：1235, 終了ページ：1240, 2015年04月, ［査読有り］
  In this paper, we propose a new user interface designed to improve the usability of mobile devices. The interface overlays a virtual keyboard on real images captured by a camera attached to the back of a mobile device and recognizes user's hand motions by using optical flow information. The user can operate the virtual keyboard with his/her multiple fingers in the space behind the mobile device. The interface recognizes only hand motions and does not recognize poses of a hand or fingers, which enables high-speed stable recognition without complicated processing. The experimental system recognized hand motions with a processing time of about 8.33 [ms/frame] (about 120 [fps]). We implemented a keyboard application using our interface on the experimental system and evaluated the performance. The result of a simple user study showed that typing speed became faster as a trial is repeated. Copyright is held by the author/owner(s).
  Association for Computing Machinery, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2702613.2732741
  DOI ID：10.1145/2702613.2732741, SCOPUS ID：84954230577
• Three-dimensional VR Interaction Using the Movement of a Mobile Display　　　　　　　　　　　　　　　
  Lili Wang; Takashi Komuro
  2015 IEEE VIRTUAL REALITY CONFERENCE (VR), 開始ページ：363, 終了ページ：364, 2015年, ［査読有り］
  In this study, we propose a VR system for allowing various types of interaction with virtual objects using an autostereoscopic mobile display and an accelerometer. The system obtains the orientation and motion information from the accelerometer attached to the mobile display and reflects them to the motion of virtual objects. It can present 3D images with motion parallax by estimating the position of the user's viewpoint and by displaying properly projected images. Furthermore, our method enables to connect the real space and the virtual space seamlessly through the mobile display by determining the coordinate system so that one of the horizontal surfaces in the virtual space coincides with the display surface. To show the effectiveness of this concept, we implemented an application to simulate food cooking by regarding the mobile display as a frying pan.
  IEEE COMPUTER SOC, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/VR.2015.7223446
  DOI ID：10.1109/VR.2015.7223446, ISSN：1087-8270, Web of Science ID：WOS:000371409700128
• Overlaying Navigation Signs on a Road Surface using a Head-Up Display　　　　　　　　　　　　　　　
  Kaho Ueno; Takashi Komuro
  2015 IEEE International Symposium on Mixed and Augmented Reality, 開始ページ：168, 終了ページ：169, 2015年, ［査読有り］
  In this paper, we propose a method for overlaying navigation signs on a road surface and displaying them on a head-up display (HUD). Accurate overlaying is realized by measuring 3D data of the surface in real time using a depth camera. In addition, the effect of head movement is reduced by performing face tracking with a camera that is placed in front of the HUD, and by performing distortion correction of projection images according to the driver's viewpoint position. Using an experimental system, we conducted an experiment to display a navigation sign and confirmed that the sign is overlaid on a surface. We also confirmed that the sign looks to be fixed on the surface in real space.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ISMAR.2015.48
  DOI ID：10.1109/ISMAR.2015.48, Web of Science ID：WOS:000380611200038
• Three-Dimensional Hand Pointing Recognition Using Two Cameras by Interpolation and Integration of Classification Scores　　　　　　　　　　　　　　　
  Dai Fujita; Takashi Komuro
  COMPUTER VISION - ECCV 2014 WORKSHOPS, PT I, 巻：8925, 開始ページ：713, 終了ページ：726, 2015年, ［査読有り］
  In this paper, we propose a novel method of hand recognition for remote mid-air pointing operation. In the proposed method, classification scores are calculated in a sliding window for hand postures with different pointing directions. Detection of a pointing hand and estimation of the pointing direction is performed by interpolating the classification scores. Moreover, we introduce two cameras and improve the recognition accuracy by integrating the classification scores obtained from two camera images. In the experiment, the recognition rate was 73% at around 1 FPPI when +/- 10 degrees. error was allowed. Though this result was still insufficient for practical applications, we confirmed that integration of two camera information greatly improved the recognition performance.
  SPRINGER-VERLAG BERLIN, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1007/978-3-319-16178-5_50
  DOI ID：10.1007/978-3-319-16178-5_50, ISSN：0302-9743, Web of Science ID：WOS:000362493800050
• Dynamic 3D Interaction using an Optical See-through HMD　　　　　　　　　　　　　　　
  Nozomi Sugiura; Takashi Komuro
  2015 IEEE VIRTUAL REALITY CONFERENCE (VR), 開始ページ：359, 終了ページ：360, 2015年, ［査読有り］
  We propose a system that enables dynamic 3D interaction with real and virtual objects using an optical see-through head-mounted display and an RGB-D camera. The virtual objects move according to physical laws. The system uses a physics engine for calculation of the motion of virtual objects and collision detection. In addition, the system performs collision detection between virtual objects and real objects in the three-dimensional scene obtained from the camera which is dynamically updated. A user wears the device and interacts with virtual objects in a seated position. The system gives users a great sense of reality through an interaction with virtual objects.
  IEEE COMPUTER SOC, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/VR.2015.7223444
  DOI ID：10.1109/VR.2015.7223444, ISSN：1087-8270, Web of Science ID：WOS:000371409700126
• Natural 3D Interaction using a See-through Mobile AR System　　　　　　　　　　　　　　　
  Yuko Unuma; Takashi Komuro
  2015 IEEE International Symposium on Mixed and Augmented Reality, 開始ページ：84, 終了ページ：87, 2015年, ［査読有り］
  In this paper, we propose an interaction system in which the appearance of the image displayed on a mobile display is consistent with that of the real space and that enables a user to interact with virtual objects overlaid on the image using the user's hand. The three-dimensional scene obtained by a depth camera is projected according to the user's viewpoint position obtained by face tracking, and the see-through image whose appearance is consistent with that outside the mobile display is generated. Interaction with virtual objects is realized by using the depth information obtained by the depth camera. To move virtual objects as if they were in real space, virtual objects are rendered in the world coordinate system that is fixed to a real scene even if the mobile display moves, and the direction of gravitational force added to virtual objects is made consistent with that of the world coordinate system. The former is realized by using the ICP ( Iterative Closest Point) algorithm and the latter is realized by using the information obtained by an accelerometer. Thus, natural interaction with virtual objects using the user's hand is realized.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ISMAR.2015.27
  DOI ID：10.1109/ISMAR.2015.27, Web of Science ID：WOS:000380611200017
• 3D Tabletop User Interface Using Virtual Elastic Objects
  Hiroaki Tateyama; Takumi Kusano; Takashi Komuro
  Proceedings of the Ninth ACM International Conference on Interactive Tabletops and Surfaces, 開始ページ：283, 終了ページ：288, 2014年11月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2669485.2669533
  DOI ID：10.1145/2669485.2669533
• Evaluation of Visuo-haptic Feedback in a 3D Touch Panel Interface
  Xu Zhao; Takehiro Niikura; Takashi Komuro
  Proceedings of the Ninth ACM International Conference on Interactive Tabletops and Surfaces, 開始ページ：299, 終了ページ：304, 2014年11月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2669485.2669536
  DOI ID：10.1145/2669485.2669536
• In-Air Finger Motion Interface for Mobile Devices with Vibration Feedback　　　　　　　　　　　　　　　
  Takehiro Niikura; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  IEEJ TRANSACTIONS ON ELECTRICAL AND ELECTRONIC ENGINEERING, 巻：9, 号：4, 開始ページ：375, 終了ページ：383, 2014年07月, ［査読有り］
  In this paper, we propose the 'in-air finger motion interface', which solves a problem users face in interacting with mobile devices. The interface uses only a single small camera to track the three-dimensional (3D) position of the user's finger. The finger region is robustly extracted by using flashing infrared light-emitting diodes (LEDs) and by obtaining the difference image between an illuminated image and a nonilluminated image. The movement of the finger is modeled by transformation of a finger image, and its parameters are accurately estimated by iterative template matching. As a result of the evaluation, an operating area 131% larger than the size of the display and accuracy of input action of 0.6 mm in the x-direction are realized. Finally, to investigate the effect of vibration feedback, we conducted a study and found that vibration feedback significantly reduces the average time to finish the task as well as the number of input errors. (C) 2014 Institute of Electrical Engineers of Japan. Published by John Wiley & Sons, Inc.
  WILEY-BLACKWELL, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1002/tee.21982
  DOI ID：10.1002/tee.21982, ISSN：1931-4973, eISSN：1931-4981, Web of Science ID：WOS:000337798600005
• Real-time typing action detection in a 3D pointing gesture interface
  Risa Ishijima; Kayo Ogawa; Masakazu Higuchi; Takashi Komuro
  Proceedings of the 5th Augmented Human International Conference, 開始ページ：1, 終了ページ：2, 2014年03月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2582051.2582071
  DOI ID：10.1145/2582051.2582071
• Multi-finger AR typing interface for mobile devices
  Satoshi Sagara; Masakazu Higuchi; Takashi Komuro
  Proceedings of the companion publication of the 19th international conference on Intelligent User Interfaces, 開始ページ：13, 終了ページ：16, 2014年02月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2559184.2559197
  DOI ID：10.1145/2559184.2559197
• See-through mobile ar system for natural 3d interaction　　　　　　　　　　　　　　　
  Yuko Unuma; Takehiro Niikura; Takashi Komuro
  International Conference on Intelligent User Interfaces, Proceedings IUI, 開始ページ：17, 終了ページ：20, 2014年, ［査読有り］
  In this paper, we propose an interaction system which displays see-through images on the mobile display and that allows a user to interact with virtual objects overlaid on the see-through image using the user's hand. In this system, the camera which tracks the user's viewpoint is attached to the front of the mobile display and the depth camera which captures color and depth images of the user's hand and the background scene is attached to the back of the mobile display. Natural interaction with virtual objects using the user's hand is realized by displaying images so that the appearance of a space through the mobile display is consistent with that of the real space from the user's viewpoint. We implemented two applications to the system and showed the usefulness of this system in various AR applications.
  Association for Computing Machinery, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2559184.2559198
  DOI ID：10.1145/2559184.2559198, SCOPUS ID：84898968628
• Object Tracking and Image Restoration from Multi-Frame Images Captured in a Dark Environment　　　　　　　　　　　　　　　
  Takashi Komuro; Hayato Kuroda
  ITE Transactions on Media Technology and Applications, 巻：2, 号：2, 開始ページ：176, 終了ページ：184, 2014年, ［査読有り］
  We show a method of realizing object tracking and image restoration in the dark in which target motion and a reference image are simultaneously estimated using a Bayesian framework. To avoid being trapped in a local minimum in the gradient calculation, a broader search is performed by calculating differences after applying a strong low-pass filter to input images. Deblurring is performed using the motion parameters estimated from the blurred images. As a result, we realized object tracking and image restoration from simulated video images with an SNR of up to -6 dB, and real video images captured in a dark environment of less than 0.05 lx illuminance at the subject surface. In addition, we examined the optimal frame rate for image restoration and we found that a higher frame rate was better under relatively little noise while a lower frame rate was better under much noise.
  Institute of Image Information and Television Engineers, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/mta.2.176
  DOI ID：10.3169/mta.2.176, ISSN：2186-7364, SCOPUS ID：84952064936
• AR typing interface for mobile devices
  Masakazu Higuchi; Takashi Komuro
  Proceedings of the 12th International Conference on Mobile and Ubiquitous Multimedia, 開始ページ：1, 終了ページ：8, 2013年12月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2541831.2541847
  DOI ID：10.1145/2541831.2541847
• A Zooming Interface for Accurate Text Input on Mobile Devices　　　　　　　　　　　　　　　
  Naoto Koarai; Takashi Komuro
  Ext. Abst. ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2013), 開始ページ：1299, 終了ページ：1304, 2013年05月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Geometrically consistent mobile AR for 3D interaction
  Hikari Uchida; Takashi Komuro
  Proceedings of the 4th Augmented Human International Conference, 開始ページ：229, 終了ページ：230, 2013年03月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2459236.2459275
  DOI ID：10.1145/2459236.2459275
• A virtually tangible 3D interaction system using an autostereoscopic display　　　　　　　　　　　　　　　
  Takumi Kusano; Takehiro Niikura; Takashi Komuro
  SUI 2013 - Proceedings of the ACM Symposium on Spatial User Interaction, 開始ページ：87, 2013年, ［査読有り］
  We propose a virtually tangible 3D interaction system that enables direct interaction with three dimensional virtual objects which are presented on an autostereoscopic display. Copyright © ACM 2013.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2491367.2491394
  DOI ID：10.1145/2491367.2491394, SCOPUS ID：84882945851
• Robust finger tracking for gesture control of mobile devices using contour and interior information of a finger　　　　　　　　　　　　　　　
  Masakazu Higuchi; Takashi Komuro
  ITE Transactions on Media Technology and Applications, 巻：1, 号：3, 開始ページ：226, 終了ページ：236, 2013年, ［査読有り］
  In this paper, we propose a method for robust tracking of a moving finger in an image sequence. The method is suitable for application to our input interface system, which recognizes a moving finger in the air. The proposed method extracts edges from input images, and then estimates the position and rotation of a finger in the input images by matching points in a template to edges. The most remarkable feature of our method is that it also takes into account the presence or absence of edges in regions in the input images corresponding to the inside of the finger in the template for estimating. This makes it possible to estimate the position and rotation of a finger exactly in images with complex backgrounds. Our method successfully tracked a finger in several situations with an average processing time of 6.32 [ms/frame], and the finger was tracked with good accuracy.
  Institute of Image Information and Television Engineers, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.3169/mta.1.226
  DOI ID：10.3169/mta.1.226, ISSN：2186-7364, SCOPUS ID：84899865110
• Input action classification in a 3D gesture interface for mobile devices
  Kayo Ogawa; Naoko Sakata; Tomoko Muraiso; Takashi Komuro
  The 1st IEEE Global Conference on Consumer Electronics 2012, 巻：21, 開始ページ：418, 終了ページ：421, 2012年10月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/gcce.2012.6379644
  DOI ID：10.1109/gcce.2012.6379644
• Poster: Zooming interface using a 3D finger position for mobile devices
  R. Fujii; T. Komuro
  2012 IEEE Symposium on 3D User Interfaces (3DUI), 開始ページ：143, 終了ページ：144, 2012年03月, ［査読有り］
  IEEE, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/3dui.2012.6184202
  DOI ID：10.1109/3dui.2012.6184202
• High-speed estimation of multi-finger position and pose for input interface of the mobile devices　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Atsushi Matsutani; Takehiro Niikura; Takashi Komuro; Masatoshi Ishikawa
  1st IEEE Global Conference on Consumer Electronics 2012, GCCE 2012, 開始ページ：228, 終了ページ：232, 2012年, ［査読有り］
  Mobile devices are too small to operate freely using their input surfaces. To solve this problem, non-contact and natural gesture interfaces have been the focus of recent research. In this paper we propose a method of estimating multi-finger position and pose for operating such devices at high speed using a single camera. Our method achieves the finger tracking based on the appearance and shape deformation model by estimating the translational movements and the degree of bent finger. The experimental results show that our method can obtain the position of the hand and the pose of the each finger within 9.7 ms. © 2012 IEEE.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/GCCE.2012.6379588
  DOI ID：10.1109/GCCE.2012.6379588, SCOPUS ID：84872335440
• Finger detection based on data fusion of fish-eye stereo camera for 3D-gesture input interface　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Shintaro Kubo; Takashi Komuro; Masatoshi Ishikawa
  1st IEEE Global Conference on Consumer Electronics 2012, GCCE 2012, 開始ページ：279, 終了ページ：283, 2012年, ［査読有り］
  There is a growing importance of the in-air hand operation for the input devices. In order to introduce such in-air operation, we require an image sensing technology that enables 3D position detection of the user's hand in wide range. In this paper, as a practical application system, we focus on the Zooming Touch Panel [1] that connects the touch-panel and in-air operations seamlessly. In order to provide wide operation space for this type of the system, we propose a new hand detection method based on data fusion of fish-eye stereo camera. This technique enables both high-accuracy and wide-range 3D hand detection. Also this paper shows two example demonstrations. © 2012 IEEE.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/GCCE.2012.6379602
  DOI ID：10.1109/GCCE.2012.6379602, SCOPUS ID：84872311818
• 単一のウェアラブルカメラを用いた人間の歩行動作推定(<特集>実世界イメージング)　　　　　　　　　　　　　　　
  渡辺 義浩; 畑中 哲生; 小室 孝; 石川 正俊
  日本バーチャルリアリティ学会論文誌, 巻：17, 号：3, 開始ページ：219, 終了ページ：229, 2012年
  We focus on the growing need for a technology that can achieve motion capture in outdoor environments. The conventional approaches have relied mainly on fixed installed cameras. With this approach, however, it is difficult to capture motion in everyday surroundings. This paper describes a new method for motion estimation using a single wearable camera. We focused on walking motion. The key point is how the system can estimate the original walking state using limited information from a wearable sensor. This paper describes three aspects: the configuration of the sensing system, gait representation, and the gait estimation method.
  特定非営利活動法人 日本バーチャルリアリティ学会, 日本語
  DOI：https://doi.org/10.18974/tvrsj.17.3_219
  DOI ID：10.18974/tvrsj.17.3_219, ISSN：1344-011X, CiNii Articles ID：110009517477, CiNii Books ID：AA11448578
• 3D touch panel interface using an autostereoscopic display　　　　　　　　　　　　　　　
  Takehiro Niikura; Takashi Komuro
  ITS 2012 - Proceedings of the ACM Conference on Interactive Tabletops and Surfaces, 開始ページ：295, 終了ページ：298, 2012年, ［査読有り］
  We propose a 3D touch panel interface using an autostereoscopic display and a high-speed stereo camera. With this system, the virtual objects are stereoscopically-presented, and the objects respond to the hand movement captured by a stereo camera, which makes users feel like they are touching the objects directly. Since we used high-speed camera for detecting the fingertip, it can realize more accurate synchronization between the real object and virtual object without a feeling of strangeness. © 2012 Authors.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/2396636.2396683
  DOI ID：10.1145/2396636.2396683, SCOPUS ID：84871264160
• In-air Typing Interface: Realizing 3D operation for mobile devices　　　　　　　　　　　　　　　
  Takehiro Niikura; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  1st IEEE Global Conference on Consumer Electronics 2012, GCCE 2012, 開始ページ：223, 終了ページ：227, 2012年, ［査読有り］
  In this paper, we explore the usability of the "In-air Typing Interface" that we developed to overcome the problems common with traditional mobile interfaces. We performed two studies focused on frame rate, latency, and tactile feedback. We found that reducing the latency even by several milliseconds can improve the operating efficiency, and the frame rate partly affects the efficiency. Tactile feedback significantly reduced the number of mistypes, and it is likely that vibration feedback can improve the operating efficiency further if there is a penalty for erroneous operations. © 2012 IEEE.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/GCCE.2012.6379587
  DOI ID：10.1109/GCCE.2012.6379587, SCOPUS ID：84872284516
• Human gait estimation using a wearable camera　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Tetsuo Hatanaka; Takashi Komuro; Masatoshi Ishikawa
  2011 IEEE Workshop on Applications of Computer Vision, WACV 2011, 開始ページ：276, 終了ページ：281, 2011年, ［査読有り］
  We focus on the growing need for a technology that can achieve motion capture in outdoor environments. The conventional approaches have relied mainly on fixed installed cameras. With this approach, however, it is difficult to capture motion in everyday surroundings. This paper describes a new method for motion estimation using a single wearable camera. We focused on walking motion. The key point is how the system can estimate the original walking state using limited information from a wearable sensor. This paper describes three aspects: the configuration of the sensing system, gait representation, and the gait estimation method. © 2010 IEEE.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/WACV.2011.5711514
  DOI ID：10.1109/WACV.2011.5711514, SCOPUS ID：79952523102
• Stereo 3D Reconstruction using Prior Knowledge of Indoor Scenes　　　　　　　　　　　　　　　
  Kentaro Kofuji; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), 開始ページ：5198, 終了ページ：5203, 2011年, ［査読有り］
  We propose a new method of indoor-scene stereo vision that uses probabilistic prior knowledge of indoor scenes in order to exploit the global structure of artificial objects. In our method, we assume three properties of the global structure - planarity, connectivity, and parallelism/orthogonality - and we formulate them in the framework of maximum a posteriori (MAP) estimation. To enable robust estimation, we employ a probability distribution that has both high peaks and wide flat tails. In experiments, we demonstrated that our approach can estimate shapes whose surfaces are not constrained by three orthogonal planes. Furthermore, comparing our results with those of a conventional method that assumes a locally smooth disparity map suggested that the proposed method can estimate more globally consistent shapes.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ICRA.2011.5979560
  DOI ID：10.1109/ICRA.2011.5979560, ISSN：1050-4729, Web of Science ID：WOS:000324383404069
• Surface image synthesis of moving spinning cans using a 1,000-fps area scan camera　　　　　　　　　　　　　　　
  Tomohira Tabata; Takashi Komuro; Masatoshi Ishikawa
  MACHINE VISION AND APPLICATIONS, 巻：21, 号：5, 開始ページ：643, 終了ページ：652, 2010年08月, ［査読有り］
  We demonstrate surface-image synthesis of moving, spinning cylindrical objects using a commercially available high-speed area scan camera. The frame rate used in the demonstration experiment was 1,000 fps, which is sufficient to achieve surface-image synthesis of cylinders spun at up to 36 rps. We successfully demonstrated a technique based on an algorithm similar to image mosaicing at 1,000 fps, for the first time to the best of our knowledge. In this paper, we discuss techniques to overcome the potential problems faced when applying surface-image synthesis to cylindrical objects, such as image distortion, quantization errors due to superimposing images, and intensity variations due to the surface curvature. An FPGA-based parallel image processing board, PB-1, that we developed was used to implement these demonstrations. We introduce this application of PB-1 as a potential practical solution to the long-standing problem of industrial visual inspection using real-time high-speed vision.
  SPRINGER, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1007/s00138-010-0247-2
  DOI ID：10.1007/s00138-010-0247-2, ISSN：0932-8092, eISSN：1432-1769, Web of Science ID：WOS:000280249300005
• A Reconfigurable Embedded System for 1000 f/s Real-Time Vision　　　　　　　　　　　　　　　
  Takashi Komuro; Tomohira Tabata; Masatoshi Ishikawa
  IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, 巻：20, 号：4, 開始ページ：496, 終了ページ：504, 2010年04月, ［査読有り］
  In this paper, we proposed an architecture of embedded systems for high-frame-rate real-time vision on the order of 1000 f/s, which achieved both hardware reconfigurability and easy algorithm implementation while fulfilling performance demands. The proposed system consisted of an embedded microprocessor and. field programmable gate arrays (FPGAs). A coprocessor consisting of memory units, direct memory access controller units, and image processing units were implemented in each FPGA. While the number of units and functions are reconfigurable by reprogramming the FPGAs, users can implement algorithms without hardware knowledge. A descriptor method in which the central processing unit gave instructions to each coprocessor through a register array enabled task-level parallel processing as well as pixel-level parallel processing in the processing units. The specifications of an evaluation system developed based on the proposed architecture, the results of performance evaluation, and application examples using the system were shown.
  IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1109/TCSVT.2009.2035832
  DOI ID：10.1109/TCSVT.2009.2035832, ISSN：1051-8215, eISSN：1558-2205, Web of Science ID：WOS:000276681000003
• Estimation of non-rigid surface deformation using developable surface model　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Nakashima; Takashi Komuro; Masatoshi Ishikawa
  Proceedings - International Conference on Pattern Recognition, 開始ページ：197, 終了ページ：200, 2010年, ［査読有り］
  There is a strong demand for a method of acquiring a non-rigid shape under deformation with high accuracy and high resolution. However, this is difficult to achieve because of performance limitations in measurement hardware. In this paper, we propose a model-based method for estimating non-rigid deformation of a developable surface. The model is based on geometric characteristics of the surface, which are important in various applications. This method improves the accuracy of surface estimation and planar development from a low-resolution point cloud. Experiments using curved documents showed the effectiveness of the proposed method. © 2010 IEEE.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ICPR.2010.57
  DOI ID：10.1109/ICPR.2010.57, ISSN：1051-4651, SCOPUS ID：78149492478
• 変形するタンジブルスクリーンへの適応的映像投影を行うインタラクティブディスプレイシステム(<特集>テーブルトップ・インタラクション)　　　　　　　　　　　　　　　
  渡辺 義浩; カシネリ アルバロ; 小室 孝; 石川 正俊
  日本バーチャルリアリティ学会論文誌, 巻：15, 号：2, 開始ページ：173, 終了ページ：182, 2010年, ［査読有り］
  We propose a variant of the multi-touch display technology that introduces an original way of manipulating three-dimensional data. The underlying metaphor is that of a deformable screen that acts as a boundary surface between the real and the virtual worlds. By doing so, the interface can create the illusion of continuity between the user's real space and the virtual three-dimensional space. The developed system presented here enables this by employing three key technologies: a tangible and deformable projection screen, a real-time three-dimensional sensing mechanism, and an algorithm for dynamic compensation for anamorphic projection. This paper introduces the concept of the deformable tangible workspace, and describes the required technologies for implementing it. Also, several applications developed on a prototype system are detailed and demonstrated.
  特定非営利活動法人 日本バーチャルリアリティ学会, 日本語
  DOI：https://doi.org/10.18974/tvrsj.15.2_173
  DOI ID：10.18974/tvrsj.15.2_173, ISSN：1344-011X, CiNii Articles ID：110008722701, CiNii Books ID：AA11448578
• In-air typing interface for mobile devices with vibration feedback　　　　　　　　　　　　　　　
  Takehiro Niikura; Yuki Hirobe; Alvaro Cassinelli; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  ACM SIGGRAPH 2010 Emerging Technologies, SIGGRAPH '10, 2010年, ［査読有り］
  Recently the miniaturization of mobile devices has progressed and such devices are difficult to have input interface that has wide operation area on their surface. Conventional input interface on a cell phone, such as a touch panel or keypad, has limited operation area. There has been many approaches to handle this problem, but they require users to wear some physical devices[Harrison and Hudson 2009] or to use in some specific environments[Roeber et al. 2003].
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/1836821.1836836
  DOI ID：10.1145/1836821.1836836, SCOPUS ID：77956298100
• WIDE RANGE IMAGE SENSING USING A THROWN-UP CAMERA　　　　　　　　　　　　　　　
  Toshitaka Kuwa; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2010 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME 2010), 開始ページ：878, 終了ページ：883, 2010年, ［査読有り］
  In this paper, we propose a wide-range image sensing method using a camera thrown up into the air. By using camera thrown up in this way, we can get images that are otherwise difficult to obtain, such as those taken from overhead. As an example of wide-range image sensing, we integrated video images captured by a thrown-up camera using an image mosaicing technique. When rotation about the optical axis of the camera can be ignored, we can integrate images by mosaicing using a translational approximation, which preferentially pastes pixels around the image center. To obtain the information about the camera direction, a rotational approximation using the angles of incident light rays is required. We also propose use of a high-framerate camera (HFR camera) in order to acquire a large amount of information. A seamless large image was obtained by synthesizing the images captured by a thrown-up HFR camera. We found that high frame rates of around 1000 fps were necessary.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1945-7871, Web of Science ID：WOS:000287977700155
• A QVGA-SIZE PIXEL-PARALLEL IMAGE PROCESSOR FOR 1,000-FPS VISION　　　　　　　　　　　　　　　
  Takashi Komuro; Atsushi Iwashita; Masatoshi Ishikawa
  IEEE MICRO, 巻：29, 号：6, 開始ページ：58, 終了ページ：67, 2009年11月, ［査読有り］
  MASSIVELY PARALLEL IMAGE PROCESSING WITH AS MANY PROCESSING ELEMENTS AS PIXELS CAN ACHIEVE REAL-TIME VISION WITH RATES AS HIGH AS 1,000 FRAMES PER SECOND. THE AUTHORS IMPLEMENTED A QVGA-SIZE PIXEL-PARALLEL IMAGE PROCESSOR FOR OBJECT IDENTIFICATION AND POSE ESTIMATION ON A SINGLE CHIP. BIT-SERIAL OPERATION AND DYNAMIC LOGIC REDUCE THE CIRCUIT AREA, AND PIPELINING ENABLES HIGH PROCESSING SPEED.
  IEEE COMPUTER SOC, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1109/MM.2009.89
  DOI ID：10.1109/MM.2009.89, ISSN：0272-1732, eISSN：1937-4143, Web of Science ID：WOS:000273096300008
• Vision-based Input Interface for Mobile Devices with High-speed Fingertip Tracking　　　　　　　　　　　　　　　
  Yuki Hirobe; Takehiro Niikura; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  Adjunct Proceedings of 22nd ACM Symposium on User Interface Software and Technology (UIST 2009), 開始ページ：7, 終了ページ：8, 2009年10月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Ptz control with head tracking for video chat
  Kota Yamaguchi; Takashi Komuro; Masatoshi Ishikawa
  CHI '09 Extended Abstracts on Human Factors in Computing Systems, 開始ページ：3919, 終了ページ：3924, 2009年04月, ［査読有り］
  ACM, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/1520340.1520594
  DOI ID：10.1145/1520340.1520594
• High-resolution Shape Reconstruction from Multiple Range Images based on Simultaneous Estimation of Surface and Motion　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2009 IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 開始ページ：1787, 終了ページ：1794, 2009年, ［査読有り］
  Recognition of dynamic scenes based on shape information could be useful for various applications. In this study, we aimed at improving the resolution of three-dimensional (3D) data obtained from moving targets. We present a simple clean and robust method that jointly estimates motion parameters and a high-resolution 3D shape. Experimental results are provided to illustrate the performance of the proposed algorithm.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1550-5499, Web of Science ID：WOS:000294955300230
• Fast finger tracking system for in-air typing interface　　　　　　　　　　　　　　　
  Kazuhiro Terajima; Takashi Komuro; Masatoshi Ishikawa
  Conference on Human Factors in Computing Systems - Proceedings, 開始ページ：3739, 終了ページ：3744, 2009年, ［査読有り］
  We developed a system which performs 3D motion tracking of human's hand and fingers from images of a single high-frame-rate camera and that recognizes his/her typing motion in the air. Our template-matching-based method using hand textures reduces background effect and enables markerless tracking. In addition, use of a high-frame-rate camera enables recognition of rapid typing motion which is difficult to track using standard cameras. In order to realize realtime recognition, we developed hardware which parallelizes and accelerates image processing. As a result, we achieved real-time recognition of typing motion with the throughput of 138 fps (frames per second) and the latency of 29 ms.
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1145/1520340.1520564
  DOI ID：10.1145/1520340.1520564, SCOPUS ID：70349183566
• The Deformable Workspace: a Membrane between Real and Virtual Space　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Alvaro Cassinelli; Takashi Komuro; Masatoshi Ishikawa
  THIRD ANNUAL IEEE INTERNATIONAL WORKSHOP ON HORIZONTAL INTERACTIVE HUMAN-COMPUTER SYSTEMS, PROCEEDINGS, 開始ページ：155, 終了ページ：162, 2008年, ［査読有り］
  We propose a variant of the multi-touch display technology that introduces an original way of manipulating three-dimensional data. The underlying metaphor is that of a deformable screen that acts as a boundary surface between the real and the virtual worlds. By doing so, the interface can create the illusion of continuity between the user's real space and the virtual three-dimensional space. The prototype system presented here enables this by employing three key technologies: a tangible and deformable projection screen, a real-time three-dimensional sensing mechanism, and an algorithm for dynamic compensation for anamorphic projection. This paper introduces the concept of the deformable tangible workspace, and describes the required technologies for implementing it. Also, several applications developed on a prototype system are detailed and demonstrated.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000264096100022
• Interleaved Pixel Lookup for Embedded Computer Vision　　　　　　　　　　　　　　　
  Kota Yamaguchi; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2008 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, VOLS 1-3, 開始ページ：1470, 終了ページ：1477, 2008年, ［査読有り］
  This paper describes an in-depth investigation and implementation of interleaved memory for pixel lookup operations in computer vision. Pixel lookup, mapping between coordinates and pixels, is a common operation in computer vision, but is also a potential bottleneck due to formidable bandwidth requirements for real-time operation. We focus on the acceleration of pixel lookup operations through parallelizing memory banks by interleaving. The key to applying interleaving for pixel lookup is 2D block data partitioning and support for unaligned access. With this optimization of interleaving, pixel lookup operations can output a block of pixels at once without major overhead for unaligned access. An example implementation of our optimized interleaved memory for affine motion tracking shows that the pixel lookup operations can achieve 12.8 Gbps for random lookup of a 4x4 size block, of 8-bit pixels under 100 MHz operation. Interleaving can be a cost-effective solution for fast pixel lookup in embedded computer vision.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1063-6919, Web of Science ID：WOS:000260371900203
• HIGH-S/N IMAGING OF A MOVING OBJECT USING A HIGH-FRAME-RATE CAMERA　　　　　　　　　　　　　　　
  Takashi Komuro; Yoshihiro Watanabe; Masatoshi Ishikawa; Tadakuni Narabu
  2008 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOLS 1-5, 開始ページ：517, 終了ページ：520, 2008年, ［査読有り］
  In this paper we propose a high-S/N imaging method involving combining many images captured with small blur using a video camera capable of high-frame-rate image capturing at 1000 frames/s. Use of a high-frame-rate camera makes the image change between frames small, enabling easy motion estimation, and makes it possible to use more light information, even when the exposure time is reduced to avoid blurring. To obtain a clear picture without misalignment due to motion parallax, it is necessary to determine both the motion and a depth map of the subject from noisy input images. We show results when applying the proposed algorithm to an image sequence captured by a high-frame-rate camera.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1522-4880, Web of Science ID：WOS:000265921400130
• Integration of Time-sequential Range Images for Reconstruction of a High-resolution 3D Shape　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, VOLS 1-6, 開始ページ：408, 終了ページ：411, 2008年, ［査読有り］
  The recognition of dynamic scenes using 3D shapes could provide useful approaches for various applications. However the conventional 3D-shape sensing systems dedicated for such scenes have had problems in spatial resolution, though they have achieved high sampling rate in temporal domain. In order to solve this limits, we present a method that integrates time-sequential partial range images capturing moving targets to reconstruct a high-resolution range image. In the proposed method, multiple range images are set in the same coordinate system based on multi-frame simultaneous alignment. This paper also demonstrates the performance of the proposed method using some example rigid bodies.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1051-4651, Web of Science ID：WOS:000264729000100
• An image-moment sensor with variable-length pipeline structure　　　　　　　　　　　　　　　
  Atsushi Iwashita; Takashi Komuro; Masatoshi Ishikawa
  IEICE TRANSACTIONS ON ELECTRONICS, 巻：E90C, 号：10, 開始ページ：1876, 終了ページ：1883, 2007年10月, ［査読有り］
  A 128 x 128 pixel functional image sensor was implemented. The sensor was able to capture images at 1,000 frame/s and extract the sizes and positions of 10 objects/frame when clocked at 9 MHz. The size of each pixel was 18 mu m x 18 mu m and the fill factor was 28%. The chip, 3.24 mm x 3.48 mm in size, was implemented with a 0.35 mu m CMOS sensor process: the power consumption was 29.7 mW at 8 MHz.
  IEICE-INST ELECTRONICS INFORMATION COMMUNICATIONS ENG, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1093/ietele/e90-c.10.1876
  DOI ID：10.1093/ietele/e90-c.10.1876, ISSN：0916-8524, eISSN：1745-1353, Web of Science ID：WOS:000250095600005
• A Networked High-Speed Vision System for 1,000-fps Visual Feature Communication　　　　　　　　　　　　　　　
  Shingo Kagami; Shoichiro Saito; Takashi Komuro; Masatoshi Ishikawa
  First ACM/IEEE International Conference on Distributed Smart Cameras / Proceedings, 開始ページ：95, 終了ページ：100, 2007年09月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ICDSC.2007.4357511
  DOI ID：10.1109/ICDSC.2007.4357511
• A High-Speed and Compact Vision System Suitable for Wearable Man-machine Interfaces　　　　　　　　　　　　　　　
  Takashi Komuro; Bjoern Werkmann; Takashi Komai; Masatoshi Ishikawa; Shingo Kagami
  IAPR 10th Conference on Machine Vision Applications / Proceedings, 開始ページ：199, 終了ページ：202, 2007年05月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• 128×128画素を有する画像モーメントセンサの開発　　　　　　　　　　　　　　　
  岩下 貴司; 小室 孝; 石川 正俊
  映像情報メディア学会誌 : 映像情報メディア = The journal of the Institute of Image Information and Television Engineers, 巻：61, 号：3, 開始ページ：383, 終了ページ：386, 2007年03月
  We developed a smart image-sensor especially for extracting statistical values that contain areas,positions,orientations and shapes of the objects in an image.These values are called moments.The sensor has a small processing circuit in each pixel in order to achieve high resolution,but it outputs various information at real-time.We describe the implementation and performance evaluation of a 128 128 pixel image-moment sensor.
  一般社団法人映像情報メディア学会, 日本語
  DOI：https://doi.org/10.3169/itej.61.383
  DOI ID：10.3169/itej.61.383, ISSN：1342-6907, CiNii Articles ID：110006854560, CiNii Books ID：AN10588970
• 多点瞬時解析高速ビジョンによる運動/変形物体のリアルタイム3次元センシング　　　　　　　　　　　　　　　
  渡辺義浩; 小室孝; 石川正俊
  日本ロボット学会誌, 巻：25, 号：6, 開始ページ：1005, 終了ページ：1013, 2007年, ［査読有り］
  This paper describes a real-time three-dimensional sensing system for applications based on feedback automation. The proposed system enables to observe a moving/deforming object at high frame rate and can acquire data in realtime. These are provided by three distinctive features, three-dimensional sensing by a single frame, high-frame-rate imaging and high-speed image processing. We also present some results of evaluation experiments. The experimental results show the advantages of our system compared with conventional approaches. Our system is expected to achieve improvements in a wide range of three-dimensional-sensing applications.
  The Robotics Society of Japan, 日本語
  DOI：https://doi.org/10.7210/jrsj.25.1005
  DOI ID：10.7210/jrsj.25.1005, ISSN：0289-1824, CiNii Articles ID：10019859749, CiNii Books ID：AN00141189
• 955-fps real-time shape measurement of a moving/deforming object using high-speed vision for numerous-point analysis　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  PROCEEDINGS OF THE 2007 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, VOLS 1-10, 開始ページ：3192, 終了ページ：+, 2007年, ［査読有り］
  This paper describes real-time shape measurement using a newly developed high-speed vision system. Our proposed measurement system can observe a moving/deforming object at high frame rate and can acquire data in real-time. This is realized by using two-dimensional pattern projection and a high-speed vision system with a massively parallel co-processor for numerous-point analysis. We detail our proposed shape measurement system and present some results of evaluation experiments. The experimental results show the advantages of our system compared with conventional approaches.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ROBOT.2007.363965
  DOI ID：10.1109/ROBOT.2007.363965, ISSN：1050-4729, Web of Science ID：WOS:000250915303037
• A high-speed vision system for moment-based analysis of numerous objects　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, VOLS 1-7, 開始ページ：2429, 終了ページ：2432, 2007年, ［査読有り］
  We describe a high-speed vision system for real-time applications, which is capable of processing visual information at a frame rate of 1 kfps, including both imaging and processing. Our system performs moment-based analysis of numerous objects. Moments are useful values providing information about geometric features and invariant features with respect to image-plane transformations. In addition, the simultaneous observation of numerous objects allows recognition of various complex phenomena. The proposed system achieves high-speed image processing by providing a dedicated massively parallel co-processor for moment extraction. The co-processor has a high-performance core based on a pixel-parallel and object-parallel calculation method. We constructed a prototype system and evaluated its performance. We present results obtained in actual operation.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：1522-4880, Web of Science ID：WOS:000253487202006
• Design of a massively parallel vision processor based on Multi-SIMD architecture　　　　　　　　　　　　　　　
  Kota Yamaguchi; Yoshihiro Watanabe; Takashi Komuro; Masatoshi Ishikawa
  2007 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS, VOLS 1-11, 開始ページ：3498, 終了ページ：3501, 2007年, ［査読有り］
  Increasing demands for robust image recognition systems require vision processors not only with enormous computational capacities but also with sufficient flexibility to handle highly complicated recognition tasks. We describe a multi-SIMD architecture and the design of a vision processor based on it for carrying out such difficult image recognition tasks. The proposed architecture consists of two SIMD parallel processing modules and a shared memory, allowing highly parallelized and flexible computation of complicated recognition tasks, which were difficult to process on a conventional massively parallel SIMD architecture. We designed a prototype vision processor for evaluation purposes and confirmed that the processor could be implemented in FPGA.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  ISSN：0271-4302, Web of Science ID：WOS:000251608404144
• A moment-based 3D object tracking algorithm for high-speed vision　　　　　　　　　　　　　　　
  Takashi Komuro; Masatoshi Ishikawa
  PROCEEDINGS OF THE 2007 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION, VOLS 1-10, 開始ページ：58, 終了ページ：63, 2007年, ［査読有り］
  In this paper we propose a method of realizing continuous tracking of a three-dimensional object by calculating moments of a translating and rotating object whose shape is known, either analytically or by using a table, and matching them with those of the input image. In simulation, the position and orientation is accurately recognized. Using a noise model and particle filter, we show that the position and orientation can be recognized even with noisy images.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1109/ROBOT.2007.363765
  DOI ID：10.1109/ROBOT.2007.363765, ISSN：1050-4729, Web of Science ID：WOS:000250915300010
• VCS-IV: A real-time vision system using a digital vision chip　　　　　　　　　　　　　　　
  S Kagami; T Komuro; Y Watanabe; M Ishikawa
  ELECTRONICS AND COMMUNICATIONS IN JAPAN PART II-ELECTRONICS, 巻：89, 号：6, 開始ページ：34, 終了ページ：43, 2006年, ［査読有り］
  A real-time visual processing system based on a vision chip that aggregates per pixel digital processing circuitry is presented. The system Supports the authors' latest vision chip and achieves high-speed, high-performance visual processing using an implementation that is small yet highly expandable and versatile. The main feature of the system is that the image capture function is programmable, with the operation of the internal pixel A-D conversion controlled from software at high time resolutions. The performance of the system is evaluated by application to basic visual processing and measurement systems, and examples of applications of the enhanced image capture function are presented. (C) 2006 Wiley Periodicals, Inc.
  SCRIPTA TECHNICA-JOHN WILEY & SONS, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1002/ecjb.20269
  DOI ID：10.1002/ecjb.20269, ISSN：8756-663X, Web of Science ID：WOS:000237889800005
• Parallel Extraction Architecture for Information of Numerous Particles in Real-Time Image Measurement　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  Journal of Robotics and Mechatronics, 巻：17, 号：4, 開始ページ：420, 終了ページ：427, 2005年08月, ［査読有り］
  英語, 研究論文（学術雑誌）
  CiNii Articles ID：10019859772
• Real-Time Shape Recognition Using a Pixel-Parallel Processor　　　　　　　　　　　　　　　
  Takashi Komuro; Yoshiki Senjo; Kiyohiro Sogen; Shingo Kagami; Masatoshi Ishikawa
  Journal of Robotics and Mechatronics, 巻：17, 号：4, 開始ページ：410, 終了ページ：419, 2005年08月, ［査読有り］
  英語, 研究論文（学術雑誌）
  CiNii Articles ID：10019381200
• A Pixel-Parallel Algorithm for Detecting and Tracking Fast-Moving Modulated Light Signals　　　　　　　　　　　　　　　
  Shingo Kagami; Masatsugu Shinmeimae; Takashi Komuro; Yoshihiro Watanabe; Masatoshi Ishikawa
  Journal of Robotics and Mechatronics, 巻：17, 号：4, 開始ページ：384, 終了ページ：397, 2005年08月, ［査読有り］
  英語, 研究論文（学術雑誌）
• Development of a Bit-level Compiler for Massively Parallel Vision Chips　　　　　　　　　　　　　　　
  Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa; Yoshio Katayama
  7th IEEE International Workshop on Computer Architecture for Machine Perception / Proceedings, 開始ページ：204, 終了ページ：209, 2005年07月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Parallel Extraction Architecture for Image Moments of Numerous Objects　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  7th IEEE International Workshop on Computer Architecture for Machine Perception / Proceedings, 開始ページ：105, 終了ページ：110, 2005年07月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Multi-Target Tracking using a Vision Chip and its Applications to Real-Time Visual Measurements　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  Journal of Robotics and Mechatronics, 巻：17, 号：2, 開始ページ：121, 終了ページ：129, 2005年04月, ［査読有り］
  英語, 研究論文（学術雑誌）
• A High-speed Vision Chip and Robot Applications　　　　　　　　　　　　　　　
  Takashi Komuro; Shingo Kagami; Akio Namiki; Masatoshi Ishikawa
  2004 1st IEEE Technical Exhibition Based Conference on Robotics and Automation / Proceedings, 開始ページ：3, 終了ページ：4, 2004年11月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Real-time Visual Measurements using High-speed Vision　　　　　　　　　　　　　　　
  Yoshihiro Watanabe; Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  SPIE Optics East 2004 / Proceedings, 2004年10月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.571049
  DOI ID：10.1117/12.571049
• A High-Speed Vision System with In-Pixel Programmable ADCs and PEs for Real-Time Visual Sensing　　　　　　　　　　　　　　　
  Shingo Kagami; Takashi Komuro; Masatoshi Ishikawa
  8th IEEE International Workshop on Advanced Motion Control / Proceedings, 開始ページ：439, 終了ページ：443, 2004年03月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• A dynamically reconfigurable SIMD processor for a vision chip　　　　　　　　　　　　　　　
  T Komuro; S Kagami; M Ishikawa
  IEEE JOURNAL OF SOLID-STATE CIRCUITS, 巻：39, 号：1, 開始ページ：265, 終了ページ：268, 2004年01月, ［査読有り］
  Conventional SIMD image processors are very effective for early visual processing because of their parallelism. However, in performing more advanced processing, they exhibit some problems, such as poor performance in global operations and a tradeoff between flexibility of processing and the number. of pixels. This paper shows a new Architecture and sample algorithms of a vision chip that has the ability to reconfigure its hardware dynamically by chaining processing elements. A prototype chip with 64 x 64 pixels manufactured using the 0.35-mum CMOS process is also shown.
  IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1109/JSSC.2003.820876
  DOI ID：10.1109/JSSC.2003.820876, ISSN：0018-9200, eISSN：1558-173X, CiNii Articles ID：80016390913, Web of Science ID：WOS:000188205500031
• Improving the Sensitivity of a Vision Chip Using the Software A-D Conversion Method　　　　　　　　　　　　　　　
  Daisuke Takeuchi; Shingo Kagami; Takashi Komuro; Masatoshi Ishikawa
  IS&T/SPIE 16th Annual Symposium on Electronic Imaging Science and Technology / Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications V, Proceedings of SPIE, Vol.5301, 開始ページ：138, 終了ページ：148, 2004年01月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
  DOI：https://doi.org/10.1117/12.526319
  DOI ID：10.1117/12.526319
• ビジョンチップのための動的再構成可能なSIMDプロセッサ(画像処理,画像パターン認識)　　　　　　　　　　　　　　　
  小室孝; 鏡慎吾; 石川正俊
  電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理, 巻：86, 号：11, 開始ページ：1575, 終了ページ：1585, 2003年10月, ［査読有り］
  従来の画像処理用SIMDプロセッサは,その並列性により主に初期視覚処理に対して強い威力を発揮するが,より高度な処理を行おうとした場合に,非局所演算が不得手であることや,画素数と汎用性の間にトレードオフが存在することなどの問題があった.本論文では,PE同士を結合させる機能をもたせ,ハードウェアを動的に再構成可能にした新しいビジョンチップのアーキテクチャとアルゴリズム例を示す.また,同アーキテクチャに基づき,0.35μmCMOSプロセスを用いて64×64画素を集積したチップを試作したので報告する.
  社団法人電子情報通信学会
  ISSN：0915-1923, CiNii Articles ID：110003170854
• A Software-Controlled Pixel-Level A-D Conversion Method for Digital Vision Chips　　　　　　　　　　　　　　　
  Shingo Kagami; Takashi Komuro; Masatoshi Ishikawa
  2003 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors / Proceedings, 2003年05月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• A High Speed Digital Vision Chip with Multi-grained Parallel Processing Capability　　　　　　　　　　　　　　　
  Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  2003 IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors / Proceedings, 2003年05月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Moment calculation method for digital vision chip　　　　　　　　　　　　　　　
  Idaku Ishii; Takashi Komuro; Masatoshi Ishikawa
  Systems and Computers in Japan, 巻：34, 号：1, 開始ページ：89, 終了ページ：97, 2003年01月, ［査読有り］
  Recently, an interesting general-purpose digital vision chip has been realized by integrating a photodetector (PD) and a processing element (PE) directly connected for each pixel on a single chip. This paper proposes bit plane (BP) feature decomposition as a realization of the idea of feature calculation that is suited to a massively parallel processing structure integrated on the digital vision chip. Moment calculation based on the method is discussed. An evaluation of the digital vision chip using the proposed calculation method is presented, and its effectiveness is demonstrated. © 2002 Wiley Periodicals, Inc.
  英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1002/scj.1187
  DOI ID：10.1002/scj.1187, ISSN：0882-1666, SCOPUS ID：0037242487
• A digital vision chip specialized for high-speed target tracking　　　　　　　　　　　　　　　
  T Komuro; Ishii, I; M Ishikawa; A Yoshida
  IEEE TRANSACTIONS ON ELECTRON DEVICES, 巻：50, 号：1, 開始ページ：191, 終了ページ：199, 2003年01月, ［査読有り］
  This paper describes a new vision chip architecture for high-speed target tracking. The processing speed and the number of pixels are improved by hardware implementation of a special algorithm which utilizes a property of high-speed vision and introduction of bit-serial and cumulative summation circuits. As a result, 18 objects in a 128 x 128 image can be tracked in 1 ms. Based on the architecture, a prototype chip has been developed; 64 x 64 pixels are integrated in 7 nun square chip and the power consumption for obtaining the centroid of an object per every 1 ms is 112 mW. Some experiments are performed on the evaluation board which is developed for evaluation under the condition of actual operation. High-speed target tracking including multitarget tracking with collision and separation has successfully been achieved.
  IEEE-INST ELECTRICAL ELECTRONICS ENGINEERS INC, 英語, 研究論文（学術雑誌）
  DOI：https://doi.org/10.1109/TED.2002.807255
  DOI ID：10.1109/TED.2002.807255, ISSN：0018-9383, eISSN：1557-9646, CiNii Articles ID：80015872328, Web of Science ID：WOS:000181542400027
• An advanced digital vision chip and its system implementation　　　　　　　　　　　　　　　
  S Kagami; T Komuro; M Ishikawa
  SICE 2003 ANNUAL CONFERENCE, VOLS 1-3, 開始ページ：1568, 終了ページ：1571, 2003年, ［査読有り］
  We have been developing a digital vision chip, a CMOS image sensor that integrates a digital processing element and a photo detector directly connected in each pixel. In this paper, we report recent progress in our studies including an advanced vision chip based on a new PE architecture, and peripheral system implementation that support this new architecture.
  IEEE, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000222573800307
• ビジョンチップのためのマルチターゲットトラッキングとその応用(画像処理,画像パターン認識)　　　　　　　　　　　　　　　
  渡辺義浩; 小室孝; 鏡慎吾; 石川正俊
  電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理, 巻：86, 号：10, 開始ページ：1411, 終了ページ：1419, 2003年, ［査読有り］
  本論文では,ビジョンチップのための複数対象同時追跡を行うマルチターゲットトラッキングのアルゴリズムを提案する.本アルゴリズムは2分探索を用いたラベリング処理とSelf Window法によるトラッキング処理からなり,ビデオフレームレートで代表される従来の視覚システムにおけるものに比べて,高速性の点で優れている.更に,本アルゴリズムのアプリケーションとして,回転物体の回転軸,速度を計測する回転計測と画像上に出現する領域数を計測する個数カウントを提案する.提案するアプリケーションに関してビジョンチップによる評価を行い.100〜1000Hzといった高いフレームレートでの実現が可能であることを示す.
  社団法人電子情報通信学会
  ISSN：0915-1923, CiNii Articles ID：110003170837
• A New Architecture of Programmable Digital Vision Chip　　　　　　　　　　　　　　　
  Takashi Komuro; Shingo Kagami; Masatoshi Ishikawa
  2002 Symposium on VLSI Circuits / Digest of Technical Papers, 開始ページ：266, 終了ページ：269, 2002年06月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• A Real-Time Visual Processing System using a General-Purpose Vision Chip　　　　　　　　　　　　　　　
  Shingo Kagami; Takashi Komuro; Idaku Ishii; Masatoshi Ishikawa
  2002 IEEE International Conference on Robotics and Automation / Proceedings, 開始ページ：1229, 終了ページ：1234, 2002年05月, ［査読有り］
  英語, 研究論文（国際会議プロシーディングス）
• Digital vision chips and high-speed vision systems　　　　　　　　　　　　　　　
  M Ishikawa; T Komuro
  2001 SYMPOSIUM ON VLSI CIRCUITS, DIGEST OF TECHNICAL PAPERS, 開始ページ：1, 終了ページ：4, 2001年, ［査読有り］
  Conventional image processing has a critical limit of frame rate derived from serial transmission of the video signal. In order to overcome the limit, fully parallel processing architecture without scanning has been proposed. In this paper, vision chips with digital circuits and high speed application systems developed in our laboratory will be described.
  JAPAN SOCIETY APPLIED ELECTROMAGNETICS & MECHANICS, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000173132600001
• Device and System Development of General Purpose Digital Vision Chip　　　　　　　　　　　　　　　
  Takashi Komuro; Shingo Kagami; Idaku Ishii; Masatoshi Ishikawa
  Journal of Robotics and Mechatronics, 巻：12, 号：5, 開始ページ：515, 終了ページ：520, 2000年10月, ［査読有り］
  英語, 研究論文（学術雑誌）
• 1ms sensory-motor fusion system　　　　　　　　　　　　　　　
  M Ishikawa; T Komuro; A Namiki; Ishii, I
  ROBOTICS RESEARCH, 開始ページ：359, 終了ページ：364, 2000年, ［査読有り］
  Recently, there has been growing interest in sensory-motor integration for new behavior of intelligent robots. And the key component to this work is sensory information processing technology which is based on recent progress in the integration of electronic circuits, providing increased computing power at low cost. In this talk, a new type of vision chip which has a general purpose parallel processing array with photo detector in a single silicon chip will be discussed. The vision chip achieves 1 ms image processing, so mechanical systems can be controlled by using visual information with a 1 ms sampling rate. Additionally a 1 ms sensory motor fusion system, a new type of a hierarchical parallel sensory processing system, will be discussed. The system consists of integrated sensor modules and a parallel processing system providing for sensory feedback and novel performance. A demonstration of high speed grasping using visual and force feedback will be described.
  SPRINGER-VERLAG LONDON LTD, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000087440500044
• High speed target tracking vision chip　　　　　　　　　　　　　　　
  T Komuro; Ishii, I; M Ishikawa; A Yoshida
  5TH INTERNATIONAL WORKSHOP ON COMPUTER ARCHITECTURES FOR MACHINE PERCEPTION, PROCEEDINGS, 開始ページ：49, 終了ページ：56, 2000年, ［査読有り］
  This paper describes a new vision chip architecture for high speed target tracking. The system speed and pixel size improved by hardware implementation of a special algorithm which utilizes a property of high speed vision. Using an asynchronous and bit-serial propagation method, global moments of the image are calculated at high speed and with small circuits. Based on the new architecture a 64x64 pixel prototype chip has been developed.
  IEEE COMPUTER SOC, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000089941900006
• New generation of sensory information processing for intelligent systems - VLSI vision chip and sensor fusion system　　　　　　　　　　　　　　　
  M Ishikawa; T Komuro; A Namiki; Ishii, I
  ICEMI'99: FOURTH INTERNATIONAL CONFERENCE ON ELECTRONIC MEASUREMENT & INSTRUMENTS, VOLS 1 AND 2, CONFERENCE PROCEEDINGS, 開始ページ：1, 終了ページ：6, 1999年, ［査読有り］
  Recently, there are growing interests in applications of VLSI technology for sensory information processing based on the concept of "system on silicon". That means we can use fruitful computing power of compact VLSI at low cost. Therefore, the technology can open a new generation of intelligent systems. In this talk, a new type of vision chip which has general purpose parallel processing array with photo detector in a single silicon chip will be shown, The vision chip realize 1ms image processing, so mechanical systems can be controlled by using visual information with 1ms sampling rate. In addition, high speed grasping robot as a vision and force sensor fusion system will be shown, The system uses parallel DSP system for sensory feedback and novel performance can be implemented. A demonstration of the high speed grasping will be shown.
  CHINESE INSTITUTE ELECTRONICS, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:000084980200001
• Vision chip architecture using general-purpose processing elements for 1ms vision system　　　　　　　　　　　　　　　
  T Komuro; Ishii, I; M Ishikawa
  CAMP'97 - FOURTH IEEE INTERNATIONAL WORKSHOP ON COMPUTER ARCHITECTURE FOR MACHINE PERCEPTION, PROCEEDINGS, 開始ページ：276, 終了ページ：279, 1997年, ［査読有り］
  This paper describes a vision chip architecture for high-speed vision systems that we propose. The chip has general-purpose processing elements (PEs) ina massively parallel architecture, with each PE directly connected to photo-detectors. Control programs allow various visual processing applications and algorithms to be implemented. A sampling rate of 1ms is enough to realize high-speed visual feedback for robot control. To integrate as many PEs as possible on a single chip a compact design is required, so we aim to create a very simple architecture. The sample design has been implemented into an FPGA chip; a full custom chip has also been designed and has been submitted for fabrication.
  I E E E, COMPUTER SOC PRESS, 英語, 研究論文（国際会議プロシーディングス）
  Web of Science ID：WOS:A1997BJ77E00035

• 3次元情報を活用した非接触型指静脈認証に関する研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(B), 2023年04月01日 - 2026年03月31日
  鈴木 裕之; 小室 孝; 香川 景一郎; 中野 和也, 群馬大学
  配分額（総額）：17290000, 配分額（直接経費）：13300000, 配分額（間接経費）：3990000
  課題番号：23H01644
• 質感再現のための任意視点画像生成ネットワーク　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(C), 2022年04月01日 - 2025年03月31日
  小室 孝, 埼玉大学
  配分額（総額）：4160000, 配分額（直接経費）：3200000, 配分額（間接経費）：960000
  課題番号：22K12088
• 非接触型指静脈認証の適用範囲拡大に関する研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(B), 2020年04月01日 - 2023年03月31日
  鈴木 裕之; 小室 孝; 香川 景一郎; 中野 和也, 群馬大学
  配分額（総額）：16640000, 配分額（直接経費）：12800000, 配分額（間接経費）：3840000
  2020年度の研究（2021年9月末まで）は、透過型の非接触静脈撮像システムの課題を整理し、様々な撮影環境に対しても安定して指静脈パターンが取得できるよう、撮像光学系の改良を行った。
  これまで我々が提案している透過型非接触静脈認証システムでは、背景光源が写りこんでいる場合に照合精度が低下する現象が見られた。この影響を取り除くためは、背景光源が写りこんでいる静脈画像から血管の存在している指領域のみを抽出し、指領域のみで照合を行う手法が有効であると考えられる。しかし手振りした指を動画像で撮影する本提案システムでは、手を動かすことで照明と指との相対位置が変化するため、フレームごとの輝度情報が大きく変動してしまい、輝度情報を利用した画像処理では十分な精度での指領域抽出を行うことが難しかった。一方、人間の肌色は自然界にはほとんど存在しない色であるため、撮影画像から肌色を検出できれば、容易に指領域を抽出できると考えられる。そこで本研究では、肌色を検出するための白色光源およびRGBカメラを設置し、肌色を含むカラー画像と静脈パターンを同時に撮影する撮像システムを開発した。
  実験システムでは、白色光源は近赤外LEDを照射する方向とは反対方向から照射し、近赤外光は透過、白色光は反射となるよう光学系を構築した。また、市販のRGBカメラは近赤外カットフィルターが挿入されており、近赤外光に感度を持たないことが一般的であるが、本実験で用いるRGBカメラは近赤外カットフィルターを取り外し、近赤外領域にも十分な感度をもつように改造した。この撮像システムで撮影した画像から肌色領域を抽出し、この抽出領域のRバンド画像を用いることで指領域のみの静脈パターンを抽出することができた。この領域抽出によって、背景光の影響による照合精度の劣化が改善した。
  上記の研究成果については、BISC2021にて発表を行った。
  課題番号：20H02386
• 多元コンピュテーショナル光計測による手術支援応用　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(S), 2017年05月31日 - 2022年03月31日
  長原 一; 早崎 芳夫; 小室 孝; 香川 景一郎; 池田 哲夫; 西舘 泉, 大阪大学
  配分額（総額）：150540000, 配分額（直接経費）：115800000, 配分額（間接経費）：34740000
  腹腔内のような閉じた環境や臓器のような生体組織は半透明であるため、従来の光計測ではその形状を正しく計測できなかった。本研究では、腹腔内でのマルチパスや臓器表面での散乱の影響を除去するための光コム干渉カメラを開発した。このカメラで撮影した画像から物体の三次元形状を復元する手法を開発した。また、画像から血管などの内部情報や血流を可視化、臓器の弾性変形をトラッキングする術中支援システムの構築をおこなった。さらに、この基盤技術の一部を実際の腹腔鏡下胆嚢摘出術に適用することで、人への臨床での実証を行った。
  課題番号：17H06102
• マルチアパーチャ・マルチタップCMOSイメージセンサによる機能的生体イメージング　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(B), 2018年04月01日 - 2021年03月31日
  香川 景一郎; 津村 徳道; 小室 孝, 静岡大学
  配分額（総額）：17550000, 配分額（直接経費）：13500000, 配分額（間接経費）：4050000
  本研究では，投影光学系と密接に連携することで実世界の多様な情報を複数の光学的計測手法により一度にリアルタイムに撮影する空間・時間分割多重プログラマブル集積化カメラと，そのコアデバイスであるマルチアパーチャ・マルチタップCMOSイメージセンサのアーキテクチャを確立した．多波長に対する空間周波数領域イメージング(SFDI)とマルチ露光レーザースペックルコントラスト血流イメージング(MELSCI)を同時実行可能な2×2アパーチャ4タップCMOSイメージセンサを設計・試作し，同時計測を実証した．
  課題番号：18H01497
• 拡張現実感を用いた簡易かつ高品質な質感提示の研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(C), 2017年04月01日 - 2020年03月31日
  小室 孝; 津村 徳道; 山本 昇志, 埼玉大学
  配分額（総額）：4550000, 配分額（直接経費）：3500000, 配分額（間接経費）：1050000
  本研究では、さまざまな物体の質感を再現し、手による6自由度（並進3＋回転3）の操作を可能とする新しい質感提示システムを開発した。評価実験により、ユーザの視覚と体性感覚を一致させることでシステムの使い勝手が良くなることを示すことができた。さらに、任意の実物体の質感を提示できるように、物体の三次元形状と反射特性を簡易に計測できるシステムを開発し、前述の質感提示システム上で提示できるようにした。
  課題番号：17K00266
• 公共施設での利用を可能とする指静脈認証システムに関する研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(B), 2017年04月01日 - 2020年03月31日
  鈴木 裕之; 小室 孝, 東京工業大学
  配分額（総額）：10790000, 配分額（直接経費）：8300000, 配分額（間接経費）：2490000
  本研究では，イベント会場など大規模ユーザーが利用する場面での生体認証システムとして，センサーの前で手を振りかざすだけで高速に認証処理可能な指静脈認証システムの実現を目的とし，そのための指静脈画像のセンシング手法及び取得した指静脈画像を照合する手法等について研究を行った．研究成果として，近赤外光を利用した撮像システム及び動画像の複数フレームを利用した照合手法を開発し，提案技術によって高い照合精度で遅延の少ない指静脈認証が実現できる可能性を示した．
  課題番号：17H02036
• 暗闇での物体追跡と画像復元の研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 挑戦的萌芽研究, 2011年 - 2013年
  小室 孝, 埼玉大学
  配分額（総額）：3640000, 配分額（直接経費）：2800000, 配分額（間接経費）：840000
  本研究では、暗闇での物体追跡と画像復元を実現するため、ベイズ推定の枠組みを用いて対象の運動と参照画像を同時に推定する手法を提案した。ぶれのある画像に対しては、運動推定により得られたパラメータを用いてぶれ補正を行うようにした。その結果、シミュレーションではPSNRが-6dBまでの動画像、実環境では被写体照度0.01lx以下の暗闇環境で撮影した動画像に対し、物体追跡と画像復元を行うことができた。さらに、画像復元のための最適フレームレートを調査し、比較的ノイズが少ないときは高いフレームレートが、ノイズが多いときには低いフレームレートのほうが良いことがわかった。
  課題番号：23650082
• ビジョンチップの応用展開　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(S), 2009年 - 2011年
  石川 正俊; 並木 明夫; 小室 孝; 奥 寛雅; アルバロ カシネリ; 渡辺 義浩, 東京大学
  配分額（総額）：110760000, 配分額（直接経費）：85200000, 配分額（間接経費）：25560000
  研究代表者らは、ビジョンチップと呼ぶ超高速集積化視覚情報処理チップを開発し、従来のビデオレート(30Hz)での処理に比べて格段に高速化された視覚情報(1kHz)を用いた高速ビジュアルフィードバックの有効性を唱えてきており、これまでの応用システム開発からその基礎は固まり、実社会への応用を目指す新たなフェーズに入った。そこで、本研究では新たな応用展開の基軸として、高速ビジョンによりリアルタイムに人間の動作を認識する高速ビジュアルインターフェイスと、顕微鏡画像をフィードバックすることで微小対象制御を行う高速マイクロビジュアルフィードバックとに注力し、新たな応用分野として革新的なシステムの構築を目指すとともに、当該分野の発展に大きく寄与することを目指すものである。
  課題番号：19100002
• 高速ビジョンを用いた快適な入力インターフェースの研究　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 若手研究(A), 2007年 - 2009年
  小室 孝, 東京大学
  配分額（総額）：24700000, 配分額（直接経費）：19000000, 配分額（間接経費）：5700000
  本研究では、ビデオフレームレートを越える高フレームレートのカメラを用いて、各種情報端末における快適な入力インターフェースを実現することを目的とし、(1)携帯端末向け空中マウス/キーボード(2)ズーミングタッチパネル"(3)読唇入力インターフェース(4)ハンディ三次元スキャナの各システムを構築した。
  課題番号：19680010
• 1MHzのビジュアルフィードバックを可能とするビジョンセンサの開発　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 萌芽研究, 2005年 - 2006年
  小室 孝; 鏡 慎吾; 奥 寛雅; 石川 正俊; 並木 明夫, 東京大学
  配分額（総額）：2700000, 配分額（直接経費）：2700000
  本研究では1MHzのビジュアルフィードバックを可能とするビジョンセンサの開発を目的とする。本センサは、ウィルスのような極細生物の経常観察やマイクロ・ナノマシンの制御、燃焼等の化学現象の制御などに利用できると期待される。
  上記目的の実現のため、平成18年度は、以下のように研究を進めた。
  1.前年度に製作した32×32画素のビジョンセンサチップに配線ミスがあることが判明したので、修正版の設計を行い、仏CMPに提出し、製造を行った。
  2.同センサは32×32の画素アレイのほか、可変長パイプラインの制御に必要な4段のFIFOを列毎に、またモーメントの計算に必要な座標パターン生成回路を設置している。受光部の面積は約1mm角であり、1/3インチ型の光学系で154×115画素搭載できる計算である。
  3.製造したチップの動作確認を行うための評価ボードを作成した。現在、評価用のソフトウェアを作成中である。
  4.センサの高感度化のため、Optoプロセスに関する調査を行い、PD回路の改良について検討を行った。
  課題番号：17656113
• 分散ネットワーク構造を有する超高速認識行動システム　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(S), 2002年 - 2006年
  石川 正俊; 並木 明夫; 小室 孝; 奥 寛雅; 鏡 慎吾; 石井 抱; 橋本 浩一, 東京大学
  配分額（総額）：103870000, 配分額（直接経費）：79900000, 配分額（間接経費）：23970000
  本研究では,実環境に高速かつ柔軟に対応する認識・行動システムの構築を目的とし,具体的な基盤技術として,階層並列構造による感覚運動統合,認識と行動の超高速性,分散ネットワーク構造の各要素に注目して,分散ネットワーク構造に基づいた多数のセンサとアクチュエータを結合した高速リアルタイム処理システムを構築した.
  1.TCP/IP通信機能を有する高速ビジョンネットワークシステムの構築
  高速で移動する複数の対象を,広い範囲で観測し,かつ,オクルージョンによる死角などが生じないように観測することをめざして,複数のビジョンシステムによる分散協調ネットワークシステムを構築した.
  2.分散センサネットワーク情報処理アルゴリズムの開発
  カルマンフィルタを利用したセンサフュージョン手法であるDTKF(Delay-Tolerant Kalman Filter)を提案した.DTKFは,センサ数の増大に対して優れたスケーラビリティを有しており,その有効性を,高速視覚センサによる対象追跡タスクの数値実験により検証した.
  3.多眼高速ビジュアルフィードバックシステムの構築
  複数の高速ビジョンを用いた多眼高速ビジュアルフィードバックシステムを構築し,各ビジョン情報の相互補完による,オクルージョンにロバストな複数対象の3次元トラッキングを実現した.多数のビジョンを用いることで計測範囲,精度の向上,オクルージョン回避などが実現できた.
  4.階層並列構造による感覚運動統合の実現
  分散ネットワーク構造に対応して,多数のセンサシステムと多数のロボットシステムを実時間で接続するために,複数のリアルタイム処理システムとロボットシステム,センサシステムを統合した並列分散処理システムを開発した.システム構成としては,CANbusによって接続されたdSPACE社の実時間処理システムを3台用意し,IOを通してロボットアーム2台,ロボットハンド3台,高速ビジョン3台(カメラヘッドは6台),その他,触覚や力覚などの多数のセンサを接続したものである.
  課題番号：14102018
• 超高速ビジュアルサーボシステムのモデリングとモデル学習　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 基盤研究(A), 2002年 - 2004年
  橋本 浩一; 森 亮介; 小室 孝; 石川 正俊
  配分額（総額）：50050000, 配分額（直接経費）：38500000, 配分額（間接経費）：11550000
  従来の汎用マニピュレータは、関節角センサにより手先位置を精度高く制御することを基本に設計されており、ビジョンセンサにより高速に制御することを念頭にしていない。そのため、高速ビジョンの性能を十分に引き出した知的な高速タスクを実現することが難しい。このようなことから、真の意味での高速ビジュアルフィードバックの実現のためには、視覚システムの高速化と同時に、それに対応したマニピュレーションシステムの高速化が重要となる。この目的のためには、単に高速動作が可能なマニピュレータを導入するだけでなく、画像処理・アクティブビジョン・マニピュレータ・ハンドなどの特性を正確に把握して制御系を設計することが重要である。いいかえると、超高速ビジュアルサーボシステムの実現のためには、システムを構成するすべての要素のダイナミクスを統一的に記述するモデルの設計と、パラメータ同定手法およびモデル学習アルゴリズムの開発が必須である。
  上記の認識のもと、本研究では下記の課題に挑戦した。
  1.高速ハンドシステムによるビジュアルサーボ
  本研究では高速多指ハンドシステムを開発し、落下するボールや円柱を安定に把握するアルゴリズムを開発・実装し、実験により超高速ビジュアルサーボの性能を評価した。
  2.微生物トラッキングシステム
  本研究ではゾウリムシを例に取り、ゾウリムシが泳ぐプールの位置をXYステージでビジュアルフィードバック制御することにより、ゾウリムシ個体の活動を安定に計測するシステムを開発した。
  3.ビジュアルサーボの安定領域の拡大
  本研究では、カメラ視野が有限であるという制約を考慮して、安定領域を拡大する方法を検討した。
  4.ビジュアルサーボシステムにおける構成とロバスト性
  本研究では、異なる構造とアルゴリズムの組み合わせにより、システムのロバスト性が大きく変化することを指摘し、ロバスト性向上のための指針を与えた。
  5.ボール捕獲とリフティングタスク
  課題番号：14205034
• ビジュアルサーボの大域的安定化と特徴量空間経路計画　　　　　　　　　　　　　　　
  日本学術振興会, 科学研究費助成事業, 萌芽研究, 2001年 - 2002年
  橋本 浩一; 小室 孝; 石川 正俊; 成瀬 誠, 東京大学
  配分額（総額）：2200000, 配分額（直接経費）：2200000
  本研究の目的は,ビジュアルサーボを特徴量空間における経路計画の観点から定式化することで,対象物の特徴量の事前知識を持たずに特徴量空間内を大域的に誘導できる軌道計画法を開発することである.
  平成13年度までに,ポテンシャルを特徴量誤差の2次形式を用いて適切に設定し,ポテンシャルの最小化問題として特徴ベースビジュアルサーボの定式化を行った.その結果,「軌道計画(目標値生成)とフィードフォワード・フィードバックを一体化したモーションコントロール」としての定式化が可能となった,従来の「特徴量偏差を状態とする状態フィードバック」は,特徴量誤差の二乗ノルムをポテンシャルとする状態空間における最急降下法であり,大域的安定化のためにはポテンシャルの大域的凸性が必要であった.しかし,本研究で定式化された制御問題では,最適化の前に特徴量空間において経路計画を行うため,経路に沿った局所的な凸性が保証されれば大域的安定となる.平成14年度は,前年度の研究を理論的,実験的に進めた.具体的には,以下の手法の研究を行った.
  1.運動を利用したカメラの自己校正法と視覚サーボへの応用
  カメラが運動する際には,注視対象物上の各特徴点に対して基本方程式と呼ばれる幾何学的な関係式が成り立ち,それを利用することでカメラの自己校正を行う方法を開発した.14年度では,前年度で提案した基本的なアルゴリズムに関して理論的な検証をすすめて,ロバストな推定手法を提案し,ビジュアルサーボ制御へ応用した.
  2.Static-eyeとhand-eyeのビジュアルサーボ制御理論に基づく比較検討
  ビジュアルサーボの手法として,マニピュレータの手先にビジョンを付けるhand-eye手法と,マニピュレータとは別に視覚装置を設置するstatic-eye手法が存在する.本研究では,これらの手法の制御理論的な解釈を行い,双方の評価を行った.その結果,行うタスクの種類によって,それぞれ利点と欠点が存在することを理論的に導き出し,ビジュアルサーボ制御への応用を行った.
  課題番号：13875080