2021年6月26日（土）・27日（日）・7月3日（土）・4日（日）の10時～18時に、アカチャンホンポ TOC店（東京都品川区）で開催された「BabyTech TOUCH（ベビーテックタッチ）in akachanhonpo」へ出展し、「魔法のような虫めがね（プロトタイプ版）」の実証実験を行いました。

＜参考情報＞

• 体験型ショールーミングイベント「BabyTech TOUCH」を立ち上げ！ ～第1弾を赤ちゃん本舗・パパスマイルと協業し、6月からスタート！～ https://www.dnp-innovationport.com/news/1911/

• ＡＩを活かし絵本から音が飛び出す「魔法のような虫めがね」のプロトタイプ開発https://www.dnp.co.jp/news/detail/10161014_1587.html

「魔法のような虫めがね」の特徴説明

「魔法のような虫めがね」とは、専用の「虫めがね」でかざした、文字や絵、写真、イラストなどをAIが認識し、その内容について、音声や音楽で教えてくれる「魔法のような」情報機器です。

主な機能は下記のとおりです。

• 「魔法のような虫めがね」で絵本を覗くと、文字や場面を認識して、最適な朗読音声やBGMを再生します。
• 「魔法のような虫めがね」で絵本や物体を覗くと、そのモノを認識して、最適な効果音や説明文を再生します。
• 子どもが覗いた内容をアーカイブとして保存し、親が所持するスマートフォンのアプリで参照できます。

また、市販の絵本や図鑑などをそのまま利用することが可能です。見たいものを「魔法のような虫めがね」を通して見ることで、絵本であれば音声やBGM、図鑑であれば動物などの鳴き声や電車などの効果音がスピーカーから聞こえてきます。

今回のプロトタイプ版は、これまでの実証実験で得られたフィードバックを元に、課題を改善したバージョンとなっており、AIについてもDNPでオリジナル開発したものが組み込まれています。また、スマホアプリでは、子どもが興味・関心を持ったものをライフログとして確認でき、子どもの知らない一面を親が確認できるようになっています。

体験型イベント「BabyTech TOUCH」と実証実験について

「BabyTech TOUCH」とは、アプリやスマートデバイスなどのベビーテック商品の体験型ショールーミングイベントです。企業が行うベビーテックの活動を拡大すると共に、その価値を生活者に繋げていくことを目的として実施されています。

私たちは、「BabyTech TOUCH」という場を活用し、実証実験を通して、想定ユーザである3～10歳前後のお子さん／親御さんからのフィードバックを取り入れることで、ニーズに沿った製品を生み出していきたいと考えております。

会場での様子

体験者からのフィードバックと課題

今回の実証実験では、多くの来場者の方（子供：約80名 家族：約240名）に、「魔法のような虫めがね（プロトタイプ版）」を使用してもらい、「使い勝手」や「サービスの価値検証」などに対して、これからの改善に有用な意見や感想をフィードバックしていただきました。

＜今回頂いたフィードバック例＞

• 子供の興味関心がわかるのは親として嬉しい
• 月額のサービス利用料が発生しても使うと思う
• 効果音の音質がよくない
• 虫めがねで撮影する際の焦点が当てにくい

頂いたフィードバックから課題を抽出し、以下のような点を改善していく予定です。

【プロダクト面】

・プロダクトのUI/UXの見直し（特に、虫眼鏡から覗いたときの視野とカメラで映る映像が一致しない問題の解消）

・環境変化に強い画像認識AI・AI-OCRの開発（様々な利用場所・利用環境で認識精度が落ちてしまう問題の解消）

・より自然な発話をする音声合成AI（機械音声のような音声が生成されてしまう問題の解消）

【サービス面】

・子どもが、より長くデバイスを使ってくれる仕掛け・機能の検討

・親が、本当に知りたい「子どもの興味関心」とは何かの分析

DNPは、共創パートナーと連携し、上記のような課題を解決しながら、お子さん／親御さんにとって真の価値となる、未来のあたりまえへと繋がるAIプロダクトに昇華させていきたいと考えております。

今後の展開

社会全体でDXの流れが加速するなか、DNPはサービスデザインから実際のプロダクト・サービス開発まで実現できるDX人材の育成やチームづくりを推進しており、本プロダクトも、その流れの中で生まれました。

DNPは今後、「魔法のような虫めがね」を活用した新しい読書体験の拡大に向けて、共創パートナーを募り、読み聞かせや子どもに関するイベントでの実証実験を繰り返しながら、事業化を推進していきます。

初回の記事では「キックオフについて」を、前回の記事では「企画提案・プロダクト開発フェーズへ移行について」をご紹介しました。

第4回目となる今回は、ハッカソンの最終成果報告として、成果物である「AIサイネージ」と「ファンファンクッキング」の2点と、参加者からのコメントをご紹介します。

【AIサイネージ】

「より良い案内体験を提供する」をコンセプトに、案内図をAIデジタルサイネージ化しました。 このプロダクトは利用者の目的地へのアクセスを簡単にすることを実現します。 画像認識を用いて利用者を認識することでサービスは開始され、利用者は音声のみでコントロール可能で、非接触なUIを提供します。

ユーザーの音声をGoogle CloudのサービスであるCloud Speech-to-Textで分析し、デバイスからの音声出力にはCloud Text-to-Speechで音声合成を行っています。また、画像認識ではCloud Vision APIを、目的地までの経路表示にはMaps JavaScript APIを利用しています。

画像認識精度とユーザーの選択肢の自由度が低い点が現状の課題となりますが、その場にいる利用者を楽しませながら目的地まで案内することができるコンテンツの提供を目指したいと考えています。

【ファンファンクッキング】

単身世帯が抱えている「褒められない」「面倒くさい」「時間がない」という3課題を解決してくれる料理生活支援アプリです。

これらの課題に対して、「キャラクターによるナビゲーションとフィードバック」「食材識別と在庫管理」「スキル・経験値の可視化と料理検索のアンロック（スキルアップを助長する機能）」という3つを解決方針と定め、それらを実装する上で、カメラ画像から食材を識別するAIとゲーミフィケーション要素を加えたアプリとして開発を行いました。

また、Google CloudのサービスであるAutoML Visionを使用して食材の物体検出モデルを構築し、食材の写真を撮るだけで簡単に料理検索ができるようにしました。

さらに、[在庫]と[スキル]の２つの観点から料理検索が行われるようにもなっております。

AutoML VisionのiOSからの呼び出し方法等で技術的に躓くことはありましたが、Googleエンジニアの方からのアドバイスもあり、無事実装まで辿り着くことができました。

現在、本商材はマーケティング活動を行っている最中ですので、気になる方は是非お問い合わせください。

—————————-

【参加者からのコメント】

■グーグル・クラウド・ジャパン合同会社 吉留様

“生活者の体験価値向上に向けた AI プロダクトの提案” という目標を掲げたハッカソンの取り組みにおいて Google Cloud をご活用いただきありがとうございました。ご参加いただきましたメンバーの皆様のアイディア力、開発力、また、短期間でプロジェクトを進めていく力こそ、様々な分野でのAI / ML 活用の加速に繋がるものだと思います。今後もAI /MLに関する新たな取り組みを楽しみにしております。

■グーグル合同会社 佐藤様

ハッカソン、お疲れ様でした！今回は様々なアイディアが生まれただけでなく、皆さん自身が手を動かしてデバイスやアプリのプロトタイプ製作まで行けたことは大変感慨深いです。AutoML VisionやSpeech-to-Text等のCloud AI製品の勘どころをすばやく実装に活かしていくスピーディーさに、皆さんの実力を感じました。ぜひ今回の成果を新しいビジネスの創生につなげていただければと思います。

■グーグル・クラウド・ジャパン合同会社 小野様

ハッカソン、お疲れさまでした！普段の業務もあるなか、各チームが目に見える形で毎回進捗を共有してくださったのでアイディアを形にするスピード感に驚きました。実生活の中で感じた課題や、あったらいいなを実現していく過程をご一緒させて頂き、我々のほうが楽しませてもらいました。今後も第2、第3のハッカソンと脈々と受け継がれ御社の新たなビジネスへとつながっていくところを間近で見せて頂ければと思います。

■Aチームリーダー 熊谷

企画から開発、プロダクトのプレゼンまでを経験でき貴重な取り組みとなりました。初めはアイディアがまとまらず焦った時期もありましたし、本当に作り切れるのか？と心配にもなりました。一度チームで集まることが出来たのがそういった不安を払拭するきっかけになりました。最後は業務との調整が難しくなりラボへの展示は滑り込みでしたが、トータルとして楽しい時間を過ごせたと感じていますし、エンジニアとして大きく成長できた取り組みでした。参加させて頂き大変光栄でした！

■Bチームリーダー 神山

短期間でプロダクト製作できた背景として多様なスキルを持つ人材がいるということがあります。専門的なスキルを有したり、使えるリソースが知られてなかったりと社内に見えざるリソースが存在することを実感しました。また、普段関われない部署とコラボし、横のつながりが経験出来たことはすごく良かったです。初対面の方々と初めてのGCPを活用して初めてのオンラインハッカソンという初めてづくしのことでしたが、無事プロダクト製作までできたことは非常に良い経験となりました。

■Cチームリーダー 杉尾

初めてのハッカソンで、ワクワクと不安な気持ちで参加しましたが、アイディア出しからはじまって、最終的にプロダクトを形にすることができ、楽しみながらやり切ることができました。Googleとの共有会では、アドバイスいただくだけでなく、社員同士のフランクなやり取りなどを見て、コミュニケーション面でも学ぶことがありました。取材やインタビューをしていただけたことも非常に光栄でした。来年もこのハッカソンがあれば、誰かに参加を勧めたいです。

—————————-

最終成果報告として、「AIサイネージ」と「ファンファンクッキング」、参加者からのコメントをご紹介しました。

ハッカソンを通して、なぜGoogleが世界に必要とされ、多くのプロダクトを高速に生み出すことができ、新しい技術に挑戦できるのか、我々の事業活動のキーコンセプトである「DX for CX」を実現するためのヒントを得ることができました。

ハッカソンの活動としては一旦終了となりますが、今後も提案活動、プロダクト開発などを進めてまいりますので、プロダクトを市場に出すことを目標に、技術的な課題解決、PoCを進めるパートナーを引き続き募集しております。

4回に亘りご覧いただきありがとうございました。

■過去記事

• AI・機械学習サービスを活用したプロダクト開発を行うハッカソンを、Google Cloudの協力により開催
• AI・機械学習サービスを活用したMVP開発を実施
• 企画提案・プロダクト開発フェーズへ移行　～Googleハッカソンvol.3～

eiicon companyが運営するメディア「TOMORUBA」にて、取材いただき、インタビュー記事をUPいたしました。

今回は、AIやセンサー技術、ブロックチェーン、5Gなどの先端テクノロジーを保有するパートナー企業とともに事業開発を加速させる開発部門にフォーカス。

テクノロジー視点を交え、アジャイル開発型での共創の取り組み実績をご紹介しています。

日本最大級のオープンイノベーションプラットフォーム“AUBA”では、先端テクノロジーを活用し、新しい価値を共に考え、議論しあえるパートナー企業を募集をしております。ぜひご覧ください！

https://tomoruba.eiicon.net/articles/2145

前回の記事でPRD（Product Requirements Document）作成とMVP（Minimum Viable Product）開発の様子をお伝えしました。

今回は、各チームのMVP開発後の活動と、最後にメディア掲載情報をご紹介します。

これまで

ハッカソンキックオフ後、3チームに分けれて、アイディエーションをおこない多くのアイディアを検討してきました。

その後、それらのアイディアの中から3案について開発を進め、開発したMVPに対し社内外からフィードバックを受け、顧客に価値提供できるのか、本当に必要な機能なのかを仮説検証してきました。

企画提案・プロダクト開発

本活動では、世の中に必要とされるプロダクトを開発し、世の中にアウトプットすることを目標としております。そのため、6月以降もMVP開発にとどまらず、企画提案やプロダクト（プロトタイプ）の開発を精力的に続けています。

各チームで進捗状況が異なるので、各チームからの状況をお伝えします。

■Aチーム

Aチームは、デジタルサイネージに関するサービスを検討しており、ビジネスモデルの検討、プロダクトのブラッシュアップ、提案書の作成などを行い、提案に向けた準備を進めております。

DNPでは、デジタルサイネージ事業に力を入れており、これまで多くのソリューションを提供してきました。

今回検討しているサービスもDNPのデジタルサイネージ事業とシナジーが強いため、DNPのデジタルサイネージ部門にアドバイスを頂きながら、企画案をブラッシュアップしています。

■Bチーム

Bチームは、実現可能性を明確にするために、ハード・ソフトの両面からプロダクト開発を進めており、現在は、試作デバイスの製作を実施しております。

ハード面では、3Dプリンタを活用して、様々な形状のデバイスを試作しています。できるだけスリムでカッコいいデバイスにするため、モジュールやセンサー、電池などの収納について、日々、格闘しています。

ソフト面では、GCPの画像認識、音声合成系サービスを活用しながら、文字認識の精度改善、音声合成のチューニングを行い、さらなるAI精度向上に努めています。

■Cチーム

Cチームは、MVPの時点で、非常に完成度の高いスマホアプリが完成していたので、企画提案に力を注いでいます。

スマホアプリという特性上、どうしても競合が多くなるため、独自性・差別化の実現に向けて、改めて市場調査とビジネスモデルの整理を行い、企画提案書の作成、および、提案先の検討を進めています。

また、プロダクトのブラッシュアップも進めており、新機能の追加やUI改善などにも取り組んでいます。

以上が、各チームの状況になります。

本ハッカソンでは、プロダクトを市場に出すことを目標に、引き続き企画提案・プロダクト開発を進めいきたいと思います。

その他：メディア掲載情報

8月末にGoogle Cloud Next OnAirキーノートセッション及びGoogleのメディアでハッカソンの取り組みが公開されました。

■Google Cloud Next’20: OnAir

米国時間8月25日にオンラインで開催された「Google Cloud Next’20: OnAir 」のキーノートセッションで、ハッカソン参加者2名のインタビュー、プロダクト・開発の様子が紹介されています。

詳細はこちらをご覧ください。

• Google Cloud Next OnAir キーノートセッション
• Google Cloud Next OnAir キーノートセッション（YouTube）

■Google Cloud公式ブログ

8月26日に本ハッカソンの取り組みについてインタビューの様子が公開されました。Google Cloud公式ブログでは、各チームのリーダー3名、事務局3名がリモートインタビューを受け、本ハッカソンの活動内容、各チームのプロダクト・開発などについてお話しています。

また、Google Cloud Japan公式Facebook、Google Cloud Japan 公式Twitterで上記の内容が展開されています。

詳細はこちらをご覧ください。

• Google Cloud 公式ブログ
• 大日本印刷株式会社：AI 活用推進への取り組み（YouTube）
• Google Cloud Japan 公式 Facebook
• Google Cloud Japan 公式 Twitter

本サイトにて、過去2回本ハッカソンの取り組みをご紹介しておりますので、ぜひご覧ください！

• AI・機械学習サービスを活用したプロダクト開発を行うハッカソンを、Google Cloudの協力により開催
• AI・機械学習サービスを活用したMVP開発を実施

前回の記事でGoogle Cloudとキックオフとアイディア出しの様子をお伝えしました。

今回は、Googleのプロダクト開発の初期フェーズで実施されるPRD（Product Requirements Document）作成とMVP（Minimum Viable Product）開発の手法を採用し、各チームの参加者から試行錯誤でチャンレンジした様子をお伝えします。

※ プロダクトに関するアイディアの概要・詳細は次回以降の記事で順次公開予定です。

【Aチーム】

Aチームでは多くのGCP（Google Cloud Platform）サービスを用いて開発に取り組んでいます。

主に使用しているサービスはVision API、AutoML Vision Edge、Google Maps Platform、Dialogflowで、AutoML Vision EdgeはRaspberry Piに組込みます。

AutoML Vision Edgeではサービスを利用しようとしている人の特定を行い、Dialogflowで利用者の発話を解析し、利用者とサービス側が会話できるような処理を加えています。

また、Cloud Functions、Compute Engine、AI Platformも積極的に活用し、画像認識、自然言語処理、音声認識など様々な技術に挑戦してきました。

試行錯誤ではありますが、日々ドキュメントを読み込みながら開発を進めており、クラウド環境ならではの素早い開発が出来ていると実感しています。

今後は学習データをより集め精度の向上を目指します。

【Bチーム】

BチームではText-to-SpeechやAutoML系のサービスを用いた文章や絵の分析結果を用いて、本をもっと楽しめるような仕掛け･臨場感を出せるようなMVPを開発しました。

技術的な課題もいくつか存在し、例えば、日本語の文章の分析が挙げられます。日本語は表現豊かな言語ですが、それゆえにAIで精確に分析するのは至難の業になります。

また、対象物の種類の特定も課題に挙げられます。たとえば電車の認識をしたいとき、一概に電車といっても、色や形、音など特長が異なり、一意に特定することはできません。

こうした課題に対して、私たちは様々な視点から解決策を模索し日々取り組んでいます。

【Cチーム】

CチームではAutoML Visionを使用して、食材の物体検出のモデルを構築しました。

MVP開発では検出対象の食材を4種類に限定し、各50～100枚の画像を用いてモデルを学習させたところ、8割程度の認識精度になりました。

本開発では、より多くの食材・様々な環境下でも認識可能なモデルを構築するために、質のよい学習データの収集、学習、精度検証が必要になる点が今後の課題になります。

また、企画部門・開発部門からのフィードバックを受けて、機能の改良が必要と考えています。

複数拠点かつリモートワークでの開発はあまり経験がなく多少の不安はありましたが、Web会議やGCPも活用しながら、各々の知見を十二分に発揮し、効率的に開発を進めることができました。

いかがだったでしょうか。

今回は180を超えるアイディアの中から、3つのアイディアに絞ってMVP開発を行い、Googleでも使われているドッグフードと呼ばれる、製品を社員で評価するという手法を取り入れ、Google Cloudのハッカソンメンバー、DNPの開発部門・企画部門100名近くの社員からフィードバックを受けました。

ドッグフードアンケートの中には、

・おぉ・・・！いいですね！

・調味料把握機能すごい欲しい。

・このようなサービスが欲しいと思っていました。

・ユニークなアイディアですね。

・実際知らない所に行ったときに、このシステムがあると便利だなと思いました。

といった、ポジティブな意見や、

・人物を検知するには、Vision API、AutoML Vision Edge、TensorFlowで実現可能だと思います。

・加工された画像は好ましくないので、様々な環境で撮影された画像を用意する必要がある。

・翻訳機能もあると便利だと思いました。

・雑音がある場所でも使えるかが気になります。

・ビジネス的には、人の流れとか行き先とかをデータ化して別の活用もできたらよい。

といった、ユーザ視点で欲しい機能、技術・ビジネス視点の意見など、様々な意見をいただくことができました。

これらのアンケート結果を踏まえながら、より良いプロダクト開発に向けて進めていきたいと思います。

ということで、次回の活動報告にもご期待ください！

2020 年 2 月 27 日に大日本印刷株式会社（以下、DNP）は、グーグル・クラウド・ジャパン合同会社（以下、Google Cloud）の協力によりハッカソンをスタートしました。このハッカソンでは、Google Cloudで提供されているAI・機械学習サービスを活用したプロダクト開発を行います。

DNPからは、全国の開発拠点から選抜した15名が、Google Cloudからは4名のエンジニアが参加し、社会に対してプロダクトの発表を目指して日々活動中です！

DNPは、情報コミュニケーション分野では、生活者の価値感やライフスタイルが大きく変化する中で、商品やサービスの価値を最大限に高める「最高のカスタマーエクスペリエンス（=CX）」を実現することを目指し、デジタルトランスフォーメーション（=DX）を推進するという「DX for CX」をキーコンセプトとした事業活動を推進しています。そのためのデジタル人材育成にも積極的に取り組んでいます。

昨年（2019年）、DNPがAI搭載の自動走行カーの大会で世界一になったことをきっかけに、「AIにチャレンジしたい！」と多くのエンジニアがAI技術に興味を持つようになったため、次なるステップとして、Google Cloud の協力のもとでハッカソンをスタートさせました。

ハッカソンでは、AI技術を活用したプロダクト開発だけではなく、新しいアイデアの立ち上げに伴うリスクを軽減するために作られた Google のデザイン スプリント フレームワークに触れる機会を創出することも目的としています。

なぜGoogleが世界に必要とされるプロダクトを生み出すことができるのか・・・

なぜGoogleが多くのプロダクトを高速に生み出すことができるのか・・・

なぜGoogleが日々新しい技術に挑戦できるのか・・・

そのヒントを、ハッカソンを通じて得ることができるのではないかと考えています。

また、今回のハッカソンでは、AIを搭載した什器など、DNPの強みである「ものづくり」も意識し、Google Cloud × DNPならではの、社会に役立つプロダクトを開発していきたいと思っています。

一方、Google Cloud は今回のハッカソンを通じ、 Google Cloud Platform（以下、GCP）を活用することで、アイデアを簡単に素早く形にすることができることを体験して欲しい、 GCPのメリットを実際の体験として知って欲しい、という思いで参加しています。

この取り組みが始まったのは、2020年2月末。

COVID-19対策で、ハッカソンの活動はリモートワークが中心となりましたが、Google Meet などのツールを使用してディスカッションを行いました。

普段はアプリケーション開発を主業務としているエンジニアですが、試行錯誤しながら、180を超えるアイデアが生まれました。

4月21日、180を超えるアイデアの中から、MVP（実用最小限の製品： Minimum Variable Product）として開発するテーマを決定しました。

MVPは「まず短期間で動くものを作ってみる」という、Googleの製品開発にも取り入れられている手法となります。資料ベースのアイデアから最終的に開発するプロダクトを決めるのではなく、MVPでアイデアを形にして、様々なフィードバックを得た上で、開発プロダクトの絞り込みを行っていきます。

早速Googleの手法を取り入れ、5月にMVPの開発に取り組んでいます。

次回は、MVP開発の様子をお届けいたします！

オープンイノベーションプラットフォームeiicon(※)に取材していただきました。

今回は、「CO-CREATION」の共創テーマに掲げている「AI活用 次世代ショールーム店舗」において、IoT／エッジコンピューティング領域に強みを持つスタートアップ、ラトナ株式会社と共創を進めるに至った背景やそのプロセス、11月末より約1か月行った実証実験によって得られた成果、今後の共創ビジョンなどについて、取材をしていただきました。

ぜひご覧ください！

詳しくは以下のURLをご参照ください（2020年1月10日　eiiconより）

https://eiicon.net/articles/1429

(※)eiiconは、全国各地、あらゆる業界の法人(企業・大学・地方自治体など)の提携パートナーを探し、つながることのできる日本最大級のオープンイノベーションプラットフォームで、多くのスタートアップ企業からも注目されているメディアです。

最新のIoT機器を体験できる次世代型の店舗「boxsta（ボクスタ）」を開設

来店客の行動をセンシング・AIで分析してマーケティングデータを収集

大日本印刷株式会社（本社:東京　社長:北島義斉　資本金:1,144億円　以下:DNP）は、未発売を含む最新のIoT機器（ガジェット）を実際に体験できるショールーミング店舗「boxsta（ボクスタ）」を2019年11月28日（木）～12月25日（水）に、渋谷スクランブルスクエア（東京都渋谷区）2階POPUPスペースで運営します。

DNPはスタートアップ企業への新しいマーケティング手法を提供するために店舗を開設します。来店客に対して、専門スタッフによる商品説明や新製品の体験を提供するほか、出品企業に対しては、ラトナ株式会社との協業により店内のカメラとマイクで来店客の動きや声などをセンシング（計測～数値化）し、AIで解析してマーケティングデータとしてフィードバックします。

詳しくは以下のURLをご参照ください（2019年10月28日　DNPニュースより）

https://www.dnp.co.jp/news/detail/1193104_1587.html

ラトナ株式会社のニュースについて、詳しくは以下のURLをご参照ください。（2019年10月28日　PRTIMESより）

https://prtimes.jp/main/html/rd/p/000000010.000042416.html

大日本印刷(社長：北島 義斉、以下DNP)は、ラトナ株式会社(代表取締役 : 大田和響子、以下Latona)と、このたび、「AI活用次世代型ショールーム店舗プロジェクト」における事業・技術提携を致しましたことをお知らせします。