【勉強会メモ】Google I/O 2018 報告会 関西 in 京都

gdgkyoto.connpass.com

• 日時：2018/05/19(土) 12:50 〜 18:00
• 場所：NISSHA株式会社

GDG主催のGoogle I/O報告会が全国各地で開催され、関西はGDG京都とGDG神戸の共催で行われました。最初に全国各地の報告会をハングアウトで繋いで全体的な話があり、その後は各地でそれぞれのセッションが行われました。関西ではAndroid Thing、Firebase、Assistant、AR/VRが主なテーマでした。AssistantはVUIの単一アプリの実現から利便性の領域へやっと踏み込めるようになってきた印象です。各技術でAIの活用が広がっており、昨年掲げた「AIファースト」が着実に浸透していると感じます。一方で「Digital wellbeing」はAI浸透によってより強くなったテクノロジーとの関わり方を改めて考え直す問題提議のように捉えました。わずか1年で社会問題にまでにまで踏み込むスピード感はさすがGoogle先生だなと感じます。

events.google.com

• 5/8-10開催
• 参加者7000人以上
• 157セッション
  • Assistant:17
  • VR/AR:9
  • Android &Play:58
  • Web:30

www.blog.google

全体俯瞰

1. Bringing the benefits of AI to everyone

• AIが全てのものに取り込まれていく
• Assistantが様々な場面で登場
• Gmailでこれから書くメールの内容を予測
• Google Assistant は6つの声で展開
• Duplex
  • アシスタントが電話をかけて予約をしてくれる
• Google Photos
  • 人だけをカラーにして背景をグレースケースにする
• Google Lens
  • カメラに写っているものが何かを教えてくれる
  • レストランのメニューを写真を撮って文字をスキャンしてテキスト化
• AI+Health
• Android P
  • バッテリーの効率化
  • アプリ一覧で使いたいものを予測して一番上に出す
  • Developer Previewが出ている
  • 日本で使える（技適通過）はEssential Phone
• ML Kit for Firebase
  • Textや画像のレコグニショｎン
• Google Maps
  • Your Match
  • ARのサポート

2. Top news from top sources

• Material Theming
  • 新しいマテリアルデザイン

3. Digital wellbeing

• スマホをどのくらい利用しているか計測して画面を暗くするなどのコントロール

Developer keynote

• Android P
  • Jetpack
  • App Bundle
    • 必要なリソースだけを配信
• Android Things
  • バージョン1
• Web
  • PWA
• Chrome OS
  • Linuxが動いてAndroid Studioが動く
• Flutter
  • beta 3
  • 様々な活用事例
• Material Design のアップデート
  • 制約が厳しくてGoogleのアプリっぽく見えてしまう
  • 幅広く活用出来るようにする
  • ボタンを丸以外の表現
  • ブランドのデザインごとにマテリアルデザインを採用しやすくなっている
  • Component
    • Android,iOS,Flutterなどに対応
• Firebase
  • ML kit for Firebase
    • 5個の機能が使える
• Community
  • Importance of Developer

Android Things

久保田さん

docs.google.com

What's new in Android Things

• I/O 2017で発表
  • Developer Preview 4,5,6,7
• I/O 前日に1.0発表

セッション

• ハードウェアの製造プロセスに関するセッションもあった

これまでのIoTデバイス開発

• 一貫性の無い開発体験
  • OS,IDE,言語
• デバイス製造が高コストで遅い
• セキュリティの問題

After Android Things

• Android のエコシステムを利用
• SoMを利用したプロトタイプからのスケーリング
• Googleによるセキュリティのアップデート

System-on-module (SoM) architecture

-AOSPでもいいのでは？ - Android Thingsはfullマネージドのソリューション - Turnkey Hardware - すぐに使える状態のハード - Google Managed BSP - LTSは最低3年はセキュリティパッチ - OSの利用に関してライセンスフィー等は一切かからない - SoMサポートは現在４つ - LTS3年は短い？ハードウェアで3年は短い？ - SoMは次のバージョンも対応される予定

Supported platforms  |  Android Things  |  Android Developers

Android for IoT

• セキュリティアップデートはGoogleから提供
• IoTデバイス向けに不要なコード（アプリ）を削除
• ハードウェア周辺機器を利用するためのライブラリを追加
• Android Things Support Library
  • AOSPはハードウェア制御のコードを書かないといけない
  • Android ThingsはSupportライブラリが提供
  • 普通にJavaのコードでGPIOの操作などができる

App & Services

• IoTデバイスのアプリ作成にAndroidのエコシステムを持ち込むことで高速な開発を実現
• Android Studio
• Play Services
  • Firebaseなど
  • Nearby Setup API
    • 近距離通信で設定情報を送受信
• 3rd party ライブラリ
• Management console
  • 管理コンソールからOTAの制御、アップデート状況のモニタリングができる

これからのIoTデバイス開発

• Androidのエコシステムを利用
• SoMを利用したプロトタイプからのスケーリング
• Google によるセキュリティアップデート

Q) SoMについて

• Android Thingsのコアな部分だけで構築される
  • ラズパイなどはUSBが4ポートなど使わなくてもついている
  • そういうものは自分でハードウェアを構築する
• SoM＋自分の必要なハードウェアを設計

Q) ライセンスフィーがかからないけどどこでビジネスするのか？

• IoTはだいたいネットに繋ぐ
• Chromeと同じ答え

What's New in Firebase

Khanh LeVietさん

Google Analytics for Firebase

• AnalyticsはWebに特化したもの
  • アプリの世界ではPage Viewとかそもそもあまり意味がない
• アプリ向けに作り直している
• Project Level Reporting
  • Android版とiOS版のアプリを一緒に見れる

Firebase Crashlytics

• 2017年1月に買収してFirebaseに組み込まれた
• I/OでBETAが取れた
• CrashlyticsとAnalyticsの連携
  • Crashの再現方法を探るのは大変
  • Analyticsと連携によってCrashが起きるまでの過程でユーザーが取った行動がわかる
• Firebase Crash ReportingからCrashlyticsへの移行推奨

Firebase Performance

• I/O 2017でBETA版発表
• 今年正式版になった
• 大きく2つのパフォーマンス測定
  • アプリの起動トレース
  • ネットワーク通信のレイテンシー
• 今まではパフォーマンスが良いか悪いかは教えてくれなかった
  • パフォーマンスが落ちたなどの課題を教えてくれるようになった
• Renderingの指標が追加
  • どの画面がどれくらいのパフォーマンスか

firebase.google.com

Firebase Test Lab

• 自動的にテストしてくれる
• I/O 2017で発表示はAndroidのみ対応
• 今年iOS追加（クローズドBETA）

ML Kit for Firebase

• 機械学習をモバイルアプリに組み込みやすくする機能
• MLによる新しいユースケース
  • Google Translate⇒カメラで撮影した文字を翻訳

Doable, but hard.

1. 学習データを集めるのが大変
2. MLモデルをサーバからモバイルアプリに持ってくるのが大変
3. アプリのバイナリサイズが大きくなる

⇒難しさを軽減する

What's ML Kit?

1. iOSとAndroid SDK
2. Base APIとカスタムモデルのサポート
3. デバイス上とクラウドでMLモデル実行
4. Firebaseとの連携

Base APIs

• Text Recognition
• Barcode scanning
• Face detection

など5つのBase API

Smart Reply API（Comming Soon）

• Gmailの返信サジェストのような機能

ML Kitをアプリに組み込む

• on device⇒機能制限あり
• cloud⇒精度が高い
• iOS⇒pod install
• Android⇒build.gradleに書く
• Cloudとon-deviceはクラス名を変えるだけ

デモ

• 顔の目や鼻などの部位をリアルタイムで認識
• 写真に髭を付けるなどのユースケースが考えられる

Custom models

• TensorFlowで作って組み込む
• ML Kit経由ならMLが必要なタイミングでモデルをDLして実行
• Firebase Remote Configを使うとモデルのABテストができる

Compression/Conversion of TF models

• 現状はモデルの圧縮と変換は手動でやる必要がある
• 今後はFirebaseでやってくれるようになる

Q) C++対応している？

• まだ一部
• いずれ全て対応

Q) Face Recognition

• 人物識別できる？⇒できない
• カスタムモデルで似たようなものはすでにある

Q) バーコードスキャンニング

• 似たようなライブラリは既にあってそんなに難しくないのにあえてML Kitにあるのはなぜ？
• ML Kitのパッケージに集めて開発者が選びやすくするため
• 現在5つだが今後どんどん増やしていく

Google Assistant, VR/AR

山口 能迪さん

Google Assistant

ユーザーの視点のアップデート

• 6 new voices
  • John Legend's Voices（アメリカのソウル歌手）
  • 日本はまだ
  • 今年の後半に各国順次展開
• 続けて質問する時に毎回「OK, Google」を言わなくて良い
  • 回答が返ってきて5秒間は待機状態になる
  • 自然な対話形式になる
  • まずは英語だけで随時他の言語も対応
• Multiple Actions
  • 天気を聞いてそのあと電気を点けるようなことができる
• Pretty Please
  • Assistantに命令口調は子供の教育などに良くない
  • Family link
    • 子供がいる場合は家族向けのYoutubeチャンネルを見せるなど
  • Pleaseをつけると「丁寧に言ってくれてありがとう」と答える
• Smart Display
  • タブレットサイズのディスプレイ付きスピーカー
  • Assistant向けのアプリの開発も少し考慮が必要になりそう
  • OEMでいくつかの企業が既に販売
• Food Pickup
  • 日本はセブンイレブンが既に導入
  • Assistantで商品を注文
  • 「いつものコーヒー」を理解
  • 今年の後半に利用可能になる予定
• My Day
  • Googleアプリに出てくる天気とか予定の表示と同じものがAssistant画面にも出てくる
  • 今年の夏ごろにAndroid
  • iOSは今年後半
• Google Assistant in Google Maps
  • ナビ中でもAssistatが動いて質問できる
• Routine Suggenstions
  • 毎日するような事も毎回言わないとダメだった
  • Assistantに会社に行くと伝えるだけで以下のようなやりとり
    • 今なら100号線を行くのが良いですよ
    • スターバックスアプリを呼ぶ
    • 途中でいつものコーヒーを買いますか？
    • 注文できる
    • いつものニュースを流す
• Google Duplex
  • Assistantが電話して美容室の予約

開発者向けアップデート

• Built-in Intent
  • 「○○につないで」と言わないでもアプリを使える
    • 例）Dialogflowにゲームをしたいというだけで反応するように登録
  • 音声デバイスの場合は一番よく使われているアプリが反応
• Multimodal Conversation
  • 音声デバイスだけでなくディスプレイ付きデバイスやAndroidTVなど
  • いろんなデバイスを考える必要がでてくる
• App Action
  • Googleで検索でアプリを呼べる機能
  • action.xmlでbuild-in intentへの反応を設定
  • Gmailでテキストを選んだ時にレストランのメニューだったらレストランアプリを起動
  • 検索した時に関連するアプリが呼べるようになる
• Android Slices & App Action
  • Google Assistantの中でもApp Actionが発動
  • Assistantの中でアプリの一部のActivityを起動して使えるようにできる
• AMP in Google Assistant
  • Assistantの中でレシピやニュース、Poodcastが表示される
  • 専用のAMPページを作っておくとGoogle Assisantのストアに勝手に登録してくれる
• Action Link
  • Assistantアプリを作って拡散する方法がなかった
  • アプリの一意なLinkを生成できる
  • Assistantアプリのマーケティングなどができるようになった
• AoG Community in Japan

VR/AR

• VRのアップデートは無し

ユーザー向けアップデート

• AR Support on Google Maps
  • MapにARで風景を表示
• VPS…Visual Posisioning Systemを使っている
  • 去年のIOで発表
• Google Lens
  • 写真撮ってGoogle Lens
  • カメラアプリで使えるようになる
  • SONY製Androidのカメラは近々使えるようになる
• Smart Text Selection
  • 文字を写真に撮ってテキスト化
  • 文字から検索
• Realtime Result
  • リアルタイム検索
  • 写真を撮らなくてもその場で結果を返す
  • クライアント側とサーバ側の両方で予測

開発者向けアップデート

• ARCore 1.2
  • Vertical Surfacee Detection
    • 水平面だけでなく垂直面に対応
  • Augmented Images
    • 3Dモデルを埋め込む
    • お菓子の箱（実物）の中に3Dモデルを埋め込む
  • Cloud Anchors
    • 複数人の端末でオブジェクトを共有
  • Sceneform
    • ARCoreのモバイル端末向け専用SDK
    • OpenGLの煩雑なコードが必要なくなった
  • Poly Toolkit
    • 3Dモデルをあらかじめ準備して公開
    • Unityのプラグインで使う
  • AMP in Google Assistant
    • 手順はセッション動画参照

www.youtube.com

Q)5秒待つのを場合によっては長くしたい

• 今はできない
• 開発チームにフィードバックしておく

Q) OK Google 以外の言葉で反応させたい

• CMなどの音声を拾っても反応しないようにしている
• モデルを小さくしてデバイス自体に入れている
• 任意の言葉にするとモデルが大きくなって今のスピードで反応できなくなる

ML Model Demo

中村 悟さん

ML model + IoT data = a smarter worldの裏話

www.youtube.com

Smart Shopping Navigator

• IoT Coreを使う
• Cloud ML Engine（トレーニングと予測）を使う
• 端末側では何もやらない

実現イメージ

• RasPiで買い物を楽しくする
  • カメラとタッチパネルのディスプレイ
• 買い物かごに何が入っているかを検知する
• 検知した内容によってレシピを提案する
• 他に必要な食材とそれがどこに売っているかを表示
• ユーザーがどこに行くかを予測して買い物をナビする
• デモ用に食品サンプルを買ってきて画像データ化

Technical Internal

• ML models
  • Tensorflow Object Detection API
• SSD+mobilenet v1⇒1秒ぐらいで返す

Difficulties

• そもそもクラウドでやる必要ある？⇒話術でカバー
• CC-0の画像が少ない
  • pixabayにたくさんあった

pixabay.com

• アメリカのレシピ少ない
  • 文化の違い？

作ったもの

github.com

Q) 野菜の画像を改めて自前で学習させた？

• 光の加減などの関係で改めて学習させた
• githubにあるのでよければ使って

Q) 野菜の種類によって精度に差がある

• 転移学習で100枚ぐらい学習した
• AndroidThings版も作ろうと思っている

はじめてのGoogle I/O

@kwmt27 さん

What's new Android Accessibilityセッションの紹介

www.youtube.com

セッション

• Acessibilityの全体的な話
• Android Pの新機能
• Lookoutというアプリを開発中

• ユーザーエクスペリエンスリサーチ

• Sound Amplifier

  • 環境音がうるさい時に音を下げる
• Accessibility Menu
  • 電源OFFとか音量調整などの機能を片手で簡単に調整できる
  • ホーム画面の右下にボタン
• Select to Speak with OCR
  • Select to SpeakにOCR機能追加
  • カメラを向けてテキストを選択するとそのテキストを読み上げる
• よりAccessibleにするためのAPI
• Framework Features
  • バイブレーション調整
  • アニメーション削除
  • Volume keyでのAccessibilityショートカット
    • 色補正、色反転
    • 3秒押すのが1秒に短縮

Women Techmakers in I/O 2018

兼高さん

www.womentechmakers.com

• Google I/O 7000名中女性の参加者は1800名

テック回の女性の活躍と交流を支援

• Dinner（お食事会）
• MeetUp（交流会）
• Group Photo（集合写真）

Women Techmakrsとは

• 女性の参加を引き出す
  • その存在の明示
  • 励まし合うためのコミュニティ活動
  • キャリアプラン（スキル獲得）のためのリソース支援を提供する

日本での取り組み

• 国際女性デーに合わせて日本でも行われている

www.internationalwomensday.com

Dinner詳細

• 5/7 17:30-21:00
• I/O前日にバイキング形式の食事とドリンク提供
• 授乳室と託児所あり
• おみやげアリ
• スピーチ（英語）
• ダンス

MeetUp

• 3日間それぞれ開催
• Community Lounge内で開催
• お互いを紹介するための記名シート

Group Photo

• I/Oロゴ前
• 5/9のMeetUp後
• 写真はまだ公開されていない

まとめ

• さまざまな職歴と経験を持つ世界中の女性とのコミュニケーション支援
• 英会話は大前提
• 相手の文化を事前に知っておく
• テック界とは知的エリートの職域

GDG Global Organizer Summit

藏野さん

• 前々日にディナー
• 前日にSummit開催
• 厳密にはGDGとGoogle技術コミュニティのSummitに分かれる
• 基調講演や懇親会
• GDGプログラム、は11年目
• 京都は今年10年目

Project Hoverboard

• Firebaseで作成
• コミュニティのイベントなどのサイト管理