Talk about AI integration service and using in education.

1. AI in Classroom – Ryan@iii.org.tw
Ryan@iii.org.tw
1

2. AI in Classroom – Ryan@iii.org.tw
養成班導師 / 課程總監
正工程師
Senior Engineer
專案經理 / 組長
課程講師 / 工程師
網站開發、APP開發
語音助理、Chatbot應用
AI服務整合
行動開發學院
APP開發養成班
AI養成班
Microsoft MPP
企業包班培訓
未來之星-菁英培訓
AIGO
AI產業出題
新南向合作
國際出解題
Ryan Chung @ III ( Since 2005)
Web
就業養成 企業轉型 國際落地
APP AI

3. AI in Classroom – Ryan@iii.org.tw
AI產業出題徵集 / 培訓 / 演講
3
產業出題說明(台中市政府) 產業出題說明(太陽光電協會) 產業出題說明(資策會AI養成班)
AI 聊天機器人開發(亞東醫院) AI在台灣教育應用現況(越南河內國家大學)

4. AI in Classroom – Ryan@iii.org.tw 4
資策會數位教育研究所
Invest talents , create future.
投資人才、創造未來
創新 – For pupils to experience learning differently than before.
提升 – For adults to learn better than before.
永續 – For elderly to learn as well as before.
讓中高齡者，跟以前一樣的學習。
讓在職者，學得比以前更好。
讓在學者，學以前沒學過的。

5. AI in Classroom – Ryan@iii.org.tw 5
資策會學員進入台灣頂尖百大企業
5

6. AI in Classroom – Ryan@iii.org.tw 6
全方位教育解決方案
6
我們的主場
引爆學習的力量
你是孩子的關鍵
學校
內容
上學 老師
尊重每個人都很特別
適性
從聰明到睿智
銀髮
留給準備好的你
工作
都想要加薪
你我
我來幫你一把
創業
捲起袖子一起來
社創
智慧校園科技 智慧學習教材 偏鄉教育 師資增能培訓 特殊教育學習
降低失業率 輔導青年創業 提高薪資 社會創新活動 樂齡教育
再遠也要跟你一起

7. AI in Classroom – Ryan@iii.org.tw
人工智慧 AI
• Artificial Intelligence
–也稱為MI (Machine Intelligence)
–以智慧代理人(Intelligent Agent)形式呈現
–模擬人類進行學習、問題解決
–能夠感知環境的變化，以最可能達成目標的
方式，自動進行應變。
https://en.wikipedia.org/wiki/Artificial_intelligence
7

8. AI in Classroom – Ryan@iii.org.tw
IT 技術集大成
網站開發 APP開發
語音助理
Chatbot
資料科學 巨量資料 智慧系統
AI
人工
智慧
8

9. AI in Classroom – Ryan@iii.org.tw
Workplace Safety Demo
9
https://www.youtube.com/watch?v=pL-c00M2CnI

10. AI in Classroom – Ryan@iii.org.tw
Gartner 2019 十大策略性技術趨勢
 Autonomous Things 自動化生態
– 例:無人機巡視農場，通知無人耕耘機開始耕作
 Augmented Analytics 擴增分析
– 運用機器學習與自然語意分析來輔助資料收集
 AI-Driven Development AI導向式開發
– 2022年，至少40%以上的應用程式，會需要有人工智慧相關專家合作
 Digital Twins
 Empowered Edge
 Immersive Experience
 Blockchain
 Smart Spaces
 Digital Ethics and Privacy
 Quantum Computing
https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2019/
10

11. AI in Classroom – Ryan@iii.org.tw
Gartner 2020 十大策略性技術趨勢
 Hyper-automation 超自動化
– RPA(Robotic Process Automation)、iBMPS(Intelligent Business
Management Software)
 Multi-experience 多重體驗
– 例如達美樂結合自駕車、披薩追蹤器與智慧音箱來送餐點餐
 Democratization 科技普及化
– 應用開發、資料分析、設計與知識，例如自動產生分析模型
 Human augmentation 認知強化
 Transparency and traceability
 The empowered edge
 The distributed cloud
 Autonomous things
 Practical blockchain
 AI security
https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2020/
11

12. AI in Classroom – Ryan@iii.org.tw
產業AI化調查
AI Adoption in the Enterprise
來源：O'Rreilly (2019/2)
整理：AIGO計畫辦公室
12

13. AI in Classroom – Ryan@iii.org.tw
調查重點方向
釐清
組織架構
了解
導入現況
13

14. AI in Classroom – Ryan@iii.org.tw
詢問重點
AI研發專案預算
使用哪些AI技術
有什麼樣的資料
導入後對公司的哪些業務有幫助
最大的阻礙是什麼
現有的技術門檻是什麼
是否會有風險
用哪些工具
14
Source:mycipc.com
調查時間：2018年11月中
調查份數：1300

15. AI in Classroom – Ryan@iii.org.tw
關鍵發現
15
81%的企業宣稱已在使用AI
withmartijn.com

16. AI in Classroom – Ryan@iii.org.tw
關鍵發現
16
60%的企業僅會花費
少量IT預算在AI上。
60%
20%
20%的企業會花費
顯著IT預算在AI上
robertjsmithtx.com

17. AI in Classroom – Ryan@iii.org.tw
關鍵發現
17
企業中導入AI的障礙有
缺乏資料 缺乏人才
公司文化 缺乏前例

18. AI in Classroom – Ryan@iii.org.tw
關鍵發現
• 最多應用的領域有
18
客戶服務 工作流程 硬體設施
財務金融運輸管理 廣告行銷
dlpng.com

19. AI in Classroom – Ryan@iii.org.tw
AI導入程度自評
19
Level 2 成熟導入(27%)
Level 1 測試階段(54%)
Level 0 尚未開始(19%)
具影響力
已將AI導入正式產品
概念驗證 PoC
少量測試
研究、評估
尋找切入點
資通訊
金融
教育
醫療
媒體
公部門

20. AI in Classroom – Ryan@iii.org.tw
AI方法使用排名
 監督式學習 63%
 深度學習 55%
 Model-based 方法 48%
 非監督式學習 41%
 Active Learning 31%
 Knowledge graph 28%
 增強式學習 22%
 Planning & Reasoning 16%
 Transfer Learning 16%
 Simulation platform & digital twins 14%
20

21. AI in Classroom – Ryan@iii.org.tw
AI工具使用排名
 TensorFlow 55%
 Scikit-Learn 48%
 Keras 34%
 PyTorch 29%
 Azure ML Studio 17%
 Google Cloud ML 16%
 Spark NLP 16%
 Amazon SageMaker 12%
 H2O 8%
 spaCy / Prodigy 8%
21

22. AI in Classroom – Ryan@iii.org.tw
Summary for AI Adoption Survey
• 企業在導入AI過程中，仍有許多疑慮
– 責任歸屬
– 法規適用性
– 倫理與道德
– 模型是否透明且可解釋
– 變異性與公平性
– 可靠度與安全
• 多數企業認為，現階段AI導入時，風險管理比績效
管理更為重要
• 能夠清楚策畫出使用案例的專案經理，將是AI導入
過程中的靈魂人物
22

23. AI in Classroom – Ryan@iii.org.tw
產業AI化
• 健康檢查
• 預約看診
• 診間服務
• 用藥諮詢
• 居家照護
智慧CRM
重
直
產
業
領
域
水 平 共 通 領 域
影像辨識 自然語言 預測模型
醫 療 製 造 零 售 資 服
無人商店工業4.0 + AIoT異業結盟
• 圖片識別
• 人臉辨識
• 語意分析
• 語音助理
• 趨勢方向預測
• 數據分析預測
• 需求預測
• 智慧排程
• 意外偵測
• 瑕疵檢測
• 智慧監控
• 商品陳列
• 物流金流
• 消費行為
• 庫存管理
• 進出管理
• 系統整合
• 內部營運
• 外部服務
• 資料庫管理
• 疾病預測
• 語音客服
• 數據分析
• 智慧提醒
• 意外警示
• 供應鏈管理
• 生產製造
• 工業安全
• 品質管理
• 物流運輸
• 商品推薦
• 物流自動化
• 結帳商品識別
• 消費行為分析
• 叫貨預測
• 流程自動化
• 公文辨識
• 客服機器人
• 關聯分析
• 智慧門禁
10%12%10% 31%

24. AI in Classroom – Ryan@iii.org.tw
學習產業AI化
24
教材資料庫
題庫
教材設計
個人用戶
營運服務
通路
應用服務顧問
企業用戶
組織用戶
終端用戶
平台服務
行政管理 雲端數據教學管理
技術服務
E化教學
師資培訓
教學設計
教學服務
內容教材
平板電腦 個人電腦智慧型裝置
內容載具
電子白板
智慧終端
攝影機
投影機
教室建置
硬體設備
語音助理 Chatbot
巨量資料分析
教室氣氛分析
互動投影
雲端實作Lab
個人化學習
教學機器人
智慧學習
路徑預測
成效預警
市場預測

25. AI in Classroom – Ryan@iii.org.tw
依產業別看AI導入成熟度
金融
資通訊
導入程度
需
求
程
度
物流
能源
媒體 汽車
醫療

26. AI in Classroom – Ryan@iii.org.tw
AI 成熟度階段
Source: Ovum

27. AI in Classroom – Ryan@iii.org.tw
AIGO 109系列活動
AI技術門檻
產
業
需
求
程
度
難易
高
低
挑戰賽
AI技術門檻高
產業需求程度高
創意賽
AI技術門檻低
產業需求程度高
學界專題合作
AI技術門檻高
產業需求程度低
解題賽
AI技術門檻中
產業需求程度高
http://aigo.org.tw/

28. AI in Classroom – Ryan@iii.org.tw
Successful Case : Chest X-rays Classification
Machine
Learning
Python Programming
Domain Experts
Data Labeling
Cloud
Computing
GPU Resources
Dataset
NIH Chest X-rays
28

29. AI in Classroom – Ryan@iii.org.tw
電商案例：德國電商Otto
• 分析交易資料，預測使用者一週後要買什麼
• 每個月自動從第三方選購20萬個商品
• 導入後，多餘庫存量減少五分之一
Source: AI全面來襲 天下雜誌特刊
29

30. AI in Classroom – Ryan@iii.org.tw
AWS AI
https://aws.amazon.com/machine-learning/
30

31. AI in Classroom – Ryan@iii.org.tw
AWS AI
https://aws.amazon.com/machine-learning/
NEW NEW NEW
31

32. AI in Classroom – Ryan@iii.org.tw
New AWS AI Services
• Amazon Forecast
– 與Amazon.com本身使用相同的技術架構。透過組合時間序列資料
以及附加的一些變數來建構預測分析。
• Amazon Personalize
– 即時提供個人化推薦。只要提供由你的應用程式所產生的活動數據，
例如Page View, 註冊資訊, 購買記錄等等。然後再提供你想推薦的
內容，如文章、產品、影片或音樂等，Amazon Personalize會依
據你提供的資料產生模型。
• Amazon Textract
– 從掃描文件中自動萃取出文字的服務。不只是文字，也能夠從表格
中取出數據的格式與資訊。
– 你可以加速文件處理流程，也能夠建立智慧搜尋索引，例如看到什
麼內容就自動簽核通過。
32

33. AI in Classroom – Ryan@iii.org.tw
AWS AI
https://aws.amazon.com/machine-learning/
NEW
33

34. AI in Classroom – Ryan@iii.org.tw
Amazon AI 應用服務
• 推薦系統
–Two Decades of Recommender Systems at
Amazon.com
• 語音助理
–Amazon Alexa
• 無人商店
–Amazon Go
34
Source:The Verge

35. AI in Classroom – Ryan@iii.org.tw
Amazon Comprehend
• 語言識別、關鍵資訊擷取、理解正面負面
https://aws.amazon.com/tw/comprehend/
35

36. AI in Classroom – Ryan@iii.org.tw
Amazon Polly
• 文字 -> 語音
• 接近真人語音
• 52種聲音、25國語言
• 速度快、準確度高
• 可重複播放使用
36

37. AI in Classroom – Ryan@iii.org.tw
SSML
• say-as
–一個字一個字念
• prosody
–可調整速度、大小聲
• lang
–可以穿插別國語言
https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html
37

38. AI in Classroom – Ryan@iii.org.tw
使用案例
• 將RSS訂閱內容轉換成廣播節目
• 在行動裝置上「聽」你所喜愛的部落格內容
https://github.com/aws-samples/amazon-polly-sample
38
Source: meccanismocomplesso.org

39. AI in Classroom – Ryan@iii.org.tw
模擬多人對談
39
https://developer.amazon.com/docs/custom-skills/speech-synthesis-markup-language-ssml-reference.html

40. AI in Classroom – Ryan@iii.org.tw
微軟認知服務
https://azure.microsoft.com/zh-tw/services/cognitive-services/
40

41. AI in Classroom – Ryan@iii.org.tw
辨識服務 MS Cognitive Service
• 辨識
– 可聰明地識別、標示及 控管圖片的影像處理演算法。
• 知識
– 對應複雜資訊和資料，以解決 智慧建議和語意搜尋等工作。
• 語言
– 讓您的應用程式能夠透過預先建置的指令碼處理自然語言、 評估情感，以及了
解如何辨識使用者想要的項目。
• 語音
– 將語音轉換成文字、使用語音來驗證，或將說話者 辨識新增至您的應用程式。
• 搜尋
– 將 Bing 搜尋 API 新增至您的應用程式，並充分利用 以單一 API 呼叫合併數十
億個網頁、影像、影片和新聞的能力。
41

42. AI in Classroom – Ryan@iii.org.tw
影像識別：圖片網址
• 輸入圖片網址，可回傳圖片資訊
42

43. AI in Classroom – Ryan@iii.org.tw
選取 Computer Vision API
https://azure.microsoft.com/zh-tw/services/cognitive-services/computer-vision/
43

44. AI in Classroom – Ryan@iii.org.tw
同意條款並登入帳號
44

45. AI in Classroom – Ryan@iii.org.tw
進入 Azure
• 左下角 More services -> Cognitive Services
https://portal.azure.com
45

46. AI in Classroom – Ryan@iii.org.tw
建立服務
46

47. AI in Classroom – Ryan@iii.org.tw
取得 API KEY
47

48. AI in Classroom – Ryan@iii.org.tw
測試
• 下載範例
• 填上API KEY，開始測試
48
https://github.com/ryan403/ImageRecognition

49. AI in Classroom – Ryan@iii.org.tw
Custom Vision
https://www.customvision.ai
49

50. AI in Classroom – Ryan@iii.org.tw
建立專案
• New Project -> Add images
• 標記Tag，至少5張照片
–In Classroom
• 訓練
• Quick Test
50

51. AI in Classroom – Ryan@iii.org.tw
In Classroom
51

52. AI in Classroom – Ryan@iii.org.tw
Quick Test
52

53. AI in Classroom – Ryan@iii.org.tw
Custom Vision Document
• Quickstarts -> Using the Python SDK
• Reference -> Custom Vision Prediction API
53
https://docs.microsoft.com/en-us/azure/cognitive-services/custom-vision-service/home

54. AI in Classroom – Ryan@iii.org.tw
Face API
https://azure.microsoft.com/zh-tw/services/cognitive-services/face/
54

55. AI in Classroom – Ryan@iii.org.tw
臉部驗證
• 檢查兩張臉部是屬於同一個人的可能性。API
會傳回信心分數，顯示兩張臉部是屬於同一個
人的可能性。
55

56. AI in Classroom – Ryan@iii.org.tw
Microsoft Case – Baby Come Home
https://www.youtube.com/watch?v=AuXnVF_nFws
56

57. AI in Classroom – Ryan@iii.org.tw
臉部偵測
• 偵測影像中的一或多張人臉，並取得影像臉部位置所在的臉部矩形
及臉部屬性，該屬性內含以機器學習為基礎的臉部特徵預測。可用
的臉部屬性功能 包括：年齡、表情、性別、姿勢、微笑及鬍子，
以及影像中每張臉部的 27 個地標。
57

58. AI in Classroom – Ryan@iii.org.tw
其他服務
58

59. AI in Classroom – Ryan@iii.org.tw
Lab : 數人頭(Python)
• 運用MS Face API，算出圖片中有幾個人
• 請先取得Face API Key
• 請先安裝認知服務 pip install cognitive_face
59

60. AI in Classroom – Ryan@iii.org.tw
上傳作業服務
• 語意分析 + 聊天機器人+ 資料庫 + 部署上線
DialogFlow
• 意圖：繳交作業
• 資料：學號、姓名、
作業
Google
Drive
• 資料儲存
MS Bot Framework
Bot Channels
Registration
60

61. AI in Classroom – Ryan@iii.org.tw
Bot Framework Emulator 本地測試
61

62. AI in Classroom – Ryan@iii.org.tw
Test in Web Chat
• 在Azure雲端上的Web Chat進行測試
• 如果正常即部署成功！
• 並確認Google試算表上有出現資料
62

63. AI in Classroom – Ryan@iii.org.tw
查詢成績服務
• 語意分析 + 聊天機器人+ 資料庫 + 部署上線
DialogFlow
• 意圖：查詢成績
• 資料：學號、姓名、
密碼
Google
Drive
• 資料讀取
MS Bot Framework
Bot Channels
Registration
63

64. AI in Classroom – Ryan@iii.org.tw
數人頭(Bot + 電腦視覺)

65. AI in Classroom – Ryan@iii.org.tw
IIIEDU.ai
Talent Development Solution
Digital Education Institute
Institute for Information Industry
65

66. AI in Classroom – Ryan@iii.org.tw
Summary
• AI技術
–電腦視覺、語意分析、語音處理、知識萃取
• 教學活動
–知識傳遞、學習過程監督、成果驗收
• AI於教學上的應用
–自動課堂筆記(語音 -> 文字 -> 重點)
–即時課堂氣氛呈現(影像 -> 人臉 -> 情緒 -> 彙整)
–知識多樣化呈現(不同的學生給予不同的呈現方式)
–自動資訊補充(語音識別/圖像識別 -> 查詢資料)
66

67. AI in Classroom – Ryan@iii.org.tw
敬請指教
Ryan Chung
Senior Engineer
III Digital Education Institute
Ryan@iii.org.tw
67