Applying Text-Mining technics to assist our investment decisions. This is a public speech at PyconTW 2017, hosting 6/11 at Academia Sinica, Taipei. link: https://tw.pycon.org/2017/en-us/events/talk/320211463073431632/

1. 用Python成為網路投資王
講者：潘穎達、陳柏瑋

2. Agenda
 自我介紹
 文字分析簡述
 爬文簡介 – 以PTT股票版為例
 PTT 基本介紹:
 PTT 基本特性
 2016年 PTT 股票版討論度分析
 特定事件分析 – 樂陞案 [市場分析]
 特定人物分析 – 川普 [市場分析]
 特定企業分析 – 凱衛 [投資分析]
 總結
 Q & A

3. 自我介紹
 潘穎達(Panda)
 工作經驗：
 資料分析師
 榮譽事蹟：
 EHC Champion
 Pixnet Champion
 興趣領域：
 機器學習
 資料視覺化
 統計建模
 聯絡資訊
 panda061325@gmail.com
 陳柏瑋(Regan)
 工作經驗：
 資料分析師
 榮譽事蹟：
 EHC Champion
 興趣領域：
 社群資料分析
 網路爬文
 雲端服務(AWS)
 聯絡資訊：
 light0326@livemail.tw

4.  身為一個Python資料分析的新手為什麼我們要從文資料分析開始？
 使用套件：jieba/ genism/ snowNLP/ pandas/ sklearn/
matplotlib/ urllib2/ xml
文字分析簡述
極為豐富的資料源
資料容易理解
相對效益高
圖片來源：
http://www.pngall.com/treasure-png
http://www.riseresearchproject.com/helping-students-remember-subject-knowledge/
https://www.mirrorweb.com/
http://www.pokemongo.com/en-us/news/

5. 爬文
文字分析簡述
資料蒐集定義問題
探索性資料分
析
歸納/ 演繹
結構/非結構
資料分析
成果應用
 根據「大數據知識經濟與實務應用」一書(余清祥、顏貝珊)，資料分析流程如下
 本演講相關程式碼放在Github上
GitHub: https://github.com/BarryPan/PyconTW2017
如何有從PTT中
掌握市場動態，
進而協助投資獲
利？
針對個人對於資料的
理解以及探索性資料
分析結果進行推論

6. 爬文簡介
 套件介紹：urllib2 / xml
urllib2.build_opener:return OpenerDirector instance。為了放置header
open.addheaders:批踢踢server會檢查是否從瀏覽器發送請求
html.formstring():轉換成html格式，並將字串轉換成utf-8
page.xpath:使用xpathx來找到想要的網頁元素
 網頁觀察

7. 網頁爬蟲 - PTT 股票版
文章
dt
author
title
link
content
留言
link
tag
author
time
content
網址
推、噓、
回文者ID
回文時間
回文內容
發文時間
發文作者
發文標題
網址
文章內文
 時間範圍：2016/6/1-2016/12/31
 原始資料存在缺失

8. PTT基本介紹
 以學術性質為目的在網路上提供的言論空間
 目前在PTT與PTT2 註冊總人數約150萬人；尖峰時段兩
站超過15萬名使用者同時上線；擁有超過2萬個不同主
題的看板；每日超過2萬篇新文章及50萬則推文被發表
(資料來源: 維基百科 https://zh.wikipedia.org/wiki/%E6%89%B9%E8%B8%A2%E8%B8%A2)
 推文共有三種表情：推、噓、中立
網站架構就是最好的分類器

9. 2016年PTT股票版討論度分析
count 7447.000000
mean 87.281321
std 227.949301
min 0.000000
25% 14.000000
50% 30.000000
75% 60.000000
max 1502.000000
 2016年6-12月共有19,381個相異的ptt id曾在股票板po文或回文
 平均每篇文章會有87則回覆；中位數是30則
平均每篇文章會有42則推；中位數是16則
平均每篇文章會有7則噓；中位數是1則

10. 2016年PTT股票版討論度分析
端午連假
中秋連假
雙十連假
英國脫歐
颱風假
樂陞案
颱風假
美國大選
 只要是休假日(周
休 二 日 / 國 定 假
日 / 颱 風 假 ) ，
PTT 股 票 板 討 論
度瞬間下降
 2016 年 PTT 股 票
大事紀:
1. 英國脫歐
2. 樂陞案
3. 美國大選

11. 特定事件 – 樂陞案
樂陞大事紀(台灣有史以來第一次收購跳票案)：
2016/5/31百尺竿頭宣布收購樂陞股票→2016/7/25投審會通過→
2016/8/22百尺竿頭公告因行政錯誤交割款延遲給付→
2016/8/30百尺竿頭故意放棄收購樂陞→
2016/9/23檢調進行搜索→
2016/10/5百尺竿頭發出聲明願意與投保中心進行協商 ……(未完待續)
(資料來源：維基百科https://zh.wikipedia.org/wiki/%E6%A8%82%E9%99%9E%E7%A7%91%E6%8A%80)

12. 特定事件 – 樂陞案

13. 特定事件 – 樂陞案
PO文排行榜
comjj45
qxxrbull
t288850
livethere
hijacker
sdes6332
Lv10
spencer222
douglasjs
ecstasy1
回文排行榜
Sana
hijacker
johnps
f204137
genius721105
denispeter
teremy
panpan
aoog5858
t288850
noar
Yuwuen
yso0402
neobee
Kunoichi
herikocat
ftrain
S26
ecstasy1
kkizikk1636
PO文排行榜
nightwing
IanLi
catwalk456
tagso
qxxrbull
livethere
YuliGourriel
Sirius1812
RainCityBoy
fish19831012
回文排行榜
nightwing
f204137
SweetLee
serra28
iuowsiq
herikocat
kurama1984
CTC0115
ecstasy1
gn00295120
clubbox
goldduck
ww
genius721105
smad
rjie
Sueo
largescale
outofthelove
hjgx
PO文排行榜
nightwing
qxxrbull
f204137
cpy5740
a125567365
fish19831012
cheinshin
Sirius1812
catwalk456
femlro
回文排行榜
SweetLee
f204137
nightwing
Kunoichi
CTC0115
ecstasy1
transcend789
s860134
ftrain
ExtraCream
serra28
clubbox
Sueo
rjie
herikocat
tctv2002
bitlife
bear753951
ww
stocktonty
事前
(6/1-8/30)
事中
(8/30-9/15)
事後
(9/15-12/31)
好的老師可以帶你上天堂，壞的老師帶你住套房

14. 特定事件 – 樂陞案
 找出鄉民真正關心的事情：透過PTT發文數量分析，看出鄉民對
於樂陞案後續的關注程度大於英國脫歐
 看出鄉民對於事件的支持/反對態度：透過PTT本身網站架構(推
噓文)，我們可以看出基本上鄉民對於樂陞案大致上的態度是一
致的。當然也有些許極端個案。
 找出真正的專家：在網路上發表最多言論的人可能不是真正的專
家；透過分析，找出對於某一事件真正長期持續追蹤的網友可能
才是值得我們相信的對象

15. 特定人物分析 - word2Vec
 gensim套件中word2vec
 參考資料：
http://zake7749.github.io/2016/08/28/word2vec-with-gensim/
https://radimrehurek.com/gensim/models/word2vec.html
斷詞後以空格分隔的文本
Option:
Size/ alpha/ sg/ window/ worker/ min_count…
[飲料] [籃球] [計算相似度]

16. 特定人物分析 – 川普
日期 關聯詞1 關聯詞2 關聯詞3 關聯詞4 關聯詞5 關聯詞6 關聯詞7 關聯詞8 關聯詞9 關聯詞10
2016/6/26 這篇 情勢 做出 情緒 不斷 員工 操盤 承受 短線 誇張
2016/7/17 費用 整體 上市 交割 兩 大概 至少 520 多次 債市
2016/7/24 根本 意外 雖然 他們 厲害 賭 幾年 這些 事 那麼
2016/7/31 2498 王大 氣勢 開幕 一條 試試 還要 1476 掰掰 外豬
2016/8/7 趴 成本 借 當時 短線 認列 似乎 夏天 恐怕 終場
2016/8/14 基金 這支 世界 衛星 早就 幫助 沒什麼 整個 反而 操作
2016/8/21 爛 提升 資料 沒什麼 新政府 服務 假單 三立 才能 代表
2016/8/28 單純 操作 反而 忙 查 會過 看不懂 人要 可是 完全
2016/9/4 明 一方面 背後 市 底 整個 所得 根本就是 退休金 大多
2016/9/11 本 除了 另 第一 考慮 修法 資金 利率 當時 內線
2016/9/18 因此 影響 產品 提升 甚至 2330 新 行紀 聯盟 男生
2016/9/25 大台 高達 希拉蕊 大漲 大戶 ..... 付款 應 對岸 手續
2016/10/2 哪招 Y 沒人要 4ni 心態 第二 禮拜 好險 還賣 大人
2016/10/9 差 專家 沖 成立 錯誤 尾盤 考慮 升息 太 短線
2016/10/16 成交量 發現 垃圾 撐 前面 不敢 幾年 以前 看看 一張
2016/10/23 來源 14.25 條件 [ 處分 有限公司 新台幣 過長 善用 兆豐
2016/10/30 其實 重要 不過 競爭 這種 事 投資人 韓飛龍 股市 阿龍
2016/11/6 可能 應該 台灣 當選 賣 現在 美國 其實 如果 一個
2016/11/13 性 當時 歐洲 升息 曾 大型 很快 且 器 而言
2016/11/20 資產 發言人 經營 企業 強調 謊 地方 受到 主管 訊號
2016/11/27 人生 亞洲 開放 手機 解決 戶 特別 下單 趕快 機構
2016/12/4 找 就算 騙 嗆 確定 文化 反正 這個 那個 怕
2016/12/11 這檔 參考 怎 美食 原因 指 第一次 只能 米 據
2016/12/18 股市 央行 獨立 新興市場 貿易 政治 而且 中亞 生產 歐盟
2016/12/25 冷 處 每天 出去 靈芝 屌 旗下 阿伯 年底 市值

17. 特定人物分析 – 川普
 將6月至12月所有有提到「川普」的文章句子或推噓文共2,310筆
將句子以人工方式進行「正評」、「負評」及「中立」三類進行
貼標
[正評]
[負評]

18. 特定人物分析 – 川普
 在美國大選確定前
期，PTT上反對川
普的聲音略大於支
持者；然而當結果
確定後，支持者聲
音大於反對者
(沉默的多數?)
先了解市場想法，你便無所不能

19. 特定人物分析 – 川普
建模資料 數量 百分比
中立 1,164 62.99%
正評 372 20.13%
負評 312 16.88%
測試資料 數量 百分比
中立 297 64.29%
正評 87 18.83%
負評 78 16.88%
 6月至12月所有有提到「川普」的文章句子或
推噓文共2,310筆，80%資料用於建模；20%用
於模型驗證
 隨機抽樣後建模及測試資料三種評價分類佔據
比例相近，符合建模及驗證條件
人工貼標建立
訓練集
隨機抽樣分為
建模及驗證
模型建立
模型驗證

20.  找出有用的關鍵字
特定人物分析 – 川普

21.  找出有用的關鍵字
特定人物分析 – 川普

22.  關鍵字→將句子轉成向量
特定人物分析 – 川普
支持走向
該句話中是否有提到該關鍵字
(共有41個關鍵字作為特徵值)
可透過統計模型建模，將資料進行分類

23.  在測試資料中，平均每個關鍵字出現比例：0.280%
 共有11個關鍵字在測試資料中完全沒有出現過
特定人物分析 – 川普
利用SVM模型：
無鑑別力(無法判斷該言論
是支持還是反對川普)
利用Logistic模型：
調整門檻值後預測結果：
涵蓋率：10.26%
精準度：36.36%
目前做法：
1. 若以一句話作為單位來看，每句詞彙量並不大
2. PTT鄉民本身詞彙的重複度亦不高(較為生活化的場景)
3. 僅使用半年作為建模資料量(共2,317筆川普相關句子)
造成模型低涵蓋率且精準度不高，若未來要實際透過模型可考慮：
1. 以文章、或更長的單位作為預測依據
2. 以新聞或其他較正式文本(詞彙重複度通常較高)作為預測對
象
3. 增加資料蒐集範圍或改用其他預測模型
4. 將現有的關鍵字進行前置處理(主題分類)

24. 特定人物分析 – 川普
 找出代表辭：透過Word2Vec技術，可快速找出與川普最相關
的詞彙，看出市場對於川普討論的主題
 市場洞察：觀察整體鄉民對於川普的支持/反對態度，並觀察
支持及反對者相關文章數量隨時間的改變
 建立情緒分析模型：可透過關鍵字或其他方式找出特徵值，
建立分類模型減少人工貼標成本

25. 特定企業分析 – 凱衛
-研究架構
 股票基本介紹
 批踢踢討論量與凱衛股價的關係
 母體介紹
 訓練集與測試集的產生
 分析方法(snowNLP情緒分析)
 分析結果與投資策略

26. 凱衛基本介紹
獲 利 能 力 (106第1季) 最新四季每股盈餘 最近四年每股盈餘
營業毛利率 39.45% 106第1季 -0.45元 105年 -0.03元
營業利益率 -37.72% 105第4季 0.38元 104年 1.26元
稅前淨利率 -42.57% 105第3季 0.28元 103年 1.20元
資產報酬率 -3.44% 105第2季 -0.41元 102年 1.36元
股東權益報
酬率
-4.29% 每股淨值: 10.44元
資料來源:奇摩股市
資料來源:奇摩股市

27. 批踢踢討論量與隔天凱衛股價的關係
漲幅超過1元
沒什麼變化
跌幅超過1元
留言數/天開盤價

28. 母體介紹
 目的:
從股票市場中的輿論，分析出大家對於股價的看法是
上漲還是下跌?可以做為投資策略的因子之一
 母體概述:
 文章總數:52篇
 回文總數:4744個文本
 股票版上24天，有討論凱衛的文章
 1065看漲、1438看跌、2274中立

29. 訓練集、測試集產生
 目的:
經過前置處理後，將中立資料0歸戶到1(漲)或-1(跌)，可以更準確反映股
民對於股價趨勢判斷
 Step1:針對52篇凱衛+57篇熱門文章(看漲:1/其他:0/看跌:-1)
 Step2:其他與噓文轉換
 Step3:留下凱衛20%(看漲、看跌)文本作為測試集
 舉例:
1
文章 1
推
噓
1
1
1
step1
0
-1
1
step2
290個看跌文本
213個看漲文本
step3

30. (snowNLP)介紹
 套件介紹:
snowNLP是一個python寫的套件，可以方便處理中文文本内容。
 功能包含:
 中文分詞、詞性標註、情感分析、提取文本關鍵詞、tf，idf、
Tokenization、文本相似
中文分词、
參考網址:https://github.com/isnowfy/snownlp

31. (snowNLP)-情緒分析建模
 訓練模型
 第一個參數放入負面情緒測試集
 第二個參數放入正面情緒測試集 看跌文本80%
看漲文本80%

32. (snowNLP)-情緒分析使用
 使用方式:
返回值為正面情緒的機率，越靠近1表示正面情緒(上漲)、
越靠近0表示負面情緒。

33. 情緒分析結果
 準確率=正確預測正負的個數/預測總個數
 0.5705=287/484
 覆蓋率=正確預測正的個數/實際正的個數
 0.5929=287/503
將模型套用在中立文本上，計算每天上漲和下跌的數量
看漲
看跌
10%
90%

34. 投資策略(一)
 進場條件:如果批踢踢有人發文就買進
 出場條件:股價漲到進場價105%、股價跌到進場價95%
 本金預設是10萬元，每次交易都會扣掉(證所稅、交易稅)
 結果:進出場各14次，最後本金是134,522元
累積獲利11,7350 總虧損金額-72,700
開
盤
價
日期
買進
賣出

35. 投資策略(二)
 進場條件: 1.批踢踢當天有人發文
2.看漲文本數>看跌文本數
 出場條件:股價漲到進場價105%、股價跌到進場價95%
 本金預設是10萬元，每次交易都會扣掉(證所稅、交易稅)
 結果:進出場各7次，最後本金是190,330元
累積獲利95,450 累積虧損0
日期
開
盤
價
買進
賣出

36. 投資策略(三)
 多單條件: 1.批踢踢當天有人發文 2.看漲文本數>看跌文本數
 空單條件: 1.批踢踢當天有人發文 2.看跌文本數>看漲文本數
 多空單出場條件:獲利或虧損超過本金5%、看漲跌情緒轉變
 本金預設是10萬元，每次交易都會扣掉(證所稅、交易稅)、空單(借券費)
 結果:進出場各21次，最後本金是202,356元
多單累積獲利68,250 多單累積虧損0 空單累積獲利68,350 空單累積虧損21,100
日期
開
盤
價
多單進場
空單進場

37. 總結
 網路上充斥著各種文字資料等待大家去細細挖掘，透過爬文
技術可將這些非結構資料轉為結構化資料
 分析模式：
 網站原始架構(ex: 樂陞案分析)
 關鍵字(ex: 川普分析)
 外部套件(ex: 凱衛分析)
 透過分析，可對網路輿情有更多的掌握，甚至可以成為投資
策略的因子
投資有賺有賠，風險請自行負責^ ^
我們是文字分析的新手，在分析上如有不妥之
處敬請指教 ><
圖片來源：http://www.woyouche.com/230000/227229.shtml

38. Q&A
圖片來源：http://www.woyouche.com/230000/227229.shtml