← 所有會議
HR AiQ.m4a

HR AiQ

2026-06-11 1h 25m 估 3 人

討論為公司招募流程設計一套 AIQ (AI 商數) 測驗的整體框架、評量維度、測驗形式,以及具體的推行計畫。

會議決議將分階段推行招募 AIQ 測驗,先從開發通識型問卷開始,評估應徵者的 AI 態度與基本認知,並規劃以數位事業部為試點,目標於 Q3-Q4 落地。

SECTION 01

決策

3 項
  1. 01

    AIQ 測驗將分為「通識型」與「專業型」兩種版本進行開發。

    我方、HR

  2. 02

    AIQ 測驗定位為招募面談前的輔助參考資料,而非絕對篩選標準。

    HR

  3. 03

    測驗結果報告將以多維度指標呈現(如學習力、態度、基本認知),而非單一分數。

    我方

SECTION 02

Action Items

4 項
SECTION 03

風險與待釐清

5 項
SECTION 04

子議題討論

6 段
01

AIQ 測驗前期研究分享:現有工具、作弊問題與評測類型

分享了業界現有的 AIQ 測驗工具,並指出作弊是核心問題,高達 83% 的人可能會用 AI 回答。
提到 AWS 有針對非工程師的 AI 認證,可作為參考。
將測驗類型歸納為知識型、實作情境型、行為衡量等,並分析其優劣。
結論

前期研究顯示,知識型測驗易於篩選,但無法評估實作能力;而行為態度測驗則難以判斷真實性,需思考更有效的評估方式。

02

AIQ 測驗在招募流程中的定位與時機

詢問 AIQ 測驗應在招募的哪個環節放入,以及是否作為第一階段篩選條件。
說明測驗應在約面談時完成,類似現行的性向測驗,作為參考而非絕對篩選標準。
強調 AIQ 分數的解讀需依職位而定,例如 AI 部門與燈光師的要求就不同。
確認共識,AIQ 測驗是招募過程中的輔助參考資訊,而非絕對的淘汰標準。
結論

雙方達成共識,AIQ 測驗定位為招募面談前的參考資料,類似性向測驗,其分數並非絕對的篩選門檻,而是輔助用人主管綜合評估。

03

討論 AIQ 測驗的評量維度與報告呈現方式

提議用雷達圖呈現多維度能力,如 AI 認知、表達力、判斷力、融入工作的能力、態度與學習力。
認同題目的設計需要能反映這些維度,但也質疑問答題是否能有效測出。
認為報告應產生給面試官的建議,指出可深入挖掘的問題點。
建議報告應像性向測驗一樣,提供給主管和 HR 參考,並可依職位設定不同的分數門檻。
結論

測驗結果應以多維度(如學習力、基本認知、態度)指標呈現,並產生面試建議,作為主管與 HR 的共同參考依據,而非單一分數。

04

線上測驗的防弊機制與題庫外洩風險

提出線上測驗的作弊與題庫外洩風險,認為這些問題難以完全杜絕。
提出一個創新的想法:直接在測驗中提供 AI 工具,讓應徵者在限時內用 AI 解題。
此方法讓 AI 動態出題,應徵者永遠猜不到下一題,可從根本解決作弊問題。
認同此方向,並指出可以此驗證應徵者是否真的會運用 AI 解決問題。
結論

為解決作弊問題,雙方傾向採用創新方案:讓測驗本身包含 AI 工具,題目由 AI 動態生成,從應徵者與 AI 的互動過程來評估其真實能力。

05

規劃通識型與專業型兩種 AIQ 測驗

建議區分兩種測驗:一種是適用所有人的「通識型」,測基本概念與態度。
另一種是「專業型」,依據 JD 設計實作題,因為不同部門對 AI 的需求差異極大。
認同此分類,並建議專業型測驗可根據職位說明書 (JD) 動態生成題目。
同意此方向,但點出目前主管提供的 JD 品質不一,需要先進行梳理。
結論

決議將 AIQ 測驗分為兩類:一是全體適用的「通識型」問卷,評估態度與基本認知;二是針對特定職位的「專業型」實作測驗,題目將依據 JD 設計。

06

推行時程與試點計畫

建議先從數位事業部開始試點,因為他們的工作與 AI 關聯性最高。
詢問期望的落地時間。
表示管理層可能期望很快,建議 Q4 應可上線。
同意先從內部測試開始,若順利可在 7 月找小部門試行。
結論

計劃於本月 (6月) 開始內部測試通識型問卷,7 月選擇數位事業部試行,目標 Q3-Q4 正式落地。專業型測驗則待 JD 梳理後再行規劃。

完整逐字稿 · 2514 segments · 點擊展開
[00:00] 所以現在業界有嗎?三套這個是?
[00:05] 它其實就是紮在...其實應該不只這幾套
[00:10] 它其實有找到了很多...底下還會有一些相關的資訊
[00:15] 總之就是有各式各樣的,那甚至不同...它的對象也是不一樣的
[00:21] 所以我們如果說是要全員同用的,那那個會是另外一件事情
[00:28] 對,很難
[00:30] 好,然後作弊問題是個核心的一題
[00:37] 就是如果我們的目的是要能夠衡量出這個人這部分的能力的話
[00:43] 怎麼進行這個東西的測試?
[00:47] 然後它能不能作弊?
[00:50] 對,那因為甚至有83%的人認為雇主偵測不到就會用AI來回答問題
[00:59] 就是假設我們今天是一個測驗,然後是給它自己做的
[01:04] 那它就很有可能會用AI來做之類的
[01:08] 對,那這件事情是不是我們要防的跟我們要怎麼防?
[01:13] 對,好
[01:15] 然後有一些動態評測的機制
[01:21] 所謂動態評測就是
[01:23] 不是一個固定的題目答案
[01:26] 而是有點像你在作答的過程當中
[01:29] 還會去決定可能問聲音一點問錢一點
[01:32] 像這樣的一種機制
[01:33] 那其實已經有在學術界跟市場開始萌芽這樣之類型的Test Agent
[01:38] 對,那這個可能會是我們可以參考的
[01:43] 對,好
[01:44] 然後另外它有查到說
[01:48] 其實像AWS它有推出這樣的一個認證
[01:51] 這個認證它的對象其實不是工程師
[01:56] 它是針對業務、行銷、PM、IT support等等的這些人
[02:01] 對,然後他們去運用AI這部分的一個測試
[02:06] 對,好
[02:08] 所以就是有這樣的參考信
[02:11] 好
[02:12] 然後另外就是歐盟的歐盟美國
[02:19] 然後已經有開始把這種
[02:22] AI Act
[02:27] 我覺得這題應該比較像是說
[02:30] 我們會不會有這類型的這種東西
[02:37] 對
[02:38] 那我不太確定這可能就會變成是你們這邊的專業
[02:43] 好
[02:44] 然後另外
[02:45] 另外它在幫我做這些研究跟分析的時候
[02:50] 大概把AIQ的測驗類型整理成了幾種類型
[02:56] 知識型的、實作情境型的、行為衡量
[03:02] 然後還有就是依照職能克制的
[03:07] 對
[03:08] 然後還有就是AI、Agent、動態評測的
[03:11] 對
[03:12] 然後大概分成這幾種類型
[03:14] 然後去做了一些比較
[03:17] 那當然
[03:18] 比較的方式它可能就會有一些案例
[03:21] 像剛剛講到AWS的那個
[03:23] 這種測驗它就比較像是知識型的
[03:25] 然後它是問答
[03:28] 它是選擇提形式
[03:30] 我記得它是選擇提形式的方式
[03:32] 對
[03:33] 好
[03:34] 那它可能
[03:36] 它就幫我分析說
[03:37] 這可能可以適用的方式
[03:39] 就變成是會是一種類似
[03:41] Base Line的這種篩選
[03:43] 就比較是知識型的
[03:44] 嗯
[03:45] 好
[03:46] 那但是如果說我們會需要知道說
[03:48] 它到底能不能用AI解決問題
[03:51] 在工作場景裡面能不能運用的話
[03:54] 這事情只是代表它知道而已
[03:58] 對
[03:59] 那這件事情就不會在這種測試中測出來
[04:01] 對
[04:02] 這種就變成是要實作
[04:05] 嗯
[04:06] 對
[04:07] 好
[04:08] 那
[04:09] 就
[04:10] 就這樣子
[04:11] 好
[04:12] 然後另外就變成是
[04:14] 行為
[04:15] 態度等等的這個部分
[04:16] 但這種部分的測量
[04:18] 比較倫理啊
[04:19] 意願啊
[04:20] 態度
[04:21] 這種就變成是
[04:23] 如果是這種測驗的模式的話
[04:25] 那
[04:26] 就
[04:27] 大家以為會是
[04:29] 通常
[04:30] 正常人都會是選
[04:32] 他覺得合理的
[04:33] 對
[04:34] 那到底測不測得出來
[04:35] 它真正的那個態度意願
[04:37] 我覺得會是另外一個問題
[04:39] 好
[04:40] 好
[04:41] 那後面就是這種
[04:42] 這個就是成本很高
[04:44] 那我想這可能不會是我們
[04:46] 初期階段會要
[04:48] 會要去做的事情
[04:50] 但可能後面
[04:51] 可能可以是我們要考量的
[04:52] 就是
[04:53] 我們有個Base Line之後
[04:55] 在不同的部門單位裡面
[04:58] 他們有沒有其實
[04:59] 一個提庫
[05:00] 提庫嗎
[05:01] 或者是說他們的
[05:02] 提庫啊
[05:03] 就是建立一個提庫
[05:04] 然後就去考
[05:05] 對
[05:06] 就是他們對於 AI
[05:07] 實作的提庫
[05:08] 他們要找的AI的
[05:10] 他們要找的員工的 AI的能力的標準
[05:14] 有沒有會想要
[05:15] 對
[05:16] 但是那件事情到底是說
[05:17] 我們公司有個統一的衡量方式
[05:19] 還是說是各部門的主管自己有一個
[05:21] 自己的衡量
[05:23] 那我覺得那個就變成是
[05:25] 這題要討論的
[05:27] 好
[05:28] 好
[05:29] 那這個部分
[05:30] 我覺得這比較會是
[05:32] 我們提供的測驗的方式
[05:36] 然後以及
[05:38] !有了這樣子一個集資之後
[05:40] 我們
[05:41] 在出題
[05:42] 跟我們怎麼出題這個方向會有不一樣
[05:45] 就是AI動態評測
[05:46] 好
[05:47] 那這個待會
[05:48] Andy可能那邊有一點小東西
[05:50] 也可以來看一下
[05:51] 好
[05:52] 那後面
[05:53] 後面很多
[05:54] 比較是細節類的
[05:55] 那我就
[05:56] 不
[05:57] 不多
[05:58] 我就不帶過去
[05:59] 但我覺得
[06:00] 看一下喔
[06:07] 因為他也有幫我們去分析說
[06:09] 如果我們要來做一些題目的話
[06:12] 題目可能可以怎麼樣產生
[06:15] 那題目產生的
[06:17] 這個
[06:18] 如果像LM來產生的話
[06:20] 那可能適合的是哪種類型的題目
[06:24] 那但是都會是需要review
[06:26] 但這個題目就應該會是我們這邊會來處理
[06:30] 好
[06:31] 好
[06:32] 防作弊
[06:33] 防作弊會是一件事情
[06:35] 好
[06:36] 那
[06:37] 我們先
[06:38] 帶過來
[06:39] 好
[06:40] 那所以我覺得
[06:41] 剛剛講到比較像是我們前面有做了一些
[06:44] 研究
[06:45] 那再進來
[06:46] 我覺得今天要跟你們討論的幾個點
[06:49] 比較像是說
[06:51] 我們的
[06:54] 招聘的這個 AI 的測驗的整體的框架
[06:58] 我們要
[07:00] 我的認知是全部未來要面試的人都要做這樣的一個測驗嘛
[07:11] 那董事長上次講的
[07:13] 那但是我們有沒有在不同的職級或角色可能會有不同的測驗方式
[07:22] 就是測驗的題目
[07:24] 那我覺得這個可能是我們今天可以討論的
[07:27] 然後另外就是測驗的形式
[07:30] 線上線下
[07:31] 然後怎麼監考這件事情
[07:35] 我覺得也是我們可以今天要來討論
[07:40] 因為我也想
[07:41] 因為我也不確定我們這裡的招聘的流程
[07:44] 都是
[07:46] on-site 的嗎
[07:47] 就是都
[07:48] 不一定
[07:49] 不一定
[07:50] 有線上有些實體的
[07:53] 所以線上的會是整個過程都是線上
[07:58] 線上面是
[07:59] 不一定
[08:00] 不一定
[08:01] 看主管
[08:02] 但是
[08:04] 然後我們如果說
[08:07] 假設我們今天這個 AIQ 的測驗是說
[08:10] 聘用前必須要做這樣子一個測驗
[08:14] 那這個在哪個環節會放入這樣的測驗
[08:19] 要約面談的時候
[08:21] 他其實就有
[08:22] 對
[08:23] 他其實就有
[08:24] 就有點像現在我們在跟測驗合作
[08:27] 那測驗他們在找RD工程師的時候
[08:30] 他會先讓他們先測Codility
[08:33] 所以他會給他一個問卷的連結
[08:37] 然後讓他進去把這題做完
[08:39] 那他的緯造回來之後
[08:42] 他們評分之後再決定要不要約這個人進到下一個階段
[08:46] 就是實體的面談或者是真的就是線上的面談
[08:51] 如果他這個測驗分數沒有過
[08:53] 其實我們就turn off
[08:55] 這個面談就取消
[08:57] 所以你們會想要把這個 AIQ 的成績當作第一階段的篩選的條件嗎
[09:07] 因為我本來也以為說這個東西的測驗可能可以就是一個分數
[09:13] 但是最後應該是主管
[09:16] 沒有你剛剛的問題是說這個測驗在什麼時候
[09:19] 時間點
[09:20] 以現在RD來講他們是會把這個作為他們要不要進步
[09:24] 目的性不一樣
[09:25] 對但是如果是以我們現在在看這件事情的話
[09:29] 他就不會是一個絕對的
[09:31] 第一的我覺得AIQ跟我們說的性向測驗跟市場間有很多測驗是有點像的
[09:40] 對
[09:41] 那這些東西是絕對我們在評估上面
[09:44] 喔 你沒有符合我們就沒有
[09:47] 沒有
[09:48] 我們不會這麼做我們還是整體的來
[09:50] 對
[09:51] 那這些都我們就知道做這些
[09:53] 那這個可能他的分數我們知道他的比在哪裡
[09:56] 那如果今天他是一個很重要的AI比如說AI的科技部
[10:00] 他這個分數很低
[10:02] 不合理嘛對不對
[10:04] 如果今天他是一個燈光師
[10:06] 你要他很高
[10:08] 也不到可能
[10:11] 所以那個應該是一個參考的依據
[10:16] 我們一定都要做測試
[10:18] 可是不代表我在評選的過程當中
[10:22] 那個是可以讓我們去跟主管討論
[10:25] 適不適合
[10:26] 那這就會根據當時候這個職位的定位跟他的要求是什麼
[10:32] 跟他實質上工作的本質
[10:36] 到底會用到AI大部分還是
[10:40] 比如說你數位事業部跟那個新聞部的攝影師
[10:45] 這個完全就是不大很大不一樣的應用
[10:48] 數位事業部他們每天就是要跟AI一起
[10:51] 對因為這些事情會回過頭來就是
[10:54] 當這個測驗成績出來之後
[10:57] 這個測驗成績要拿來怎麼用
[11:00] 就是如果說是
[11:02] 是希望是主管在面試這個人的時候
[11:06] 還輔助著有這份成績
[11:09] 然後甚至在面試的過程當中
[11:11] 可以拿來當作一個面試的一個參考
[11:16] 對
[11:17] 或者是
[11:18] 所以他一定是在要願面談的學後
[11:19] 又同時又做
[11:20] 對
[11:21] 他要面談之前就可能要再完成這個測試
[11:23] 就一定要先完成吧
[11:24] 就像性向測驗一樣
[11:25] 就性向測驗也會是
[11:27] 就是我要評定你的
[11:29] 比如什麼愛情
[11:30] 第一行人什麼那些
[11:31] 就是這些性向測驗的
[11:33] 不是
[11:34] 評量測驗的
[11:35] 一種很多種
[11:36] 有很多種
[11:37] 每一個都有自己的理論
[11:39] 然後你只是覺得這個人
[11:41] 比如說我要業務
[11:42] 結果你找了一個愛情人來
[11:44] 是不可能的嗎
[11:46] 或是他是很內向
[11:47] 你要叫他去做業務
[11:48] 這跟本質跟工作性質有很大的衝突
[11:52] 那那個是可以參考
[11:54] 可是那不代表你絕對是在這邊
[11:58] 好
[12:00] 那我還有一個問題
[12:02] 就是說
[12:03] AIQ我們要測
[12:04] 可是
[12:05] 我們有沒有給
[12:07] 如果說這個想推到全公司都要測
[12:11] 董事長是
[12:12] 我覺得
[12:13] 分兩塊
[12:14] 就是一塊是
[12:15] 招募的
[12:16] 對
[12:17] 就是這個
[12:18] Face 1是對外
[12:19] 然後
[12:20] 然後後續才是
[12:22] 內部員工AI能力的盤點
[12:24] 這件事情
[12:25] 因為我覺得
[12:26] 這兩個要測的東西
[12:27] 不一樣
[12:28] 不一樣
[12:29] 會不太一樣
[12:30] 好
[12:31] 我出現一下
[12:32] 所以剛剛的想法是
[12:33] 他比較像是
[12:34] 形象測驗
[12:35] 那一類的
[12:36] 他比較是招募過程當中
[12:38] 很重要
[12:39] 一塊資訊的參考
[12:41] 而不是絕對
[12:42] OK
[12:43] 如果我們把它設為絕對
[12:45] 對
[12:46] 我覺得這個
[12:47] 這個就會真的違反到那個
[12:49] 就業的
[12:51] 反擊式的
[12:52] 我覺得這題沒有問題
[12:53] 我覺得這個我們
[12:54] 我們先前的討論
[12:55] 大家都其實是同樣的共識
[12:57] 
[12:57] 只是
[12:58] 應該是說
[12:59] 但這個
[13:00] 輔助參考的資訊
[13:02] 到底
[13:03] 後面是誰來參考
[13:06] 可能應該是用人
[13:07] 我們在應用的時候
[13:08] 的Proposal上面
[13:09] 一定要附上這個
[13:10] 他的成績單
[13:11] 所有人都要知道說
[13:12] 這個位置的
[13:13] 工作內容是什麼
[13:15] 他的
[13:16] 考出來的成績是什麼
[13:17] 或者我們在前端就會設定說
[13:20] 他的AI部要至少要幾分
[13:22] 嗯
[13:23] 比如說啦
[13:24] 我說喔
[13:25] 攝影燈光師
[13:26] 我只要60分幾分就好了
[13:29] 可是
[13:30] 數位事業部的可能性
[13:32] 他可能要80分
[13:33] 也許我們也可以去這樣跟主管說
[13:35] 你密碼的要求是什麼
[13:37] 至少
[13:38] 通過這樣測驗的都要符合
[13:41] 也許可以這樣設
[13:43] 只是說大家不是一個
[13:45] 絕對的標準
[13:46] 好
[13:47] 統一的標準
[13:49] 我本來想像中的是說
[13:53] 我們最後可能會
[13:58] 有的指標
[14:00] 有的指標
[14:02] 就
[14:04] 會是有一個
[14:05] 一而一
[14:06] 因為我一直在
[14:07] 就我一直在
[14:08] 跟他討論過
[14:09] 然後變成說
[14:10] 你這個測驗是所有職位的人
[14:12] 都要測
[14:13] 然後測完之後
[14:15] 你出來的一個分數
[14:16] 如果只是一個
[14:17] 一個分數好了
[14:18] 就是70分
[14:19] 60分
[14:20] 
[14:20] 那他
[14:21] 那個分數到底代表什麼意義
[14:22] 會不知道
[14:23] 對
[14:24] 所以我才覺得
[14:25] 後來我就覺得說
[14:27] 我們應該要有點像是用一個雷達圖
[14:29] 那樣子
[14:30] 就是我們到底在意的能力有幾個維度
[14:35] 然後在這個每個維度
[14:36] 我們可以知道說
[14:37] 它大概是一個什麼樣子的一個
[14:39] 落點的範圍
[14:40] 那
[14:41] 但這件事情就是一個
[14:43] 這個人我們用這些題目
[14:45] 測出來的是這個樣子
[14:46] 然後後面就是主管
[14:47] 或者是
[14:48] 第一個是主管自己去衡量
[14:50] 那第二個是
[14:51] 那個未來會不會公司
[14:53] 會有公司的
[14:54] 某一些最低要求的
[14:57] 那個
[14:58] 那我覺得可能就會是後面
[14:59] 後面的事情
[15:00] 對
[15:01] 那
[15:02] 那
[15:03] 這
[15:04] 
[15:04] 這
[15:05] 我不曉得你們有沒有
[15:06] 對於這件事情
[15:07] 有一些你們的想像
[15:09] 因為我現在整理出來
[15:10] 大概會變成是
[15:11] 第一個就是
[15:12] 基本的認知
[15:13] AI的知識類的
[15:15] 
[15:15] 然後再來就是
[15:16] 你能不能夠
[15:18] 把好的意圖
[15:20] 傳遞給AI
[15:22] 就是表達的能力
[15:24] 然後再來判斷力
[15:27] 就是AI給的東西
[15:28] 哪些是
[15:29] 哪些其實我該不該相信
[15:31] 和我不該相信
[15:33] 然後你能不能夠把AI
[15:35] 融入到你的真正的工作當中
[15:38] 然後態度
[15:39] 然後還有學習
[15:40] 疊代力
[15:41] 但
[15:42] 這是定的方向
[15:44] 但是老實說
[15:45] 這會跟測驗的方式
[15:47] 到底測不測出來
[15:49] 對阿
[15:50] 有很大的關係
[15:51] 對阿
[15:52] 題目的設計
[15:53] 跟這個是不是有
[15:54] 對阿
[15:55] 因為你的題目
[15:56] 要能夠反映
[15:57] 你後面要測出來的結果
[15:59] 可是
[16:00] 我覺得第一個
[16:01] 這個用問答題
[16:02] 問得出來嗎
[16:03] 這個可能可以
[16:05] 態度面可以
[16:06] 這個
[16:08] 可能也沒辦法
[16:09] 表達
[16:10] 可能可以
[16:11] 你可以問一個問題
[16:12] 說這個哪裡怎麼表達
[16:13] 那跟題目的形式
[16:15] 就是你是要用問答題
[16:17] 還是你是要用選擇題
[16:18] 這個會有很大的關係
[16:20] 對
[16:21] 有些題目其實是用問答題
[16:23] 還有機會
[16:24] 問得出來
[16:25] 
[16:25] 但是又會再進一步
[16:27] 便是說我們打算怎麼來測驗這個東西
[16:29] 如果說是線上測驗的話
[16:31] 他可以找答案
[16:33] 
[16:33] 他會不會根本
[16:36] 這都不是他自己寫的
[16:37] 其實不要講太多
[16:38] 可是
[16:39] 可是我要講
[16:40] 如果他都可以去用AI去找答案
[16:43] 那也證明他
[16:45] 不一定
[16:46] 善用這件事情
[16:47] 不一定
[16:48] 就是
[16:49] 可以說他會用AI
[16:51] 但不代表他其他的部分
[16:53] 有這個能力
[16:54] 有這個能力
[16:55] 因為他從頭到尾
[16:56] 搞不好他是用最簡單的方式
[16:58] 就是丟給Chall LGBT
[16:59] 然後都Chall LGBT回答
[17:00] 好
[17:01] 回過頭
[17:02] 
[17:02] 這是一個Ravens量
[17:03] 如果今天他某一個能力
[17:05] 特偉到
[17:06] 我們就覺得
[17:08] 會面試的時候
[17:09] 我們就可以說
[17:10] 那你可不可以
[17:11] 我們看到你
[17:12] 可不可以你分享你過去
[17:13] 有什麼樣實際上的
[17:15] 做過什麼樣的事情
[17:18] 證明你有這樣的能力
[17:20] 這就是後面去確認
[17:22] 他到底是
[17:24] 胡周的
[17:26] 還是真的有這樣子的實作經驗
[17:28] 那我覺得
[17:29] 這一個報告
[17:30] 可能還會
[17:32] 假設這個人
[17:33] 做完這個測驗之後
[17:34] 除了這個分數之外
[17:35] 可能還要
[17:37] 假設
[17:38] 因為我本來
[17:39] 不曉得
[17:40] 這個測驗會是在哪個環節
[17:42] 但如果說是在主管面試之前的話
[17:44] 那感覺起來
[17:45] 這個應該還可以有
[17:47] 產生出一個
[17:48] 推薦面試官
[17:50] 在面試的時候
[17:51] 有哪些你可能可以
[17:53] 可以多問
[17:54] 可以去挖掘的
[17:55] 之類的建議
[17:56] 好
[17:57] 因為我覺得就是單純的考試
[17:59] 真的很難
[18:00] 很難
[18:01] 很難去真的理解
[18:02] 因為這是
[18:03] 就像RD工程師
[18:05] 你要用考試的問答題
[18:07] 或這種問答題
[18:08] 或這種問答題
[18:09] 知道說它是不是有這些寫程式的能力
[18:13] 嗯
[18:15] 我認為Codility
[18:16] 也是可以
[18:17] Codility
[18:18] 現在已經被
[18:19] 如果說我今天有AI
[18:20] 我也可以用AI
[18:21] 回答
[18:22] 然後還有就是Codility
[18:23] 其實現在已經
[18:24] 就是在AI的時代我覺得它已經不是一個需要被測驗的東西了
[18:35] 我們理解啦
[18:36] 但是每一個主管有不一樣的想法
[18:39] 這個我們都能夠理解
[18:41] 我的意思說如果這個都不被信任的話
[18:44] Codility有做很多事情去檢查你們的作弊
[18:49] 例如說你是複製貼上的
[18:51] 或者是它其實會記錄整個時間走
[18:53] 你在什麼時間點寫的哪些東西
[18:56] 可以去replay
[18:57] 所以過完
[18:59] 我一確有Codility有抓到過有人是作弊
[19:03] 但是作弊
[19:04] 你很難講說多百分之百作弊
[19:07] 因為它有可能是在別的地方寫完貼上來
[19:09] 那它這個行為就被偵測到說它本來都沒有做
[19:12] 突然貼
[19:13] 一萬
[19:14] 對
[19:15] 那它到底有沒有作弊
[19:18] 不過呢
[19:20] 所以我說你要去繼續講說這個作弊這件事情
[19:26] 我覺得如果現在你說要實體
[19:29] 會不會不可能一定是現象測驗
[19:32] 想像中是說如果我們是on-site interview
[19:38] 會不會是on-site interview當中的某一個環節是讓它用
[19:43] 那樣子會讓整個interview的時間都很長
[19:45] 時間都很長
[19:46] 對很長
[19:47] 所以所有的測驗我們一定是在面對面的時間
[19:50] 對之前一定讓它找時間把它來吃
[19:53] 要鎮定完這件事情
[19:54] 對
[19:55] 然後那個風險只有
[19:56] 那個風險其實另外一個風險就是
[19:58] 基本上你只要測一個人兩個人之後
[20:01] 題庫就滿天飛了
[20:03] 
[20:03] 所有TPPS的測驗的題庫
[20:06] 基本上你在任何一個地方都會發到
[20:09] 所以任何人要到TPPS來念談以前
[20:12] 他如果真的很認真他就去爬題庫
[20:14] 然後就會知道哪些題目他可能預測會有哪些答案
[20:18] 是主考官想看的
[20:20] 所以這種東西其實是你防不了的
[20:24] 對
[20:25] 就看怎麼測啦
[20:26] 如果你是用一個標準的主務
[20:27] 對 只是就是說在那個測的過程當中
[20:30] 性消毒我們怎麼樣去把它測出來
[20:32] 然後知道就是說至少在這樣的
[20:35] 他拿到了這種成績之後
[20:37] 我們至少怎麼知道怎麼去判斷這個可信度是什麼
[20:42] 因為我們其實之前就算我們在做所謂的試性測驗好了
[20:46] 試性測驗一樣會遇到一個狀況
[20:48] 就是他測出來的結果是一個非常完美的
[20:52] 人格特質的一個成績
[20:54] 但你知道這種成績你就非常清楚的知道
[20:58] 他這個一定是看過很多的題庫之後
[21:00] 看完美就是一種問題
[21:01] 對 他就知道怎麼樣去填主管要的答案是什麼
[21:06] 對 那那個就只能靠就是在面對面面談的時候
[21:10] 你要把它問出來
[21:12] 讓測出來
[21:14] 然後知道實際上他的狀況是什麼
[21:16] 因為
[21:18] 其實我有想過很多個測驗的可能性
[21:23] 那如果是標準的問答題或選擇題
[21:27] 有固定題目的這個
[21:28] 其實我反而覺得那個是一個最不想選的做法
[21:33] 對 那可能比較理想的做法
[21:35] 甚至就覺得是那就開始跟一個AI的面試官來聊天吧
[21:41] 對 那從面試
[21:43] 你一個遙控碗給他拿出來用啊
[21:45] 對 但這件事情又會反應過來就是成本
[21:49] 然後跟成本
[21:51] 可是如果他可以拿出來賣
[21:54] 這又是另外一回事喔
[21:56] 要不要投入這個成本
[21:58] 應該說AI面試現在市面上很多
[22:01] 但是AI面試AI的能力
[22:04] 這個是另外一回事
[22:05] 對 所以
[22:07] AI作弊的工具會
[22:10] 對 很難
[22:12] 我建議啦
[22:14] 既然他只是就
[22:15] 他其實
[22:17] 就是我們在面談之前的一個參考
[22:21] 我們只是要看他的態度
[22:23] 然後跟你具備的知識的程度
[22:26] 那跟他的學習力
[22:28] 如果我們只是要看這三項
[22:30] 對我們來講是重要的
[22:32] 那我們就不要把它想的那麼複雜
[22:36] 對 就是單純的從這幾個特質
[22:39] 去做設計就好了
[22:41] 我覺得可以先試一個版本
[22:44] 我們來看一下
[22:45] 對 因為實務上來說
[22:47] 擺不同的position
[22:49] 舉例來說像數位的position
[22:51] 數位的主管
[22:52] 其實他們在人選進到
[22:54] 推進到第二面的時候
[22:56] 他就會出題目讓他做實作
[22:58] 那實作作品來了之後呢
[23:00] 我們在現場的面試
[23:02] 我們會讓他去present
[23:04] 去說明他用了什麼工具
[23:06] 在什麼地方做出什麼樣的效果
[23:08] 那那個就是一個實際present的
[23:10] 實務的作品在做說人了
[23:13] 所以他那個就完全
[23:15] 他其實是很難去做到作品這件事
[23:18] 但是如果我前面只是要測他的態度
[23:21] 跟基本的知識
[23:23] 還有他的學習力
[23:25] 或者是潛力
[23:26] 我只要看這幾個特質
[23:28] 因為這個是common
[23:29] 所有的職位都必須要測
[23:31] 可是問題就是在於
[23:32] 你要怎麼去測驗他的態度
[23:35] 如果你今天是一個選擇題
[23:38] 那你真的測得出來他的態度嗎
[23:40] 當然啊 所以
[23:41] 沒有這個通常都是要用
[23:45] 他一定會結合一些實務的
[23:47] 應該是問卷就要查設計的題目
[23:49] 你是要給他一個情境題
[23:51] 你絕對不會說你願不願意你喜不喜歡
[23:54] 不是封閉的啦
[23:55] 而是有一些情境題說
[23:57] 你遇到這個時候你會怎麼處理
[23:59] 那我從他回答這個內容去判斷說
[24:02] 他是不是有這樣的傾向
[24:05] 他的態度是什麼
[24:07] 通常就是問卷設計都有自己的一套路
[24:11] 邏輯
[24:12] 那這個可以跟什麼
[24:13] 去找區發
[24:15] 他們很會設計這種問題
[24:17] 因為他們要去知道說
[24:19] 這個問卷內容的可信度
[24:21] 他們會去從前後勾集
[24:26] 他會可能這個問你
[24:29] 用這樣問
[24:30] 跟用這樣問
[24:31] 他是同樣的內容
[24:33] 跟問同樣
[24:34] 可是他不同的問法
[24:35] 看你回答的內容是不適合
[24:37] 是不是有一種性
[24:39] 這個就是要回到問卷
[24:42] 不過AI應該也可以做啦
[24:44] 對
[24:45] 我覺得AI也可以做
[24:46] 我有方例可以等一下給你看
[24:47] 你要不要先
[24:48] 好我給你看一下方例好了
[24:49] 那我個人的想法會是比較傾向於
[24:55] 前面是一個基本的測試
[24:57] 而不是實作你能力上面的
[25:02] 能力我覺得是會放在面試的過程當中
[25:06] 去理解說他是不是有
[25:10] 實作這件事情太廣了
[25:12] 但可能實作有一種講的實作可能是說
[25:16] 你說你會用TradeGPT
[25:19] 或會用German來
[25:20] 但你到底是什麼樣子的會
[25:22] 你平常有在用它
[25:23] 那到底你是怎麼用它
[25:25] 你只是一個問題丟給它
[25:27] 然後
[25:28] 不是我的意思是說
[25:29] 他可能可以秀他自己的
[25:32] 因為他會做嘛
[25:33] 一定有紀錄嘛
[25:35] 你可以把這個說
[25:36] 我做了這個證明說你做了這個事
[25:39] 用這樣子的軟體
[25:40] 就這樣而已啊
[25:42] 我覺得這個
[25:43] 現在要來去verify這件事情沒有太難
[25:46] 或者是另外一種方式
[25:50] 另外一種方式
[25:51] 我覺得現場跟你講一個很簡單的
[25:53] 請你用什麼樣的工具
[25:55] 那你先
[25:57] 好我先這麼想
[25:58] 我先稍微講一下
[25:59] 那時候我在設計這題
[26:00] 我還沒有跟Joyman去做整合
[26:02] 因為Joy裡面有很多公司
[26:03] 內部細節的想法
[26:04] 那我那時候在做
[26:05] 那我那時候在做這件事情的時候
[26:07] 我是只有挑戰我的AI幾件事情嘛
[26:09] 一個是
[26:10] 你怎麼去評分
[26:11] 一個是
[26:12] 你怎麼讓它不作弊
[26:14] 還有一個是
[26:15] 你怎麼讓它設計的題目
[26:16] 是會跟AI有關
[26:18] 我就挑戰它這三件事情嘛
[26:20] 那它給的答案的話
[26:21] 是
[26:22] 評分的部分
[26:23] 它是用業界學術上的一些東西
[26:25] 但我認為參考就好
[26:26] 你信賴
[26:27] 就是統計數字
[26:28] 對我覺得參考就好
[26:29] 統計數字
[26:30] 信賴
[26:31] 那現有的話
[26:32] 現有市面上有哪些
[26:33] 他大概也有給了一些
[26:35] 那這些當然
[26:36] 基本上我覺得
[26:37] 我們應該也不會花錢去買
[26:40] 但是我們可以拿來做為參考
[26:42] 學習
[26:43] 那去做
[26:44] 好
[26:45] 那直接看它現在給出來的東西
[26:46] 我覺得在幾個挑戰的時候
[26:47] 它給出來
[26:48] 都讓我是蠻訝異的
[26:49] 說實在的
[26:50] 是真的還蠻
[26:52] 可能被我逼到那個
[26:54] 哈哈
[26:55] 哈哈
[26:56] 沒有
[26:57] 好
[26:58] 它
[26:59] 對
[27:00] 它概念上就是這樣
[27:02] 它既然是AI考試
[27:04] 我一開始它就給你AI了
[27:06] 所以它用問一個題目
[27:08] 它必須要用AI做
[27:10] 所以同樣的題目
[27:12] 不同的用AI會給出不一樣的結果
[27:14] 它可以在裡面
[27:16] 它有時間限制
[27:17] 所以在時間限制以內
[27:19] 它必須用AI來解答這一題
[27:21] 那這時候就會有一個很有趣的
[27:23] 最後它認為滿意的答案
[27:25] 每個人都會不同
[27:26] 然後它用這個答案
[27:28] 來去verify
[27:30] 它的評分
[27:31] 它的評分
[27:32] 
[27:32] 我請它做一個比較冷的
[27:34] 因為那你給Joe看了一個不像人的東西
[27:36] 對
[27:37] 那比較像人一點的東西
[27:39] 就是說
[27:40] 它是誰
[27:41] 然後它就應徵的是什麼
[27:44] 來自於哪裡
[27:45] 然後
[27:46] 它的評分是建議
[27:47] 然後它該去哪一組
[27:49] 然後再來就是它總分多少
[27:51] 那再一些評分
[27:52] 它總共花了多少時間
[27:53] 再來就是說它會拆解任務給AI
[27:55] 這其實就是剛剛討論的
[27:56] 這是我們要用哪幾個象限去看這件事情
[27:59] 那這幾個象限也是可以定義出來
[28:01] Joe剛剛已經定義出了六七個象限
[28:03] 所以就是說在整合完之後其實會有不同
[28:06] 然後去給一些
[28:07] 因為它是針對它的答案
[28:08] 因為它會AI設計題目
[28:10] AI心目中會有答案
[28:12] 那它會跟它的答案再回去評分
[28:14] 那它會有一些評分的想限
[28:16] 所以就是說它評分說
[28:17] 那它在這一題裡面
[28:18] 它在拆解任務的時候它是幾分
[28:20] 那它Prompt寫得清楚它是幾分
[28:22] 大概會用這樣的方式去評
[28:24] 那評分的時候
[28:26] 我覺得基於剛剛作弊那一題
[28:28] 其實
[28:29] 我的想法是這樣
[28:30] 如果是AI出題目
[28:31] 那AI隨時可以換題目
[28:32] 他們永遠猜不到AI下一題會做什麼
[28:35] 對
[28:36] 所以這件事情其實是可行的
[28:38] 因為AI自己它
[28:40] 終究它會去定義說它所謂的評分
[28:42] 但是這就是細節了
[28:43] 因為這就是就像這樣的細節
[28:44] 我們邏輯上是這樣就是
[28:46] 可是我還有一個問題
[28:48] 回過台灣你在出題這件事情
[28:50] 每一個職位
[28:52] 它有每一個職位的專業能力
[28:55] 對
[28:56] 所以我說我當時我是給它工作說明書
[28:59] 根據於這個工作說明書
[29:01] 你應該要做的事情的時候
[29:03] 你可能要出什麼樣的題目
[29:05] 對
[29:07] 其實你只一看一下
[29:08] 它可以針對它的身分跟職位
[29:09] 它就會出不一樣的題目給它
[29:11] 對
[29:12] 沒錯
[29:13] 它這裡其實是可以針對它不同的職位
[29:14] 對
[29:15] 跟它不同的等級
[29:16] 跟它的不同的那個層級
[29:18] 那去決定
[29:19] 你說工作說明書
[29:21] 但是每個主管在提這個職位的時候
[29:23] 都要寫的
[29:24] 對
[29:25] 它要負責什麼樣的工作
[29:26] 它的工作流會是什麼
[29:28] 嗯
[29:29] 嗯
[29:30] 哦
[29:31] 說主管還出這個題目
[29:32] 不是
[29:33] 主管可能有工作說明書
[29:35] 然後
[29:36] 當然AI就根據這個工作說明書
[29:38] 就跟JD去出題
[29:39] 對
[29:40] 我個人的想法是應該是要這樣
[29:43] 所以我當時我做的就是
[29:45] 我給它一個JD
[29:46] 你根據這個JD幫我出
[29:48] 我應該要出什麼樣子的測驗題目出來
[29:51] 然後剛剛的那個邏輯
[29:53] 比較像是
[29:54] 既然你有可能用AI來作弊
[29:57] 那我們就直接讓人家上面就給你AI了
[29:59] 對
[30:00] 你也不用用缺LGPT或什麼其他
[30:01] 不用
[30:02] 我就送你一個這個
[30:04] 甚至他
[30:05] 懂的人就知道
[30:06] 這個model
[30:07] 應該用什麼方式跟它溝通
[30:09] 會拿出最好的成效
[30:10] 不懂的人就會
[30:11] 自己選AI
[30:13] 
[30:13] 還是說
[30:14] 沒關係啊
[30:15] 這個就是要測他們的能力啊
[30:17] 對啊
[30:18] 因為本來
[30:19] 職位的不一樣
[30:20] 對
[30:21] 他可能不用管那件事情
[30:22] 他不用管
[30:23] 他也可以管
[30:24] 我們只要知道怎麼跟他合作就好
[30:25] 對
[30:26] 應該只是看題目跟他最終的
[30:28] 還有過程
[30:29] 那我剛剛想到的就是說
[30:30] 我們想要測的這個分數出來
[30:35] 然後
[30:36] 因為這邊是要
[30:38] 比如說這個
[30:39] 這個這個
[30:40] 每一個可能不一樣
[30:42] 那我這個幾個面向
[30:44] 出來結果
[30:45] 我怎麼去解讀他
[30:47] 怎麼去主管怎麼看這件事情
[30:50] 所以會要有個報告
[30:52] 對
[30:53] 因為如果像剛剛的定義
[30:55] 比較像是
[30:56] 他那個題目都會是
[30:58] AI
[30:59] 產生的
[31:00] 那
[31:01] 所以
[31:02] 這個東西到底
[31:03] 為什麼
[31:04] 可是這個分數
[31:05] 因為他的那個回答也不會是一個標準答案
[31:07] 所以那個就會變成是由AI衡量的
[31:09] 給出來的分數
[31:10] 那AI就要講說
[31:11] 如果說滿分五分
[31:13] 他給了四分
[31:14] 那為什麼
[31:15] 他給了四分
[31:16] 然後
[31:17] 原因是什麼
[31:18] 
[31:18] 所以這個會變成是
[31:19] 要有AI來產生
[31:20] 最後的那個報告
[31:22] 只是我們的框架上面還是會給我們要的那幾個維度
[31:25] 跟那個分數的標準
[31:27] 其實後面的描述就會變成都是AI產生出來的
[31:31] 但是定義AI這件事情就叫細節了
[31:34] 這個東西就很細
[31:36] 那我還要講一個就是說
[31:38] 我們可以定義他的維度
[31:39] 我們可以定義他判斷的方式
[31:41] 然後但是
[31:42] 終究只有他去判斷
[31:43] 但我們會有一些屬於TVPS的定義
[31:45] 那
[31:46] 還有一個像這邊什麼東西
[31:48] 那這個意思就是這一整份報告
[31:50] 我那時候跟他要求是
[31:51] 你做一個HR看得懂的報告
[31:52] 不要做一個HR看不懂的報告
[31:54] 所以他就開始用了一些什麼
[31:56] 同級對照啊
[31:58] 那意思是說其實你們想要的
[32:00] 就是HR想要的
[32:02] 他都做得出來
[32:03] 對比方說最近面試者
[32:05] 全部幫你做一個全盤
[32:07] 或是同一個職位的面試者
[32:09] 做一個互相比較
[32:10] 同一個部門
[32:11] 同一個職位
[32:12] 全部都做得出來
[32:13] 只要你想得到的
[32:14] 他邏輯上就是這樣
[32:15] 那細節絕對是在題目上的設計跟他判斷
[32:18] 到底靠不靠譜這個才是重點
[32:21] 這絕對是細節
[32:22] 那每一個題目
[32:24] 每一個職位他怎麼去判斷
[32:26] 這也是細節
[32:27] 大概會是長這樣
[32:28] 他就是一個測試一個報告一個這樣就結束了
[32:31] 對
[32:32] 那他我覺得最讓我壓抑是他
[32:36] 我一直挑戰他說
[32:37] 你就是要想辦法避免的要作弊
[32:38] 所以他就直接送他一個
[32:40] 這個蠻讓我壓抑的
[32:43] 對
[32:44] 這個
[32:45] 然後再加上現實
[32:46] 現實只要我只測一分鐘或三分鐘
[32:49] 就會測出人的實力了
[32:50] 對
[32:51] 對
[32:52] 這沒錯
[32:53] 對
[32:54] 如果他連這裡都不懂得什麼輸入
[32:56] 那基本上就可以知道結果了
[32:58] 對阿
[32:59] 對阿
[33:00] 以你們的
[33:01] 就是
[33:02] 你們的
[33:03] 對整個公司的各個職位的認知來講
[33:07] 像這樣的模式是適合嗎
[33:09] 可以阿
[33:10] 可是現在連主管談到的不一定會做
[33:14] 我老實說
[33:16] 我有種感覺
[33:17] 如果這個題目
[33:18] 我老實說
[33:19] 我們自己內部的
[33:20] 還有再來就是連主管叫他出
[33:23] 他不一定出得出來題目
[33:25] 所以我說我也不要叫主管去出了
[33:29] 對不對
[33:30] 我覺得你剛剛講的用JD來採
[33:31] 我覺得可以JD
[33:32] 我告訴你說你們的工作
[33:34] 那當然我覺得
[33:35] JD都寫不好
[33:37] JD都讓我們通過
[33:39] 可是現在還是可以叫AI
[33:41] 我都會丟進去AI
[33:43] 叫他幫我寫一個
[33:45] 這是我們阿
[33:46] 我們後面
[33:47] 因為為了要讓招募
[33:49] 為了要讓那個求職平台上面的資訊
[33:52] 可以更清楚明瞭一點
[33:54] HR會自己做
[33:56] 但是主管送上來那個JD
[33:58] 以文字記者來講
[34:00] 每一不管不分組
[34:02] 他就是只有三件事
[34:04] 約訪、採訪、解考、參檢
[34:07] 三件
[34:09] 對,就這三個
[34:10] 可是我是覺得
[34:11] 不管他是哪一條線
[34:13] 就是這三個
[34:14] 可是我覺得那個可以去
[34:16] 因為他們可能不知道
[34:18] 所以你們可能需要有一個
[34:20] 主管要填JD的時候
[34:23] 不要再填表格
[34:24] 應該這麼講
[34:26] 應該這麼講
[34:27] 應該這麼講
[34:29] 應該這麼講
[34:30] 之前我們
[34:31] 我在文宣的時候做專案
[34:33] 我們不會根據
[34:35] 就你是
[34:36] 不,你是
[34:37] 你一個
[34:38] 我BP好了
[34:39] 每一個BP有五個
[34:41] 他不會有五份JD
[34:42] 五份JD的
[34:43] 他就是一份
[34:44] 因為這個位置
[34:45] 要做什麼事情
[34:47] 應該可以被定義出來
[34:49] 那譬如說記者好了
[34:52] 文字記者要做什麼事情
[34:53] 我就是一份
[34:54] 他的工作內容就很清楚
[34:56] 因為你
[34:57] 不管你跑任何線
[34:58] 你每天要完成任務是一樣
[35:00] 只是你的內容是
[35:02] 生活、社會不一樣而已
[35:04] 所以那個我覺得是
[35:06] 只要前端
[35:08] 我覺得也趁現在剛好有AI
[35:10] 讓他們重新再review
[35:12] 他們工作對於記者的要求
[35:15] 是什麼
[35:17] 然後再來就是說
[35:19] 真的可以有個interview
[35:20] 因為現在有
[35:21] 有很多那種
[35:22] 就是讓AI去做interview
[35:24] 別人寫好的那種sql
[35:25] 他真的會去做deep interview
[35:28] 就幫你做深度的問答
[35:30] 把一些東西給挖出來
[35:32] 所以這個現在就是
[35:33] 請主管們來
[35:34] 我們
[35:35] 我們就送主管
[35:36] 跟他聊
[35:38] 他就直接聊
[35:39] 把東西都挖出來了
[35:40] 因為主管他可能不會寫
[35:42] 但他可能會講
[35:43] 對
[35:45] 我覺得我們可以直接把這sql
[35:47] 放在AI1 stage 4
[35:49] 直接我們直接丟進來
[35:50] 我覺得就可以讓他們慘了
[35:52] 可以
[35:54] 那而且就是
[35:56] 一定要問他們你的AI是什麼
[35:58] 你希望他可以
[35:59] 在這個工作中
[36:01] 工作流
[36:02] 就是之關的那些
[36:03] 他們需要具備什麼樣的
[36:04] 比如說像好了
[36:05] 現在新聞部要會做自己
[36:08] 文字經營的
[36:10] 用A3做CG
[36:11] 因為以前沒有
[36:13] 採訪
[36:14] 然後Jump
[36:15] 採訪結束之後
[36:16] Jump搞
[36:17] 影音剪輯到CG製作
[36:19] 然後最後完成一則
[36:22] 完整的新聞
[36:23] 可以直接上
[36:24] 這個是文字記者
[36:26] 現在的整個作用
[36:28] 那這不就是跟
[36:30] 招募工程師的時候
[36:33] 應該要給他一個題目
[36:35] 讓他做做看
[36:36] 才知道他會不會做
[36:38] 不然你要如何問他說
[36:41] 你會用AI做CG嗎
[36:42] 他可能就會
[36:43] 可是相信我們還有一些
[36:45] 完全沒有紅酒之類的
[36:47] 就是NG-level的
[36:49] 我覺得那種測試很適合
[36:52] 讓他直接一個情境
[36:54] 一些素材
[36:56] 就直接做了
[36:57] 然後就是像這樣的一個AI工具
[36:59] 就直接做了
[37:00] 然後做完主管就看
[37:01] 喔這篇你寫出來的報導是這樣
[37:02] 你做出來的事情就是這樣
[37:04] 因為新
[37:06] 剛畢業的人不見得
[37:08] 他就一定做得比較不好
[37:10] 那像譬如說
[37:11] 現在在學校的營養
[37:12] 其實教部弄得還不錯
[37:14] 對對對
[37:15] 他們其實在學校
[37:16] 原生他們就會有一些
[37:18] 學習的東西
[37:20] 其實說還OK啊
[37:22] 譬如說像新聞
[37:24] 新聞它不一致
[37:25] 它有事實查證
[37:26] 對
[37:27] 這些東西都是沒有辦法
[37:28] 在JD裡面
[37:29] 他們要做
[37:30] 這事實查證
[37:31] 要去約方證
[37:33] 這些東西都是在他們工作的內容當中
[37:37] 只是他們沒有寫出來啦
[37:38] 對啊
[37:39] 他們就是只是兩個字約方
[37:41] 兩個字約方
[37:43] 兩個字約方
[37:45] 然後沒有把那個怎麼
[37:47] 這些東西應該要做到什麼樣的標準
[37:50] 那這個會是他們在interview的時候
[37:52] 選題他們也沒寫出來
[37:54] 我應該說我們家的主管
[37:57] 其實在面談的時候
[38:00] 以新聞部來講
[38:04] 他們其實在面談這些人的時候
[38:06] 其實問的問題都很少
[38:08] 因為平常這些記者們
[38:10] 他們在螢光幕
[38:11] 就是在新聞
[38:12] 其他的新聞頻道上面
[38:13] 他們只要看過他的東西
[38:15] 基本上就可以知道這個人到底行
[38:18] 或不行
[38:19] 所以在面談的過程當中
[38:21] 他們其實會比較少去問到這些問題
[38:24] 那這些問題
[38:25] 反而都是HR在問
[38:26] 那像我自己在談所有的新聞部的文字記者的時候
[38:32] 針對AI能力的部分
[38:34] 我就會要求他
[38:35] 你必須要具體舉一個你曾經做過的例子
[38:38] 而且是讓我可以查到
[38:40] 我可以去看到你實際上做出來的東西
[38:43] 到底是什麼
[38:44] 然後這個東西
[38:45] 你用了哪些的工具去做
[38:47] 讓它採出來
[38:48] 花多久時間
[38:49] 如果你當場根本沒有辦法舉證出來的話
[38:53] 其實我的判斷有可能就是
[38:55] 那其實你在自己的部分的應用是少的
[38:58] 嗯
[38:59] 對
[39:00] 那另外一個當然就是
[39:01] 其實對文字記者來講
[39:02] 我覺得要測他們對於AI的接受度跟態度的原因
[39:05] 是因為
[39:06] 目前就我們
[39:08] 我談過這麼多他台來的記者
[39:11] 其實他們都
[39:13] 不是太理解
[39:16] open 的接受AI工具應用在記者的工作
[39:19] 因為這個有為他們自己
[39:22] 在做新聞真實的這個核心的信念
[39:26] 對
[39:27] 所以
[39:28] 這件事情對於他們來講
[39:29] 其實
[39:30] 目前我們談到這麼多
[39:32] 即便在學校
[39:33] 即便在學校
[39:35] 教授在教這件事情的時候
[39:37] 其實也不會特別去
[39:40] 因為看教授對這件事情
[39:43] 他自己的認知
[39:44] 對
[39:45] 所以他們其實也不會太去就是
[39:47] push這件事情
[39:48] 就告訴學生說
[39:49] 其實你要善用一些AI工具
[39:51] 在你的工作上執行
[39:53] 因為對於他們來說
[39:55] 新聞真實
[39:57] 查證這件事情才是核心的
[39:59] 對
[40:00] 所以這個是在談新聞部記者的時候
[40:05] 跟我在談數位的時候
[40:07] 那個
[40:08] 數位的position
[40:09] 它其實是完全不同的
[40:11] 數位是你原生就應該要做
[40:13] 因為那就是generalizing AI
[40:15] 對
[40:16] 對
[40:17] 帶來最大的影響就是數位的
[40:19] 數位內容裡面
[40:20] 不管你要做完它的內容
[40:23] 可以大量的應用
[40:25] 你要進入到這個領域裡面
[40:27] 對
[40:28] 你不做你速度就比人家慢了
[40:29] 然後另外一個
[40:30] 那你們覺得
[40:31] 以相對來講
[40:32] 在節目部
[40:33] 節目又不一樣
[40:35] 因為節目他們實際上是非常
[40:37] 它是非常實景的
[40:40] 實場的
[40:41] 所以它的東西會在攝影棚發生
[40:44] 所以FOR攝影棚
[40:45] 它怎麼樣讓它的道具
[40:49] 或者是一些要應用的東西
[40:51] 是可以實際上很快速的
[40:54] 生成這件事情
[40:55] 它們其實還是大量的依賴
[40:58] 製作資源部的support
[41:00] 所以它們在這個部分的概念
[41:02] 製作資源部的support
[41:04] 是說
[41:05] 做道具
[41:06] 對
[41:07] 因為我現在的錄影
[41:08] 都還是實景
[41:09] 所以你才會發現
[41:11] 其實有那個什麼
[41:12] 搭景班的師傅
[41:14] 這個
[41:15] 對
[41:16] 搭景班的師傅
[41:17] 他們搭景的那些素材
[41:20] 或他們到底要怎麼去建出那個景
[41:23] 那跟他沒關係
[41:24] 跟他沒關係
[41:25] 他只是負責去搬去
[41:26] 他們會有
[41:27] 已經寫好了
[41:28] 地上都畫好了
[41:29] 有標記好了
[41:30] 他們就
[41:31] 今天要搭
[41:32] 搭國民大會
[41:33] 他就要去做
[41:34] 今天是
[41:35] 什麼什麼
[41:36] 他趕快去換
[41:37] 對
[41:38] 那已經都被設計好了
[41:39] 所以你可以想像
[41:40] 設計的是另外一個
[41:41] 搭景班的師傅就是木座
[41:43] 就是木工師傅
[41:44] 他就是把東西多多多放
[41:46] 東西有壞掉
[41:47] 把它拼好
[41:48] 把它弄好
[41:49] 因為我們現在其實
[41:50] 還沒有進到很多的虛擬棚
[41:52] 又或者是說
[41:54] 可是以後會搭景班
[41:56] 我們現在只有一個虛擬棚
[41:57] 我們現在只有新聞部有用一個
[42:00] 兩個虛擬棚
[42:01] 提關點是用虛擬棚
[42:02] 但虛擬棚就不需要搭景班師傅
[42:04] 不用
[42:05] 虛擬棚就會比較多的
[42:07] 真的是
[42:08] 在做虛擬棚的設計的那一組人
[42:10] 他們就比較多的AI的
[42:12] 有去看過虛擬棚
[42:14] 對
[42:15] 就是用那個
[42:17] 漢眼那邊的動畫那一組
[42:19] 動畫設計那一組
[42:20] 所以你說你要測這些人
[42:22] 擺不同的職位去測
[42:24] 用AI這個去測
[42:26] 我們還是會做選擇性
[42:28] 我們還是會做選擇性
[42:30] 我們還是會做選擇這個版本
[42:31] 搭景班的師傅
[42:33] 就不測這個
[42:34] 我要問的是一個問題
[42:37] 就是現在
[42:40] 一般啦
[42:42] 企業裡面
[42:43] AI的應用很普及嗎
[42:47] 一般是指
[42:49] 嗯
[42:50] 我覺得還是會分
[42:51] 像我們公司也是一樣
[42:54] 我們說媒體產業好了
[42:56] 就媒體產業好了
[42:57] 因為像你們剛剛的描述
[42:58] 有一批人
[42:59] 我覺得核心還是會分成兩塊
[43:02] 一塊是他的工作有沒有接觸電腦
[43:04] 對
[43:05] 就在講
[43:07] Fake Office的
[43:08] AI的
[43:09] 現在我覺得還是很少
[43:11] 還是很少
[43:12] 
[43:12] 對
[43:13] 我在衛生就沒有啊
[43:14] 以我們現在談很多的大概
[43:17] HTC 我也
[43:18] 應該沒有
[43:20] 他們應該對RT在用而已
[43:22] 第一個
[43:23] 我們有什麼軟體可以用
[43:25] 我們到現在都還是自己用自己
[43:27] 我自己買Cloud
[43:29] 自己買JM來自己買
[43:30] 如果要我
[43:32] 我覺得現在現實就是
[43:33] 如果你今天要用大量用那個AI的工具
[43:36] 再提升我的工作效率
[43:38] 你沒有給我平台軟體
[43:40] 這件事情是不可能達成的
[43:45] 對不對
[43:47] 我們現在都還是
[43:48] 就是盡量如果可以
[43:50] 可是我那天有跟Michael講說
[43:53] 我們如果要推也要測驗
[43:55] 你至少要有一個
[43:57] 真的可以讓大家都可以去學習的機會
[44:01] 我們再來做
[44:02] 才有可能
[44:03] AI wise
[44:06] 但我一直在想這題的時候
[44:08] 我都覺得應該是回到
[44:09] AIQ我難說聽到的
[44:11] 它本質應該是希望人有那個
[44:13] Mysame
[44:14] Mysame
[44:15] 對
[44:16] 所以它可以很淺
[44:18] 可是概念又會回到說
[44:21] 你那個概念
[44:23] 只是說你知不知道跟AI對話
[44:27] 或是知不知道
[44:28] 對就是像比方說
[44:29] 大家同得他們都對話
[44:30] 他就是很高分
[44:31] 應該
[44:32] 應該
[44:33] 我問你
[44:34] 我問你
[44:35] 就是說
[44:36] 法規覺得說
[44:37] 紅綠燈可不可以闖
[44:38] 跟我會不會去闖
[44:39] 紅綠燈是兩回事
[44:40] 對啊
[44:41] AIQ是說我知道
[44:43] 可是我會不會去做
[44:45] 是兩回事
[44:46] 對啊
[44:47] 所以他就是
[44:48] 可是我的測驗是要知道說
[44:50] 你會不會去做這件事情
[44:51] 而不是你知不知道
[44:53] 所以你會不會做這件事情
[44:56] 可能就要這種情境
[44:57] 才比較容易做得出來
[44:59] 那你知不知道
[45:00] 可能就可以用選擇題
[45:02] 對
[45:03] 知不知道那個
[45:04] 我覺得那個就是一個基本表演
[45:07] 但是你知不知道這件事情
[45:08] 又會有分程度
[45:09] 就變成是說
[45:11] 搭那個部警的師傅
[45:16] 他需要
[45:18] 我們需要測驗他知不知道的東西
[45:20] 跟
[45:21] 會用電腦的人
[45:23] 他需要知道的東西
[45:25] 就是通識跟專業測試的概念
[45:28] 對
[45:29] 一般通識跟
[45:30] 一般
[45:31] 就是有一般通識
[45:32] 這個概念
[45:33] 你等一下嘛
[45:34] 就是說
[45:35] 我覺得每一個人現在避免不了要跟電腦工作
[45:39] 對
[45:40] 你雖然實體的工作是在搭的
[45:42] 你有某一些行政作業要去記錄要去做什麼的
[45:45] 還是會有
[45:46] 那你知不知道
[45:47] 你還是要知道
[45:48] 只是那個是基本的
[45:50] 你不是專業的部分是要跟AI工作
[45:53] 可是你是在其他類型性的事務上面要去做記錄要去幹嘛
[45:58] 你必須要分AI合作
[46:01] 
[46:01] 我們就是出兩種
[46:03] 一種叫做通識的
[46:05] 通識就是選擇
[46:07] 就是概念
[46:08] 就是概念
[46:09] 那可能就是選擇題問答題之類的那種
[46:11] 那就是每個人
[46:13] 專業的部分就變成真的要用JD來去看他
[46:17] 然後他就是真的在實體面臺上的時候
[46:21] 我們要有十分鐘的時間現場考
[46:24] 我會說這個東西就可以拿JD會進來
[46:28] 然後但是你們可能就會去挑說
[46:30] 這類型的職位的人才需要做這種測試
[46:33] 那我們可不可以分階段
[46:36] 我覺得再來還有一個問題我要聽
[46:38] 就是我們做這些實施
[46:41] 面試者的反應是什麼
[46:42] 這個是很現實的
[46:45] 我們會被大量的討論
[46:48] 有可能是負面的
[46:49] 對啊對啊
[46:50] 所以我才覺得
[46:51] 我說不要考太難的原因在這裡的
[46:55] 那個就是因為
[46:57] 我們其實我們先做沒有問題
[47:00] 但我們一定會被討論
[47:02] 那這個就是壓力
[47:04] 然後第二個是
[47:06] 對我們招募來講是很大的一個
[47:09] 找陽明
[47:10] 我們要做這件事情的時候
[47:12] 先做個PR
[47:13] 我們就是第一個示範者
[47:15] 我們要開始進行這個
[47:16] 大家都知道了
[47:17] 你要來你就是先打好預防針
[47:20] 這我覺得是可能要先把這些訊息都拋出去
[47:27] 然後再來
[47:28] 你就
[47:30] 我已經說好我們要開始運用
[47:32] 不是只有你要進來
[47:34] 我們自己內部我們要做這件事情
[47:35] 第三有善一點就是在我的招募網站上面
[47:38] 我也做一個模擬讓他可以在上面
[47:41] 對
[47:42] 因為我們AR champion的題目會用招募網站
[47:45] 對
[47:46] 因為我們現在都要仰賴PM接待
[47:51] 我本來想說如果這種類型
[47:54] 它可以比較像是一個通用型的
[47:56] 不是就是
[47:57] 並不會是有牽扯到我們的一些招募
[48:01] 不應該外流出去的資訊的話
[48:03] 那搞不好這個東西也可以變成是一個
[48:05] 因為它最後測量出來就是
[48:06] 你有六個維度或幾個維度
[48:09] 然後你的能力值大概在哪裡
[48:11] 有點像是心理測驗那樣
[48:13] 我測完的話
[48:14] 還可以留一個我自己的結果頁
[48:16] 然後還可以分享給我的朋友說
[48:18] 你看我這個東西是什麼
[48:19] 可是你知道這個是要人家有做統計
[48:23] 而且實驗過
[48:24] 它的可靠性要懂
[48:26] 對
[48:27] 這個是必須要被
[48:28] 我設計完了以後
[48:30] 我要去做大量的實作
[48:33] 我先做譬如說100個樣本
[48:35] 因為它這個叫實驗設計
[48:38] 應該說
[48:41] 問卷設計的過程當中
[48:44] 我要去驗證
[48:45] 我為什麼設計這個題目
[48:47] 原因我前面有很大問題
[48:49] 我會有很大的理論
[48:50] 我要說這個是不是可信的
[48:51] 我要去
[48:52] 我要去
[48:53] sample來的時候
[48:54] 100個問卷
[48:55] 然後去知道說
[48:56] 這個
[48:57] 的確是跟我
[48:58] 檢測出來的
[49:00] 真的是可以信賴的這個資訊
[49:02] 這個沒有那麼容易
[49:04] 那現在這件事情都可以大量被AI來模擬
[49:07] 因為像有公司專門在做Persona
[49:11] 就是它可以模擬1000個人設
[49:13] 題目來1000個人設去回答
[49:15] 回答出來去分析
[49:17] 然後去做調整
[49:19] 但是我們沒有
[49:21] 對啊
[49:22] 我們要的老師
[49:23] 我們
[49:24] 
[49:24] 我們
[49:25] 對
[49:26] 那再拉回來一點就是我們
[49:27] 我想說我們進行的方式
[49:28] 我們的一些時程
[49:29] 然後
[49:30] 我們的階段
[49:32] 跟我們
[49:33] 有沒有要內測啊
[49:35] 就是內部測試啊等等的
[49:37] 我個人覺得從數位事業部開始做
[49:41] 是可以比較合適的
[49:45] 原因是他們真的工作本來就被要求
[49:48] 要做這件事情
[49:50] 只做
[49:51] 先有一個示範團隊
[49:54] 我們先亂看一看
[49:56] 就是慢慢擴大這件事情
[50:00] 你覺得
[50:01] 你說做事
[50:02] 就是說我們先把這些
[50:04] 開始針對於某一個區域的
[50:06] 我們要開始做
[50:08] 還是要我反正我就不管了
[50:10] 我全部就衝了
[50:11] 我們也要先驗證一下
[50:13] 我們要先決定
[50:14] 我們要做哪些
[50:18] 要用一般的通識的概念先去做
[50:22] 還是我其實是通識加專念
[50:24] 他是兩種
[50:25] 通識加專念
[50:26] 因為如果說只是做一般的通識
[50:29] 我覺得那個全賞就是問題
[50:31] 對
[50:32] 那如果說要後面的這個
[50:34] 就是專業的測試
[50:36] 就是我現場要做一個實作
[50:38] 我也要考慮到就是
[50:40] 我的設備更夠
[50:42] 然後第二個
[50:43] 這個不是現場的
[50:44] 我剛剛
[50:45] 剛剛他秀的也是現場的
[50:46] 你要讓他也是現場的
[50:47] 因為他要限制實作
[50:48] 當然我所有的資料
[50:50] 應該會統一Storage在同一個地方吧
[50:52] 然後回來都在我們這
[50:54] 都在我們這
[50:55] 他是連線到我們這邊來
[50:56] 他是個網站
[50:57] 然後測完了
[50:58] 然後登陸測完了之後
[50:59] 就這樣了
[51:00] 對
[51:01] 然後我後面
[51:02] 我後面我們還是
[51:03] 這些資料我們還是可以收回來
[51:05] 做同一個position的分析吧
[51:07] 可以嗎
[51:08] 可以
[51:09] 對
[51:10] 但那個可能
[51:12] 就的確是我們分階段的話
[51:13] 第一個就是通識型的
[51:15] 然後難度不要太難的
[51:18] 因為我覺得也要對齊我們的目標
[51:20] 就是全部都灑出去的話
[51:22] 應該說那個就是全部的職位嘛
[51:24] 那你們也提到一個關鍵點
[51:26] 就是不能讓這個東西出去之後
[51:28] 大家會覺得是一個
[51:31] 壓力
[51:32] 太大的壓力
[51:34] 然後
[51:35] 但是那個東西到底
[51:36] 測完之後的那個結果
[51:38] 對我們來講的那個意義
[51:40] 我覺得我們好像可能會需要
[51:42] 是可以有一些內部的測試
[51:46] 可以啊我覺得可以內部測試一些
[51:48] 我就找幾個單位
[51:50] 一些人來做測試一下
[51:53] 那或者是裡面有一些AI的概念
[51:57] 比如說
[51:58] AI到底是會取代我嗎
[52:00] 還是取代我的某一些工作證
[52:03] 這個我覺得很多人
[52:05] 還是有這種迷思喔
[52:07] 那這個題目我們得到的答案
[52:10] 我們可以答算
[52:11] 對他後回答之後
[52:12] 我們是覺得
[52:13] 取代的要不錄取還是沒取代
[52:16] 錄取
[52:17] 這個題目設計我也有一點
[52:18] 不是我的意思是說
[52:20] 他知道的
[52:21] 說你知道的現在的AI
[52:23] AI現在的能力是
[52:25] 是取代工作本身
[52:26] 還是工作裡面的任務
[52:28] 我以為這個可能要
[52:30] 就不是說
[52:31] 我說那個設計還是可以
[52:33] 來講一下那個概念
[52:34] 別問
[52:35] 這有釋法性的問題
[52:36] 千萬請問
[52:37] 對這題有點
[52:38] 因為現在的利願在修法
[52:43] 他們之後會有一個
[52:44] 針對台灣的企業會有一個AI條款
[52:47] 所以對所謂的AI條款
[52:50] 就是說你的企業不能夠因為你導入AI
[52:53] 而對勞工有任何不利措施
[52:56] 所以這一題千萬不要問
[52:58] 不然我後面很難處理
[53:00] 你知道的
[53:01] 你知道的
[53:02] 我最近背後都是啥
[53:03] 哈哈哈哈
[53:04] 對
[53:05] 因為接下來台灣的法規
[53:07] 會針對AI工具的應用
[53:10] 就是勞動法規會針對AI科技
[53:13] 那個科技工具的應用
[53:15] 然後會有一些的限制
[53:17] 對於我們在做勞工
[53:19] 針對勞工的這些所有的舉措上面
[53:22] 會有一些的限制
[53:23] 所以我認為可以做
[53:26] 但是要很小心的做
[53:30] 不要讓我們成為政府的目標
[53:35] 勞動局的目標
[53:37] 那如果以你們的想像中來講
[53:39] 這種通識的測驗
[53:41] 它大概會是花
[53:43] 應識者大概多長的時間
[53:46] 就是十分鐘的問卷就可以
[53:48] 一般的試性測驗也是十分鐘要填完
[53:52] 對就是十分鐘之內一定要完成
[53:54] 對
[53:56] 好
[53:57] 那我們就會先以這個方向
[54:01] 然後但是那個衡量的
[54:04] 衡量的維度的話
[54:07] 有沒有什麼是你們會覺得
[54:09] 會這種通識類型的
[54:15] 你們會覺得有什麼其他的建議嗎
[54:18] 我們不見得都能夠在那樣的十分鐘內的題目問到某些
[54:32] 但是可能看有沒有你們覺得
[54:36] 其實剛剛
[54:38] 他在講
[54:39] 你可以回到你剛剛的那一個
[54:41] 哪一個
[54:42] 有一個
[54:43] 應該是
[54:45] 我覺得融入這一題可以融入
[54:49] 你是說
[54:51] 你說我那個範例的嗎
[54:53] 對
[54:54] 在同事類型的
[54:55] 不需要
[54:56] 對
[54:57] 原因是因為其實大部分他們
[55:00] 大部分的人選在看自己的
[55:03] position 的時候
[55:05] 他不會想到工作流的問題
[55:07] 對這個
[55:08] 然後對 entry level 來講
[55:10] 他更沒有工作流的概念
[55:12] Demo
[55:13] 好
[55:14] 喔
[55:15] 喔
[55:16] 我拿過來
[55:17] 對
[55:18] 對
[55:19] 應該說會不會想要衡量這件事情
[55:21] 但是衡量的時候的那個問題方式
[55:24] 可能就會
[55:25] 對
[55:26] 我覺得有一個一定要問就是
[55:28] 對於AI
[55:29] 什麼東西可以進去
[55:30] 什麼東西不行
[55:32] 資訊安全這些
[55:34] 立的這個東西
[55:35] 他一定要
[55:36] 這一題一定要幫到這個AI
[55:38] 你是說
[55:39] 哪些東西
[55:40] 可能會被AI學走
[55:42] 然後
[55:44] 
[55:44] 機密性的東西
[55:45] 對
[55:46] 這個一定要幫到這個
[55:47] 這個很重要
[55:48] 嗯
[55:49] 嗯
[55:50] 我們可以透過這個問卷
[55:52] 就是
[55:53] 考試的方式也知道說
[55:55] 也提升大家對於這些的意思
[55:57] 嗯
[55:58] 嗯
[55:59] 我有種感覺好像可以做同一份
[56:01] 只是
[56:02] 考試的方式
[56:03] 一個是剛剛那一個
[56:04] 一個是問卷就好了
[56:05] 好像做同一套系統就好了
[56:07] 就它一樣都是
[56:09] 我意思是說
[56:10] 我意思是說
[56:11] 反正我們需要去一個通通用的事情
[56:13] 就是一個問答題嘛
[56:14] 或者是就好了嘛
[56:15] 對
[56:16] 那其實做同一套就好了
[56:17] 嗯
[56:18] 嗯
[56:19] 沒有啦
[56:20] 我只是突然想到我覺得
[56:21] 今天沒事沒事
[56:22] 我只是突然想到可以這麼做啦
[56:24] 但是應該
[56:25] 可是那個維度啊
[56:26] 我個人是沒什麼想法啦
[56:28] 嗯
[56:30] 因為
[56:31] 你會覺得是
[56:32] 你會覺得是
[56:33] 你沒有來解讀它要來幹嘛
[56:34] 所以我的意思就是那個通識的那個
[56:38] 測驗完的那個結果
[56:39] 想像中的用途會是什麼
[56:41] 要看你問卷內容的設計
[56:43] 你是想要
[56:44] 你是想要知道它有什麼樣子
[56:46] 這可能就是我剛剛講的
[56:47] 知道哪些東西
[56:48] 對
[56:49] 
[56:49] 我覺得是要看
[56:50] 我覺得因為我們沒有看到問卷
[56:52] 問卷的內容
[56:53] 譬如說我們現在想要知道
[56:55] 它知不知道AI的應用
[56:57] 它知不知道什麼東西
[57:00] 我們先要知道我們想要問到的內容
[57:04] 才知道我們維度要怎麼設
[57:06] 哦
[57:07] 因為問題是很容易被產生的
[57:10] 嗯
[57:11] 
[57:11] 因為現在AI很容易產生問題
[57:13] 那但是我
[57:14] 所以我才會先想說
[57:15] 到底有哪幾個維度的內容
[57:17] 
[57:17] 我的意思是說
[57:18] 現在要先知道說
[57:19] 我們想要知道
[57:21] 這個面試
[57:22] 這個面試我們要收集什麼樣的結果出來
[57:25] 對
[57:26] 對
[57:27] 所以
[57:28] 我們要知道說
[57:29] 我就是因為不知道這件事情
[57:31] 所以我才嘗試用六個維度去問說
[57:33] 你們想想中
[57:34] 不用雷達圖的概念去看
[57:36] 你們想像中
[57:37] 因為它不會有一個絕對的分數
[57:39] 可是那個有點太學術
[57:46] 嗯
[57:47] 像我這樣子洗你會覺得太學術嗎
[57:49] 這不會啊
[57:50] 對
[57:51] 其實
[57:53] 其實只要列這幾個就好
[57:54] 我要知道說
[57:55] 它知不知道要拆解
[57:56] 拆解流程
[57:57] 
[57:57] 我們可能要自己先定義好
[57:59] 對
[58:00] 我們想要從這個測驗當中知道
[58:02] 它知不知道這些事情
[58:04] 嗯
[58:05] 我的想法是這樣
[58:06] 這一頁其實是做給HR看的
[58:08] 嗯
[58:09] 所以HR其實可以設計這一頁
[58:10] 包含裡面的項目
[58:11] 嗯
[58:12] 你設計完了出來之後
[58:13] 我就是用這個來當作結果
[58:15] 然後AI它去出題
[58:16] 那考試方式其實就有兩種
[58:18] 一個是我剛剛那個分析的
[58:20] 一個是問RT
[58:21] 對
[58:22] 但最後它終究產算報告上的都是這樣
[58:24] 沒有啊
[58:26] 不會
[58:27] 不會
[58:28] 不會
[58:29] 它的是另外一種AIQ的
[58:30] 它應該可以用同一個報告結果去做不同的聽力
[58:34] 對
[58:36] 通識的目的外明確
[58:38] 但是如果
[58:39] 那個
[58:40] 進階的那個
[58:41] 你會要它實際上面去的話
[58:43] 第一個它測量的維度就會
[58:46] 維度會不一樣
[58:47] 然後
[58:48] 而且它的情境
[58:49] 它那個變化又會不一樣
[58:50] 嗯
[58:51] 但它報告可以長得類似啊
[58:53] 因為HR不應該去看兩種不同的報告啊
[58:55] 因為它就是長的
[58:56] 因為它都是一樣
[58:57] 我想看它這幾個維度
[58:59] 那就是這幾個
[59:00] 這個在通識不會測出來
[59:02] 同時我們不會測這麼深
[59:05] 會是兩個不同的報告
[59:06] 那你想是格式嗎
[59:08] 格式是都可以啊
[59:09] 對
[59:10] 但是
[59:11] 但它的維度就會都不一樣
[59:12] 對
[59:13] 內容會不一樣的
[59:14] 格式是一樣的
[59:15] 格式會不會一樣
[59:16] 我放個問號
[59:17] 就是我覺得
[59:18] 可能長出來才會知道
[59:19] 我想想說
[59:20] 我們其實是可以用結果去設計題目的
[59:22] 就是說
[59:23] AI其實現在可以做到
[59:25] 就是你們可以先設計
[59:26] HR可以先設計你想看的結果
[59:29] 然後讓它去反推說
[59:30] 那它應該出什麼樣的題目
[59:31] 對什麼
[59:32] 其實這樣做我覺得
[59:34] 反而會比較更準一點
[59:35] 對
[59:36] 我想像中
[59:37] 這個結果是個HR的嗎
[59:38] 我想像中
[59:39] 不是
[59:40] 這個結果是個主管
[59:41] 對
[59:42] 主管跟HR嘛
[59:43] 但HR是第一關嘛
[59:44] 主管是第一關
[59:45] 所以主管也要有設計的
[59:47] 這個HR可能沒有那麼直接的關係
[59:48] 你想像你是主管
[59:49] 那你要面談一個人選
[59:50] 你要在這之前
[59:51] 你要先知道它在AI的這個知識上面
[59:55] 或能力上面上面
[59:56] 有什麼樣的
[59:57] 
[59:57] 你需要看到哪些指標
[59:58] 對你來講是有幫助
[59:59] 你可以在看到這個報告之後
[01:00:01] 你可以立刻判斷說
[01:00:02] 這個
[01:00:04] 這個
[01:00:05] 知識上面
[01:00:06] 或能力上面
[01:00:07] 有什麼樣子
[01:00:08] 
[01:00:08] 對你來講是有幫助
[01:00:10] 你可以在看到這個報告之後
[01:00:11] 你可以立刻判斷說
[01:00:12] 這個人在AI的學習力是怎麼樣
[01:00:15] 他現在在AI的使用應用的能力是怎麼樣
[01:00:18] 然後他對AI的接受度是什麼
[01:00:21] 所以回到最後還是主管要設計
[01:00:23] 那是
[01:00:24] Andy講的一點應該比較像是
[01:00:26] 面試一定是主管去衡量這個人
[01:00:28] 但是其實像你們剛剛講的
[01:00:29] 你們最後也會從HR的角度去看一些
[01:00:33] 對
[01:00:34] 所以我說
[01:00:35] 所以我說一樣嘛
[01:00:36] 我們現在就是用一個角色帶入的概念去看這件事情
[01:00:41] 當你是面談主管的時候
[01:00:43] 再看一個人選
[01:00:44] 那HR要跟你看同一份報告去討論
[01:00:47] 這個人選
[01:00:48] 是不是有這樣的能力的時候
[01:00:51] 就我們的參考依據是一樣的
[01:00:54] 那我看的點
[01:00:55] 可能我切的點會從學習力來看
[01:00:59] 我要看的是他後面的續航力
[01:01:01] 那對主管來講
[01:01:02] 你可能要看的
[01:01:03] 可能他開放的態度或是什麼
[01:01:05] 對
[01:01:06] 就是我們看的同一個報告裡面
[01:01:08] 產出來的資訊對我們兩個後面的討論
[01:01:11] 再看這個人選的知識態度
[01:01:13] 是有幫助的
[01:01:14] 那判斷是有參考依據的
[01:01:16] 那這個就會是
[01:01:18] 我們今天在做這個
[01:01:19] 所謂的同事的測驗的
[01:01:21] 最終的那個問卷設計要出來的一個大的邏輯
[01:01:26] 我想講的比較是說
[01:01:29] 因為剛剛討論到一題是說
[01:01:30] 那個題目很難出
[01:01:32] 對不對
[01:01:33] 那我覺得剛剛想講的是說
[01:01:34] 其實我們不一定要想題目怎麼出
[01:01:36] 我們可以想
[01:01:37] 我們想看到什麼結果
[01:01:38] 不管是HR還是主管都可以
[01:01:41] 對
[01:01:42] 
[01:01:42] 那通識的話
[01:01:43] 第一個我們想要知道他什麼
[01:01:45] 就譬如說好了
[01:01:47] 第一個
[01:01:48] 剛剛他的學習
[01:01:49] 他的AI的學習力
[01:01:51] 可不可以從問問你
[01:01:53] 他願不願意學習這件事情
[01:01:55] 意願這個的確是可以
[01:01:57] 可以來問
[01:01:58] 然後再來就是
[01:01:59] AI的基本知識
[01:02:03] 可能有一些通用的基本知識
[01:02:06] 他的概念懂不懂
[01:02:08] 那這個是一個
[01:02:09] 你基本知識
[01:02:10] 然後再來你的意願
[01:02:11] 再來就是
[01:02:13] 我不知道
[01:02:14] 還有什麼
[01:02:16] 其實大家一定覺得
[01:02:17] 因為我覺得你剛剛講的一個重點
[01:02:19] 其實可能真的不是只有HR設計
[01:02:21] 可能主管要設計
[01:02:23] 沒錯
[01:02:24] 但主管可能沒有辦法
[01:02:26] 我覺得
[01:02:27] 通識可能是我們設計
[01:02:29] 我們設計就好
[01:02:30] 然後主管比較像是針對
[01:02:32] 專業
[01:02:33] 進入到他的JD
[01:02:34] 那他覺得
[01:02:35] 只有這樣子好像還不夠
[01:02:37] 他還想再加一些東西
[01:02:38] 對
[01:02:39] 因為就像你們在講的
[01:02:40] 你們去
[01:02:42] 你們去設計這個題目
[01:02:45] 跟HR去設計題目
[01:02:46] 跟主管設計這個題目
[01:02:47] 真的不一樣
[01:02:48] 主管一定是更貼近他們實際上的應用的
[01:02:51] 這個想要知道的題目會更適合
[01:02:56] 當然主管如果能出最好
[01:02:58] 因為其實像這一份我就會比較認為它是依據不同的JD
[01:03:05] 產生出來的不同的實作的題目
[01:03:08] 然後去判斷它
[01:03:09] 其實因為它每一個題目都會涵蓋這四個項目
[01:03:15] 那只是
[01:03:16] 就是它合出來的大概分數在弱點在什麼地方
[01:03:20] 但如果今天是通識的話
[01:03:22] 就會變成是我剛剛討論的
[01:03:24] 因為我們兩個是不同的角色
[01:03:25] 你是主管
[01:03:26] 你是主管
[01:03:27] 我是HR
[01:03:28] 我們看的是同一個報告
[01:03:29] 我們要看出來的東西會是一樣的
[01:03:32] 所以我們會針對特質學習去看這件事情
[01:03:36] 對
[01:03:37] 比如說它的學習意願
[01:03:39] 我覺得這個是可能是AIQ
[01:03:41] 比如說像在一般的
[01:03:44] 性向式
[01:03:45] 是
[01:03:46] 是
[01:03:47] 是
[01:03:48] 是
[01:03:49] 是
[01:03:50] 我們就會說我們要知道它的個性
[01:03:52] 哪些項目
[01:03:53] 我們才有辦法去設計題目
[01:03:55] 那一樣我們要現在知道說
[01:03:57] 我們現在就對於AIQ
[01:03:59] 我們想要知道什麼
[01:04:01] 哪些區塊
[01:04:02] 然後針對那個區塊再去設計題目
[01:04:04] 嗯
[01:04:05] 好
[01:04:07] 這樣
[01:04:08] 想一想
[01:04:09] 十分鐘以內的測驗
[01:04:11] 要能夠測驗到什麼
[01:04:13] 舉例來說
[01:04:15] 我們一般在做試性測驗的時候
[01:04:17] 就是所謂的人格特質測驗的時候
[01:04:20] 我們可能會看積極
[01:04:22] 然後看問題解決能力
[01:04:24] 然後會看人際互動的能力
[01:04:28] 所以它可能會具備的一些特質
[01:04:30] 就是活潑啦
[01:04:31] 或者是比較安靜啊之類的
[01:04:35] 那這些題目其實它
[01:04:37] 它就是都是一些描述題
[01:04:39] 比方說
[01:04:40] 當你進入到一個全新的工作環境的時候
[01:04:44] 那你會採取一下什麼樣的行動
[01:04:48] 一
[01:04:50] 主動去認識人
[01:04:51] 二
[01:04:52] 當你可能你會先安靜等待人家來的人
[01:04:55] 那它就會有一些選項
[01:04:57] 它就頂頂頂
[01:04:58] 嗯
[01:04:59] 但它一樣在這個問題裡面
[01:05:01] 它還是會有一些反向
[01:05:02] 同樣測同一題的反向的論法
[01:05:05] 那最後測出來的結果
[01:05:07] 它就會告訴我們說
[01:05:08] 它大致上它的人格特質
[01:05:10] 它其實大部分它其實是屬於安靜的
[01:05:13] 
[01:05:13] 或者是屬於被動的
[01:05:15] 對
[01:05:16] 那我們就會知道
[01:05:17] 它的特質大概是這樣
[01:05:18] 那在問問題的時候
[01:05:20] 我們就會去模擬那個情境去測
[01:05:22] 它是不是真實的反應就是這樣
[01:05:25] 嗯
[01:05:26] 至少今天這部分的這個點
[01:05:30] 可以讓我們丟進去
[01:05:31] 讓AI用這些東西去把這個東西給生出來
[01:05:34] 對對對
[01:05:35] 所以它的概念其實是差不多的邏輯
[01:05:38] 它都它其實測出來一定都是傾向
[01:05:41] 因為以特質來講的話
[01:05:43] 主動跟被動
[01:05:45] 測出來的分數它就是一個傾向
[01:05:47] 它是比較偏主動還是比較偏背後
[01:05:50] 它就是兩面的這樣子的一個指標在看
[01:05:53] 嗯
[01:05:54] 那一樣學習
[01:05:55] 學習也是它是比較主動
[01:05:57] 還是它是比較開放還是比較閉索
[01:05:59] 對
[01:06:00] 那它測出來的一樣是一個傾向的問題
[01:06:03] 但無關對錯
[01:06:04] 只是你知道它在這件事情上面的傾向是什麼
[01:06:10] 同事心目中的結果應該是類似像這樣子
[01:06:13] 對
[01:06:14] 傾向方面
[01:06:15] 如果是真的AIQ這種測驗的話
[01:06:19] 大概都是在測這些東西
[01:06:21] 它不會是專業的
[01:06:23] 它沒有辦法
[01:06:24] 它只會說你傾向於
[01:06:27] 比如說什麼樣大區域的
[01:06:31] 那這樣我覺得可能會分兩個
[01:06:34] 一個是
[01:06:35] 因為AIQ的話可能還是要有一個
[01:06:37] 就是能力的那個
[01:06:39] 但是剛剛講到比較像是可能是AI的視性或之類的
[01:06:43] 
[01:06:43] 然後這個可能可以是我們通識的測驗
[01:06:49] 
[01:06:49] 可以完全去參考那個什麼動物的那個去設計
[01:06:55] 哦
[01:06:57] 你什麼媽頭的那個設計
[01:06:59] MVTI
[01:07:01] 
[01:07:01] 對
[01:07:03] 一行原來的一行
[01:07:04] 我覺得通識型的我們可以往那個方向
[01:07:07] 讓AIQ創造出幾幾個
[01:07:09] 對
[01:07:11] 好
[01:07:12] 那時程上面的話
[01:07:14] 有沒有期待的
[01:07:17] 試運作落地的時間
[01:07:23] 如果要落地
[01:07:26] 要很快落地
[01:07:27] 就今年一定要落地的話
[01:07:29] 我覺得可以的話
[01:07:30] 就Q4就可以上完了
[01:07:33] 我也不曉得懂得這樣
[01:07:35] 你覺得董事長可以等到這個時候嗎
[01:07:38] 沒有接收到這個訊號
[01:07:40] 我覺得
[01:07:42] 你董事長的習慣應該是下七
[01:07:44] 下七
[01:07:45] 對
[01:07:46] 下Q2
[01:07:47] 對啊
[01:07:48] 我覺得
[01:07:49] 下Q2嘛
[01:07:50] 我覺得
[01:07:51] 對
[01:07:53] 對
[01:07:54] 對
[01:07:55] 就是你大概一兩個月的時間
[01:07:56] 我們做好
[01:07:57] 你可以不用說真的全面
[01:08:00] 我覺得董事長他也不會說
[01:08:02] 
[01:08:02] 因為現在6月11號嘛
[01:08:04] 或許是我們這個月
[01:08:05] 開始會有一些內側這樣的版本
[01:08:09] 然後如果沒有什麼大問題的話
[01:08:11] 可能就是七
[01:08:12] 一個先一個小部門的先試側
[01:08:14] 然後看看實際上真的反應
[01:08:17] 然後我們就開始做了
[01:08:18] 嗯
[01:08:19] 嗯
[01:08:20] 其實那我今天會稍微提到一下我們有討論過這個
[01:08:23] 好啊
[01:08:24] 然後要花壓時間
[01:08:25] 先不花壓時間
[01:08:26] 對對對
[01:08:27] 那我們就是收已經有這個方向
[01:08:28] OK
[01:08:29] 可以
[01:08:30] 好啊
[01:08:31] 但這個出來我還是要做主管的訓練跟我自己HR的訓練
[01:08:35] 不然大家怎麼會知道後面這個結構
[01:08:37] 當然當然
[01:08:38] 我覺得還有一件很重要的事情是如果既然我們都用AI來做的話我們會期待的是那個報告出來的話
[01:08:45] 主管知道要怎麼做
[01:08:47] 他應該是可以幫助主管後面要拿這個東西來做什麼事
[01:08:51] 對
[01:08:52] 因為其實他會有兩個原因
[01:08:53] 他因為我們現在的設計是兩個概念
[01:08:56] 一個概念是我通識的部分
[01:08:58] 我覺得那個有一致性的結果那到底有什麼太大的問題
[01:09:01] 反而是在後面的這個就是他可能針對不同的position要產出一個真正的實作的這個程度
[01:09:08] 但因為這一題其實會跟我前面的JD是完全是正相關的
[01:09:13] 對
[01:09:14] 那等於我前面要花一點時間去梳理JD
[01:09:16] 現在就可以開始
[01:09:17] 對
[01:09:18] 因為如果不做這件事情的話
[01:09:19] 其實後面會變成這個反而是沒有辦法去做產出的
[01:09:25] 另外的話
[01:09:27] 再來就是
[01:09:28] 我還是提到一點
[01:09:30] 我們現在主管對AI的接受度
[01:09:33] 是不是百分之百
[01:09:35] 所以先測他們做我們對照之一
[01:09:38] 真的真的
[01:09:39] 我沒騙你
[01:09:40] 你問他們他們就知道
[01:09:42] 這個要怎麼測
[01:09:44] 這個
[01:09:45] 你問那個VP每一個人出去就是被滿頭包這個主管
[01:09:49] 那到底有沒有接受到這件事情
[01:09:52] 大家知道就要做
[01:09:53] 可是
[01:09:54] 連這個都要做的時候他們
[01:09:56] 第一個就是拒絕
[01:09:59] 第一個覺得怎麼會這麼麻煩
[01:10:02] 怎麼會這麼麻煩
[01:10:03] 連這個都要用AI來做
[01:10:07] 所以這等一下讓他們得到好處
[01:10:09] 他們才會接受這件事情
[01:10:11] 其實我覺得應該是這樣說
[01:10:13] 他們知道
[01:10:14] AI一定可以幫到他們
[01:10:16] 可是在
[01:10:17] 在AI真正幫到他們之前
[01:10:20] 他要先學會怎麼跟AI做互動這件事情
[01:10:24] 對他來講這個過程是痛苦的
[01:10:29] 我具體分享
[01:10:31] 這個可能不是主管
[01:10:33] 就比方說像我們其實在推文字記者要自己產CG這件事情
[01:10:41] 其實對文字記者來說是痛苦的
[01:10:44] 對
[01:10:45] 因為
[01:10:46] 比較常會用的
[01:10:48] 然後
[01:10:49] 像婷婷啊
[01:10:50] 她就會反應
[01:10:51] 真的有時候AI會失控
[01:10:53] 對
[01:10:54] 她就是完全就是out of control
[01:10:56] 然後就是最後你會發現AI就自己變成自己另外一個人
[01:11:01] 然後她就必須要全部從頭來過
[01:11:04] 但是她又不得不
[01:11:06] 因為她做出來的東西就是沒有辦法出去
[01:11:09] 尤其她又負責政治線
[01:11:11] 那種東西出去一定會死人的
[01:11:13] 對
[01:11:14] 所以她就她的痛苦點會在這個地方
[01:11:16] 對
[01:11:17] 所以
[01:11:18] 這是一個過程
[01:11:19] 這是一個過程
[01:11:20] 
[01:11:20] 這是一個過程
[01:11:21] 所以當她
[01:11:22] 她現在也已經可以很快的判斷就是說
[01:11:25] 喔她已經失控了
[01:11:26] 我不要理她
[01:11:27] 我換另外一個
[01:11:28] 她可以很快去做這件事情
[01:11:30] 但是
[01:11:31] 不是所有的人都像她一樣
[01:11:33] 大部分的人還是在痛苦的這個過程當中
[01:11:37] 對
[01:11:38] 比如說像她講的這個
[01:11:40] 我覺得就是可以在AIQ裡面
[01:11:42] 你認為AI會有這些事情的發生
[01:11:46] 這個是基本知識嘛
[01:11:47] 對
[01:11:48] 那你要跟她的過程當中
[01:11:51] 你希望的態度是我要駕馭她
[01:11:53] 我要學習怎麼跟她合作這件事情
[01:11:57] 這就是我們想要蒐集到每一個人
[01:11:59] 是不是有這樣的基本概念
[01:12:02] 對
[01:12:03] 而且像我自己
[01:12:04] 我自己在幫新聞部他們的時候
[01:12:06] 在做那個JD的這個梳理的時候
[01:12:09] 也會遇到通常的症狂
[01:12:10] 就是後來就是
[01:12:11] 你知道AI就完全失控
[01:12:13] 然後給了我一個神人等級的JD
[01:12:15] 就這個人根本就是
[01:12:16] 我不可能在台灣
[01:12:18] 或在這個現實的社會裡面找到這樣的人
[01:12:22] 對
[01:12:23] 她就完全就是也會失控
[01:12:24] 那概念是一樣的
[01:12:26] 所以我就在那個時候
[01:12:28] 我就要選擇
[01:12:29] 我先放棄你
[01:12:30] 我先去做別的事情
[01:12:31] 然後我回頭
[01:12:32] 我再冷靜
[01:12:33] 再重新再跟你再來一次
[01:12:35] 對
[01:12:36] 就是我覺得對他們來說
[01:12:38] 其實是這個過程是痛苦的
[01:12:41] 那怎麼樣幫他克服這個過程
[01:12:43] 那一個才是他們
[01:12:47] 他們自己
[01:12:48] 他們真正想要的
[01:12:49] 老實說
[01:12:50] 對啊
[01:12:51] 嗯
[01:12:52] 嗯
[01:12:53] 嗯
[01:12:54] 好
[01:12:55] 這題就是
[01:12:56] 好
[01:12:57] 大家要研究
[01:12:58] 好的
[01:12:59] 所以
[01:13:00] 一定要是
[01:13:01] 如果考試
[01:13:02] 這些主管都先跑過一次吧
[01:13:04] 對不對
[01:13:05] 對不對
[01:13:06] 東哥會殺人
[01:13:08] 不糾結
[01:13:09] 東哥就
[01:13:11] 放過他
[01:13:12] 放過他
[01:13:13] 我就知道
[01:13:14] 東哥裡面會說為什麼
[01:13:17] 為什麼
[01:13:18] 我都不會
[01:13:19] 電腦我也不會
[01:13:20] 對啊
[01:13:21] 我只要會喝
[01:13:23] 
[01:13:23] 不是
[01:13:25] 東哥會殺人
[01:13:27] 好
[01:13:28] 好
[01:13:29] 那那個剛剛那個通識的可能會先啊
[01:13:31] 那後面的那個可能
[01:13:33] 後面他們就開始要去重新請主管
[01:13:37] 再檢視過所有的工作說明書
[01:13:39] 給我們一個
[01:13:40] 給我們一個
[01:13:41] 好的
[01:13:42] 那個
[01:13:43] 好的工具
[01:13:46] 然後我們可以幫主管去做這件事
[01:13:49] AIWise
[01:13:50] 你知道我們家也才
[01:13:51] 你們
[01:13:52] 你要加上去嗎
[01:13:53] 
[01:13:53] 單個小朋友
[01:13:54] 加AIWise
[01:13:55] 的那個
[01:13:56] 其實AIWise
[01:13:57] 可以把它改成好用的
[01:14:00] 對啊
[01:14:01] 對啊
[01:14:02] 他們還可以去
[01:14:03] 用啊
[01:14:04] 
[01:14:04] 這個要研究一下
[01:14:05] 是啊
[01:14:06] 然後也給我們一些訓練
[01:14:08] 對
[01:14:09] 讓我們家的小朋友
[01:14:10] 可以快速去
[01:14:11] 對
[01:14:12] 對
[01:14:17] 我覺得好用
[01:14:18] 我覺得AIWise
[01:14:19] 絕對自己做
[01:14:20] 不是
[01:14:21] 我說他們要的其實
[01:14:22] 其實他們要的
[01:14:23] 是像什麼
[01:14:24] Chad GBT
[01:14:25] 或什麼German來這種
[01:14:26] 有付費
[01:14:27] 比較能力比較好一點的模式
[01:14:28] 配合一些Steel
[01:14:30] 或特有
[01:14:31] 跟
[01:14:32] 有大多微
[01:14:33] 有
[01:14:34] 有那樣的東西
[01:14:35] 在某些情境下
[01:14:36] 就很夠穩
[01:14:37] 那這種
[01:14:38] 不要A-J
[01:14:39] 都怎樣
[01:14:40] 對
[01:14:41] 謝謝
[01:14:43] 謝謝
[01:14:44] 謝謝
[01:14:45] 謝謝
[01:14:46] 好
[01:14:47] 謝謝
[01:14:48] 謝謝
[01:14:49] 謝謝
[01:14:50] 謝謝
[01:14:51] 謝謝
[01:14:52] 謝謝
[01:14:53] 謝謝
[01:14:54] 謝謝
[01:14:55] 謝謝
[01:14:56] 
[01:14:56] 
[01:14:56] 謝謝
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:57] 
[01:14:58] 謝謝
[01:15:00] 
[01:15:28] 中文字幕志愿者 李宗盛
[01:15:58] 中文字幕志愿者 李宗盛
[01:16:28] 中文字幕志愿者 李宗盛
[01:16:57] 中文字幕志愿者 李宗盛
[01:17:27] 中文字幕志愿者 李宗盛
[01:17:57] 中文字幕志愿者 李宗盛
[01:18:27] 中文字幕志愿者 李宗盛
[01:18:57] 中文字幕志愿者 李宗盛
[01:19:27] 中文字幕志愿者 李宗盛
[01:19:57] 中文字幕志愿者 李宗盛
[01:20:27] 中文字幕志愿者 李宗盛
[01:20:57] 中文字幕志愿者 李宗盛
[01:21:27] 中文字幕志愿者 李宗盛
[01:21:57] 中文字幕志愿者 李宗盛
[01:22:27] 中文字幕志愿者 李宗盛
[01:22:57] 中文字幕志愿者 李宗盛
[01:23:27] 中文字幕志愿者 李宗盛
[01:23:57] 中文字幕志愿者 李宗盛
[01:24:27] 中文字幕志愿者 李宗盛
[01:24:57] 中文字幕志愿者 李宗盛