一、如果是真的話該有多好?-培訓評估的六個理想境界
上次談到要用天馬行空的方式聊聊『HR在未來執行檢測培訓成效上，怎樣做會更好?』。
在此之前，就先讓我們再來回顧一下大算力時代，HR如何借力使力做好培訓成效評估（上），作為HR，會希望新技術新工具，在訓練成效評估領域中，可以解決哪些棘手的問題：
1.形成跨系統的數據串接，實現數據的自動同步與無縫整合
2.在整理數據資料時，能節省人工處理時間、省去重複性任務
3.在培訓課程中增添趣味性，以提升學員在課後的受測意願
4.透過檢測培訓成效，來精準預測學員未來在職場上的表現，並針對能力發展做預判
5.即時提供學員的學習狀況與其他相關資訊，得以迅速評估學習者的進展，並調整教學策略以滿足學習需求
6.學員能夠將培訓課程內容與工作實務做結合，並追蹤到學員的實際運用情形
二、有哪些必須關注的數位評估技術?
技術1：使用xApi的跨平台整合數據通訊協定，達成『跨系統的課後應用數據串接』
第一步：定義學習經驗
首先，你需要確定哪些學習活動或經驗是你想要追蹤的。這些可以包括線上課程、視頻教學、互動模擬、現場培訓、閱讀資料等等。
第二步：將學習者的日常行為向量化定義好- Tin Can API語法
XAPI採用Tin Can API的語法結構，其中每條數據語句以『主詞-動詞-受詞』的方式呈現。提供了標準化的方式來描述學習活動，使數據易於理解和解釋。
將現在的系統，設定某些條件將可啟動Tin Can API語法。這些系統可能是：CRM系統、POS系統、公司的顧客線上服務系統或者Line等溝通工具等。
第三步 創建學習記錄資料庫LRS( Learning Record Store)
LRS是用於存儲、檢索和分享xAPI數據的系統。你需要選擇一個符合xAPI規範的LRS來存儲陳述式，可以在內部終端，或者找外面上雲的解決方案。有些坊間的學習管理系統（LMS）也有可能已內置了LRS，你就可以方便使用。
第四步 追蹤與改善
一旦你的LRS收集了學習數據，你就可以開始分析這些數據，以獲取對學習者行為和學習成效的見解。xAPI的設計支持數據的共享和重用，你可以將數據從一個LRS轉移到另一個，或者使用數據來支持個性化學習體驗。
『應用情境示範』
＂第一線同仁有沒有應用顧客抱怨處理技巧，解決客戶爭議問題？＂
假設，台北有一間門市的資深店員叫Rebecca, 她在某年某月，遇到顧客抱怨飲料口味不滿意，經過Rebecca妥善處理並更換飲料，顧客非常滿意，且還加購更多飲料，這時候，CRM系統可以在事件發生當下，觸發產出一組xAPI語法，如下圖：
{
"actor": {
"name": "Rebecca",
"mbox": "<mailto:rebecca@example.com>"
},
"verb": {
"id": "<http://adlnet.gov/expapi/verbs/resolved>",
"display": {
"en-US": "resolved"//解決了
}
},
"object": {
"id": "<http://example.com/complaints/12345>",
"definition": {
"name": {
"en-US": "Customer Complaint about Beverage Taste"//顧客對飲料口味的問題
},
"description": {
"en-US": "Resolved a customer complaint regarding beverage taste, resulting in a positive customer satisfaction rating."
}
}
},
"result": {
"success": true,
"response": "Customer was offered a replacement beverage and expressed high satisfaction with the resolution."
//客人得到滿意的成果，有可能加上分數幾分之類....
},
"context": {
"contextActivities": {
"other": [{
"id": "<http://example.com/locations/branch-taipei-001>",
"definition": {
"name": {
"en-US": "Branch Taipei 001"
},
"description": {
"en-US": "The location where the customer service interaction took place."
}
}
}]
},
"extensions": {
"<http://example.com/extensions/customerSatisfactionScore>": 5
}
}
}
然後，這段程式碼，將會被發送至LRS，透過API的請求，可以將Rebecca的學習滿意度分數、上課討論表現、跟顧客滿意度的數據結合在一起評估，看看這堂課，對同仁們實際幫忙多大！
技術2：使用Zapier自動流程優化工具，來達成『自動化作業、省去重複性任務』
『應用情境示範』
“HR部門希望使用Zapier，來自動化檢視學員課堂作業，以評估培訓的成效。當學員提交作業後，系統就會自動收集、整理作業資料，並進行相應的評估和反饋。”
當HR有這樣的構思後，可以著手註冊類似Zapier或MS Power Automate的工具：
A. Zapier操作步驟：
(a)設定觸發器：
- 在Zapier中，HR選擇「學員完成課程並提交作業」作為觸發器。這可以是來自學習管理系統(LMS)或其他培訓平台的事件觸發。
(b)選擇動作：
- 當觸發器被觸發時，HR選擇「收集作業資料」作為動作。可以選擇將作業資料傳送至指定的電子郵件、Google表格或其他相關的工作流程中。
(c)自訂規則和條件：
- HR可以根據具體的培訓目標和檢測需求，設定自訂的規則和條件。例如: HR可以設定只收集在培訓課程結束後24小時內提交的作業，這樣一來可以確保所有的學員都有在課後做即時練習，同時也能在短時間內了解學員的學習狀況。
(d)建立自動化工作流程：
- 最後，HR建立自動化工作流程，將上述步驟串聯在一起。一旦學員完成課程並提交作業，Zapier將自動觸發並執行相應的動作，自動收集、整理作業資料，幫助HR快速評估培訓的成效。
技術3：運用『沉浸式虛擬學習(VR)、遊戲化引導(gather town)、徽章獎勵系統(Badgeville)』增添培訓課程的趣味性、提高課程參與感
A. 沉浸式虛擬學習(VR) :
沉浸式學習通常建立在互動式的虛擬空間中，使用虛擬實境（VR）技術，可創造出極具沉浸感的學習體驗，那麼要如何運用VR技術，讓學員在培訓課後檢測成效呢? 我們來作情境舉例。
『應用情境示範』
一家電信公司決定透過VR，來檢測員工在學習客戶服務技能後的應用狀況，特別是在處理客戶抱怨和提供專業建議上。所以訓練的目的是，在客戶的不滿情況下，員工能與客戶進行溝通並解決問題，以提高客戶的滿意度和提升公司的正面形象。
第一步: 確認哪些知識點可用甚麼方式評測
3D建模成本很高，過多的場景也會造成VR頭戴式裝置的渲染負擔，產生延遲或者不知道該回應什麼，最後體驗不佳而放棄測驗。先評估哪一些關鍵知識點，是可以透過VR設備的互動『點選』『眼睛聚焦』『拿起、放下』『語音』『揮動』等來設計。例如在處理前台客訴的模擬情境，『語音』與『點選』可以檢驗處理流程的正確性，『眼睛聚焦』可以確保練習看著客戶的眼睛，但語氣是否和緩，話術是否有三明治法則，這個會比較無法即時在頭戴式裝置上即時運算檢測出來。
第二步: 建立任務腳本
在每個虛擬情境中設定具體情節與目標，例如: 成功的讓客戶願意接受不能退貨的公司政策; 或主動致電火冒三丈的B2B客戶後，還能購繼續加購更多我們的服務。最好能夠即時提供受測者分數，並在VR環境中直接點出，學員在互動過程中的表現亮點和需要改進的地方。
第三步: 行為追蹤與效能評估
透過用訓單位主管的觀察，學員是否能轉移VR中的表現至現實工作中。若能量化實體商業環境中的表現，可以與VR中的分數做橫評，順帶瞭解是否要調整模擬情境的參數或題目難易度。
第四步: 回顧學員表現與提供建議
根據橫評結果，若仍有應用上的落差，與學員進行訓後應用對話，瞭解障礙並協助解決之。
B. 虛擬班級、遊戲化引導(Gather Town)：
Gather Town是疫情期間，最被推崇的遊戲化遠距會議系統，至今仍有許多企業還在使用，在用來作培訓成效檢驗上，有下列幾種方式：
(a)做學員的課堂行為追蹤
Gather Town 記錄了員工在虛擬環境中的互動和行為，包括: 參與會議的頻率、提出建議的次數、參與虛擬活動的積極程度等。這些數據提供了對員工參與和貢獻的客觀評估。
(b)即時反饋與討論
在培訓結束後，在Gather Town設計另一個可以對話的空間，由主持人引導，進行培訓後的反饋與對談，讓學員分享他們的感受和學習心得。有助於了解員工在學習過程當中的障礙，並收集他們對培訓內容的理解和應用的看法。
(c)提供學員課後測驗與任務挑戰
設計一個空間，佈置循序漸進的測驗和模擬任務，就像園遊會攤位一樣，除了了解對於學習內容的吸收程度，也可以知道員工的團隊協作和溝通技能。包括: 解決模擬問題、模擬項目的協同合作等，以確保他們能夠應用在培訓中學到的技能。
C. 打造動態的競爭學習環境(Badgeville)
透過『發放徽章、分數排名』的制度，這種動態的學習環境除了追蹤受訓學員的學習進展之外，也能藉由獎勵、排名機制來激發學員間的競爭心態，除此之外也能將獲得的學習成果分享至社交平台如:LinkedIn、Twitter等。除了達成擴大學習成就的可見性，也能鼓勵學員不斷地自我精進學習。
技術4：運用機器學習、預測型AI，精準預測學員未來在職場上的表現
A. 透過機器學習，來預測學員的未來發展：
AutoML的出現，可以協助我們省下，該用甚麼模型去做數據處理的煩惱。只要有充足的數據(X)，就可以將學員在『學習管理系統、虛擬教室或線上學習平台上的行為』，根據歷史模型的『技能水平、學習習慣、參與程度、反饋回應』等，預測學員未來在職場中的表現。
B. 使用LLM提供的大語言模型，來生成個別化建議和改進方案：
可以將課程評量數據Excel，丟至LLM裡，讓AI生成個別化的建議和改進方案，包括: 推薦進階培訓、提供特定技能的練習機會、調整學習計畫等，有助於針對每位學員的需求提供定制化的支援，提高其在職場中的表現潛力。
技術5：運用『對話式AI助手、電腦視覺』，判斷學員吸收狀況
A. 培養以NLP為基礎的AI學習助理：
善用LLM中NLP對人類語言的理解能耐，搭建一個AI學習助理，讓串連公司產品或實務知識庫，甚至拿LMS/ERP系統的數據作為輸入值，讓學員可以有一個即時追蹤、校正、跟催的AI助理，並提供符合學員學習需求的回應。
B. 用電腦視覺即時掌握學員的情緒，提供教學改善：
電腦視覺不僅可以用在生產端，在實體空間內，透過一般的RGP鏡頭，就可以對面部做微表情辨識。學員在學習過程中的情感反應，例如: 興奮、困惑或沮喪，都會被當作特徵輸入，然後提出有助於教學的建議。
而學員在特定環節的討論或者演練，也可以去用Motion Capture的方式，抓到特定三維點位，判斷其注意力與參與度，也是有助於找到，什麼樣的內容與傳遞方式，比較能夠提起大家的學習興趣，並調整教學策略。
技術6：運用知識共享平台- Discord，幫助學員能將課程中所學運用至工作實務
當課程結束後，學員可以立即在 Discord 伺服器，以不同的形式呈現他們的學習成果，例如: 文字、圖片、視頻和文件等，並可在特定群組參與討論和分享彼此的學習心得。
Discord最讓人沉迷的，就是許許多多的『自動化機器人』，協助群主或學員，去執行一項又一項重複性的工作，例如發放測驗卷與回收、溫馨交作業提醒、給予作對的學員一個徽章獎勵或一張咖啡券等，著實有趣，也建議沒有資安疑慮的HR們，可以嘗試去註冊玩一下。
三、 突破設限: 別讓組織的現況，限制了HR的價值 !
在企業經營成本不斷提高的現在，培訓成效評估的目的，會更強調將學習成果轉化為實際應用，產生營運績效，尤其透過技術的融合，成效評估不再僅僅用單一維度的衡量的工具，而是結合學員日常營運的數位足跡與數據，提供一個能夠持續激發學習意願、不斷改善、勇於嘗試的環境，我們認為這是可以一起努力的方向。
加上，新世代的工作者，在學習的步調跟方法上， 已經不能用傳統的成效評估方式來衡量、跟催與監督。他們喜愛的方式，更個性化與重視自主性，
也就是說，（對於年輕人）與其給我們做了一堆測驗，倒不如激發我、鼓勵我、啟發我在工作崗位上，順利學以致用。
身為HR的我們，要去證明每一個課程，都是公司值得投資的這件事，其實很辛苦，建議可以擴大培訓評估的定義，包容更多的數據與情境到評估指標來，為企業和學員開啟無窮的職涯發展可能性，為自己的HR工作賦予嶄新的意義。
【參考文章】https://www.zavvy.io/blog/ai-learning-development
推薦課程：
玩轉AI 共創未來全方位的AI培訓課程
掌握AI技術，全方位深度探索
隨著ChatGPT的橫空出世，AI技術成為了當今科技界的熱門話題。市面上雖然出現了眾多AI相關課程，但很難找到真正符合個人需求的。全面解決您在AI領域學習的各種挑戰。無論您是初學者還是希望深化專業技能的進階學員，這裡都有適合您的方案，助您在AI的浪潮中乘風破浪。
數位生產力培訓課程
數位轉型與創新思維：培養未來領導者的關鍵技能
在數位時代中，AI與IA之間微妙且關鍵的差異往往決定了企業的未來。將從數位智能化的轉型流程切入，深入探討如何利用數位工具配合數據收集與分析來提升公司生產力。學會如何創建報告與預測模型，並通過實戰黑客松活動，培養出實際應用的能力和創新思維。