線上講座的即時回饋系統的開發筆記

昨天晚上線上做了一個給牙醫相關學會的教學講座，題目是一個 AI 系列課程的第一堂課，我自己真是受益良多。

學到最多的是課程的難易度設定。我跟 陳麒鴻 事前花了不少時間討論第一堂課要怎麼策劃，畢竟我也不是一個多厲害的開發者，就是藉由 Agent 搞定了一些以前要一整個 team 的大型服務、做了一些研究流程、以及自動化的文書工作，這些究竟能不能解決臨床工作者的需求？

為了解決這個問題，我請麒鴻進行了問卷調查，想說可以根據回收結果來修正難易度，結果…只收到三個問卷，可能是臨床工作者平常太忙，沒時間寫。

所以我花了些時間，開發了一個即時互動系統（如圖），聽眾可以用手機，根據分享內容，隨時給分。想說這樣就可以正面迎接挑戰，根據即時回饋來調整難易度。不過實際執行起來，比想像中的要花費更多精神力。

我把分布圖放在簡報的右方，所有人都可以即時看到難度分佈（從太簡單一路到聽不懂）。此外也可以留言、emoji 互動、還有投票問題。這個系統是基於協霆的開源 Kahoot 與 AU 的 uncommon-ground 魔改出來的，大約花了一個晚上完成。

於是呢，這就是獲益良多的開端。

＊

結果是非常好的，但是…

如果從結果回來看，到講座結束時，你可以看到幾乎完美對稱的分布圖，近 110 人的投票中，有近 70 人覺得難度適中，10 人覺得太簡單，11 人聽不懂。

這不是一開始的評分分佈，一開始大約有三四十人認為內容偏簡單，因此我開始加強難度，意料之外的是活動結束時，整體分布竟然可以是完美的對稱。

我認為這樣的分布有達成初始目標，甚至比想像中的好，因為超過 80% 的參與者分布在中央區域。

與麒鴻還有其他接下來的講者事前討論時，這堂課定調成基礎教學，為後面鋪路，或許也可以想像成走氣宗的原則理解，不走劍宗的花式模板套用教學。

原因是如果沒有共享的知識基礎，掉隊與超車的參與者距離很容易越來越遠（可以想像成分布圖變成雙峰分佈），此時只能拆成兩堂講座，但實務上不可能這樣做吧。

而且這半年多來，許多符合特定情境的模板其實沒什麼作用了，過時來得太容易。再者，最近連軟體界都時興「砍掉重練」（Big-bang rewrite），而非「穿著衣服改衣服」（Incremental migration），比如 Meta。

我們設想參與者的服務單位多有自己的資訊部門，第一線工作者不需要去操煩像是北榮的 IBM 3270 怎麼現代化（雖然我很有興趣就是了），因此參與者有自己小小的綠地（greenfield）天地可以滿足自己的個人服務，而不用上 brownfield development 戰場，多好的事！

＊

不過魔鬼藏在細節裡，也是我想了一整天的事。

如果仔細看分布圖，你會發現即使對稱，這張圖仍然不是完美的鐘型曲線，如果是真正的鐘型，太簡單與聽不懂的區域會是 7 人，而不是 10-11 人。

因此這個分布圖，其實是隱性的三峰分佈（剛剛好的組超高、但是太簡單、聽不懂的組也稍高一點點）。

事實上分享過程也遇到了相關的難題，就是如何在單向式的線上講座中，照顧到覺得太簡單或聽不懂的參與者。

一個非常直接的案例，因為我有開放即時提問與建議，因此出現了 20 條負面的評論，甚至許多有相當程度的挑釁指教，比如說「我只聽到哈佛哈佛」或者「我聽不下去了…我要…」、「沒有手把手教學」（明明我第一頁就是shut up and show me the prompt）等等。

過往面對類似的言論多了，所以其實沒什麼感覺。我當時比較擔心的是，如果我根據這些留言，來變更難度，會不會反而導致大多數的參與者們進入覺得困難、或甚至聽不懂的狀況。

因此身為講者需要做出取捨，所以我決定以整體分佈圖與建設性提問進行回饋修正，結果便出現了更多「阿你怎麼只回OOO」的留言。參與者可能基於回饋機制產生了自我強化的偏離。

總之，講座在諸位厲害的主持人與眾系列講者們的參與下，有驚無險地結束了，同時也為後續講座做了對應的銜接。

＊

不過會後我實在太好奇這些慷慨激昂的大量指教，到底背後實際上有幾個人。這些留言佔了總留言數的 40%，我認為有許多到了人身攻擊的程度，真的是齁XD。

好在我在開發這個即時互動系統時，有留下 UUID（通用唯一識別碼），所以即使是匿名留言（對的，激烈的言論都沒有署名），也可以關聯到同一個 UUID 上（不過我沒有紀錄 IP 就是了）。

結果答案揭曉，總數 40% 的負面指教言論，全部來自 2 個裝置，所以不是兩個人，就是一個人用兩個裝置。

忽然有一種夢回數位審議工具開發的感覺，我一方面覺得「啊我就知道會這樣」，另一方面在想如果要進入迭代，怎麼在制度設計上，修正這個問題呢？

我的命題是「少數人大量發言，是否會導致講者專注於回饋這些發言，進行蓋掉多數人發表意見的機會」，或者更幽微的「蓋掉未發言、但有表示難易度者的學習機會」。

這其實是審議民主領域中的經典難題。在 Stanford James Fishkin 與他的實驗室開發的線上審議工具中，採取的做法是透過自動化的引導機制，讓發言時間可以均分，同時偵測發言情緒來給予標記；一些成熟工具如 Polis，會將具有代表性的意見分離出來，讓引導者可以促進這些討論。

所以在這次的講座，我所使用者工具，某種程度上我透過即時評分解決了 Equality of consideration（平等考量）的問題，卻沒有完善的處理 equality of voice（表達機會均等）的問題。（其實原本 AI 建議我單一裝置最多只能留言 5 次，但我拉高到 20 次，就是沒有設想到這塊）

當然另一個命題是，如何用心對待不滿意的少數人（在這場講座裡就兩個人，此外大約有五個人也有留言，表示太簡單，想要更進階，這類回覆就是極佳的建設性意見，另外的 20 多條內容就是真正進入討論環節，也是非常棒的。

另外想補充的是，由於我實在是太幸福了，已經好幾年沒有現場遇到慷慨激昂的參與者，所以我真的是忘記了在雙向互動的設計中，會有這樣的朋友出現。剛面對到時，真有點忘記要怎麼應對。

＊

我沒有什麼好答案，不過稍微寫一下初步的想法：

一、對齊期待：在會前、甚至是公開資訊時，就明確表示講座的難易度，進行期待管理，以及讓市場自行配對適合的講座與參與者。（不過會後我們討論，其實有做但可以做得更徹底，且還是可能會有自己不知道自己要什麼的參與者進場，這難以避免）

二、在使用過程中確立行為準則（CoC），然後開發工具，讓主持人（或者助手）可以幫忙進行留言管理，這有兩種方法，一種是留言需要等待，以審核制進入公開池；另一種是公開頻道，但動態管理。兩種路線其實市面上的工具各有支持者。（本來在想是不是可以使用 AU 做的相同議題的疊合機制，但感覺要及時處理，難度會很高，所以作罷）

三、雖然可以匿名留言，但匿名應該升級成「匿名彩虹小馬」、「匿名熊貓」，這樣可以讓我掌握真的有挑釁的話，到底是幾位參與者這麼不滿。這對講者很重要，因為當下我的心情是，我還真的不知道我是不是講很爛，該不會真的有很多人這麼覺得，但是現場分佈圖並不支持這個推論呀？那要相信哪一個數據？如果當時我知道只有兩個人如此深度指教，我就不會這麼心慌了

四、保持歡快的心情，因為講者的輸出是最有價值的服務，被影響到的話，豈不是妨礙了其他 107 參與者的權益？只能說我真的很佩服熟稔於大場線上演講的大大們。

此外也想了一些不錯的互動方式，可惜我腦子動得不夠快，沒辦法現場服務這兩名參與者（而且現場），不然可以很圓滿。（不過有興趣的朋友就私訊討論好了）

＊

寫了這麼多，是不是有感到到我受益良多呢。

老話一句（其實也放在講座裡面），獲得最多的人，往往是會問出真正困難的問題，然後往下迭代解答的人。所以我還在持續改版這套系統，當然是開源的，歡迎大家直接貼連結到你的 Agent 去用，這年頭，真的！不需要模板！直接貼連結真的可以。

最後的收穫是，人數越多，真的越困難。我平常也沒在開課、賣課，畢竟這不是我的興趣（左轉協霆的免費版生成各種主題教學哈哈），我的興趣在教學系統設計。反倒是我很享受與朋友、同事在一對一大量互動中，一步步成長所產生的喜悅，與 AI 還有朋友們教學相長，我也學到很多呢。

https://github.com/mashbean/live-deck-kit