產品常會說:高使用者改善得比較多。這句話可能是真的,卻還不能回答「是不是產品造成改善」。也許本來較有動力、較有資源的人,同時更常使用、也更容易好轉。

相關,不一定是因果

如果常運動的人心情較好,我們仍要問:是運動造成,還是這群人原本睡眠、支持系統與健康狀態就不同?數位心理研究也一樣。高投入者與低投入者並非隨機分派,兩組起點可能已經不同。

真實世界資料的優點,是看見人們在沒有研究人員提醒時如何使用;缺點則是控制較少。它適合用來找線索,最好再由隨機試驗驗證。

滿意度很重要,但不是療效

願意推薦、覺得有幫助、喜歡回覆語氣,都能告訴設計者產品是否可用。可是症狀是否改善、改善是否超過自然恢復或其他照護,仍需要不同測量。

最完整的評估會把多種證據放在一起:使用經驗、症狀量表、長期追蹤、退出率、不良事件,以及不同族群是否都能安全使用。

對使用者而言,透明比漂亮數字更有用

值得信任的說法會同時交代研究類型、樣本數、追蹤時間與限制。當產品只挑最好看的百分比,卻不說比較組與流失率,我們就很難判斷它對自己是否有意義。

參考研究

回到原始資料

我們優先連結論文全文或 PubMed 紀錄。閱讀研究時,請一併留意樣本、研究設計、追蹤時間與利益衝突聲明。

  1. Inkster et al., JMIR mHealth and uHealth (2018)Wysa 的 129 人真實世界觀察研究
  2. Gaffney et al., JMIR Mental Health (2019)整理早期聊天介入證據與研究品質