科技公司進(jìn)行成功實(shí)驗(yàn)的隱性成本
凱洛格管理學(xué)院
2025-04-25
“快速行動(dòng),，打破常規(guī)”曾經(jīng)是關(guān)于創(chuàng)新的流行口號(hào),，但過去十年來卻不再受到青睞?？萍脊巨D(zhuǎn)而更喜歡“持續(xù)實(shí)驗(yàn)”,。無論我們?nèi)绾蚊枋鲞@個(gè)概念，目標(biāo)卻都是一樣的：實(shí)現(xiàn)由數(shù)據(jù)驅(qū)動(dòng)的快速迭代,。無論是測試按鈕的顏色還是算法的性能,，只要公司進(jìn)行的實(shí)驗(yàn)越成功，它創(chuàng)造的新增長和效率的機(jī)會(huì)就越多,。
然而,，成功的實(shí)驗(yàn)并不都是相同的。一些實(shí)驗(yàn)在短期內(nèi)似乎導(dǎo)致積極的變化（例如，帶來更多利潤,、保留客戶等）,，但在實(shí)際上卻使公司的運(yùn)作更為復(fù)雜。這會(huì)增加進(jìn)一步改進(jìn)系統(tǒng)和開展未來實(shí)驗(yàn)的難度,，減緩了創(chuàng)新的動(dòng)力,。
“根本問題是‘行之有效’意味著什么？”凱洛格學(xué)院的運(yùn)籌學(xué)助理教授塞巴斯蒂安·馬丁問道,?！艾F(xiàn)在，它對(duì)我和我的客戶可能是一件好事情,，但從長遠(yuǎn)來看,，它會(huì)影響我的創(chuàng)新能力嗎？”
為了探究實(shí)驗(yàn)驅(qū)動(dòng)型公司的隱性成本,，馬丁與同樣來自凱洛格學(xué)院的黃宇迪（音譯）以及Lyft公司的前首席科學(xué)家秦志偉合作,，創(chuàng)建了一個(gè)數(shù)學(xué)模型，以探討在公司內(nèi)部進(jìn)行變革的復(fù)雜性,。他們發(fā)現(xiàn),，隨著時(shí)間的推移，這種復(fù)雜性造成的摩擦?xí)鄯e,，就像債務(wù)的利息一樣,。換句話說,，將會(huì)越來越難發(fā)現(xiàn)每個(gè)成功的變革,，需要更復(fù)雜、更耗時(shí)的實(shí)驗(yàn),，并且這些放緩常常無法察覺,。
然而，研究人員也發(fā)現(xiàn),，當(dāng)公司的復(fù)雜性達(dá)到一定程度之后,，就不再值得抵制了。因此,，盡管實(shí)驗(yàn)的速度更慢,、頻率更低，但實(shí)際上,，即便實(shí)驗(yàn)的回報(bào)減少,，積累更多的“復(fù)雜性債務(wù)”也是值得的。黃宇迪解釋道：“在這種情況下,，唯一的解決方案通常是從頭開始重建,，而不是試圖避免額外的復(fù)雜性。”
馬丁承認(rèn)：“這種模型看似違反直覺,，它凸顯了一個(gè)幾乎無人談?wù)摰挠绊?。?/p>
對(duì)于那些在實(shí)驗(yàn)上投入大量資源的科技公司來說,，了解這種經(jīng)常被隱藏的實(shí)驗(yàn)效果特別有價(jià)值,。馬丁指出：“科技公司擁有專注于實(shí)驗(yàn)的龐大團(tuán)隊(duì)；成功的實(shí)驗(yàn)往往使員工獲得晉升,。但判斷某件事情是否長期‘有效’,，卻是非常棘手的任務(wù)?！?/p>
成功的隱性成本
馬丁對(duì)這種困難有親身體會(huì),。2020年，他在Lyft擔(dān)任研究員期間,，幫助測試了一種新型強(qiáng)化學(xué)習(xí)算法,，用于匹配司機(jī)和乘客。
“進(jìn)行這些實(shí)驗(yàn)的成本非常高,，但是絕對(duì)值得,。”他回憶道,?！八黾恿怂緳C(jī)的收入，也讓乘客更滿意,。我們實(shí)驗(yàn)儀表板上的所有指標(biāo)幾乎都是綠色的,。”2021年,，Lyft在全球部署了新算法,。一切都行之有效，但是果真如此嗎,？
馬丁說：“我意識(shí)到,，做出如此復(fù)雜的改變時(shí)，會(huì)使公司其他團(tuán)隊(duì)的創(chuàng)新變得更難,，也會(huì)增加實(shí)驗(yàn)過程本身的難度和成本,。”
首先,，擁有一個(gè)會(huì)隨著時(shí)間推移而自行調(diào)整的復(fù)雜機(jī)器學(xué)習(xí)算法,，意味著找到下一個(gè)實(shí)驗(yàn)想法會(huì)變得更難，也更難實(shí)施,。馬丁解釋道：“我必須預(yù)測這個(gè)超級(jí)聰明的算法會(huì)對(duì)我想要測試的東西做何反應(yīng),，因此憑直覺判斷的想法是否明智會(huì)變得更難,。”
此外,，復(fù)雜的系統(tǒng)性實(shí)驗(yàn)不像A/B測試按鈕顏色那么簡單,。就像一塊大石頭掉進(jìn)湍急的溪流中一樣，Lyft的新算法可能會(huì)以出乎預(yù)料的方式改變整個(gè)系統(tǒng)的流程,。因此,，唯一的測試方法就是將其開啟，讓每個(gè)人觀察會(huì)發(fā)生什么,，然后再將其關(guān)閉并比較結(jié)果,。這些所謂的“折返實(shí)驗(yàn)”必須在更長的時(shí)間內(nèi)重復(fù)多次，才能產(chǎn)生可靠的結(jié)果,。
馬丁意識(shí)到這些實(shí)驗(yàn)帶來的復(fù)雜性債務(wù)可能會(huì)阻礙未來的創(chuàng)新努力,，但是他不能確定?！霸趯?shí)驗(yàn)過程中幾乎無法衡量,。我開始懷疑自己。這引發(fā)了一項(xiàng)有趣的數(shù)學(xué)練習(xí),?！?/p>
建模權(quán)衡
與技術(shù)債務(wù)一樣，公司內(nèi)部的“復(fù)雜性”難以衡量,，因?yàn)樗茈y定義,。
“它的涵蓋范圍很廣，包括官僚主義,、軟件,、深度?！瘪R丁說,。“對(duì)我們而言,，復(fù)雜性只有一個(gè)含義：復(fù)雜性越高，公司進(jìn)行成功實(shí)驗(yàn)的概率就越低,?！?/p>
利用這個(gè)復(fù)雜性的定義，馬丁和他的共同作者對(duì)一家公司如何隨著不斷的實(shí)驗(yàn)而變化進(jìn)行了模擬,。他們根據(jù)兩個(gè)關(guān)鍵量來評(píng)估這家理想化的公司,。第一個(gè)稱為利用率，代表公司試圖通過實(shí)驗(yàn)最大化的主要指標(biāo),，比如利潤或用戶參與度,。第二個(gè)代表復(fù)雜性：復(fù)雜性越高，實(shí)驗(yàn)的速度就越慢。
如此一來,，權(quán)衡就相對(duì)簡單了,。隨著時(shí)間的推移，成功的實(shí)驗(yàn)會(huì)提高公司的利用率——就像Lyft的新算法提高了收入,、參與度和效率,。與此同時(shí)，成功實(shí)驗(yàn)所帶來的任何變化要么增加其復(fù)雜性,，要么保持不變,。
設(shè)置陷阱
在分析了模型的行為之后，研究人員發(fā)現(xiàn)復(fù)雜性確實(shí)是一個(gè)真正的問題,，會(huì)以三種獨(dú)特的模式或“陷阱”來表現(xiàn),。
第一個(gè)陷阱是，復(fù)雜性債務(wù)的負(fù)面影響沒有上限,；它只會(huì)不斷增長,，永遠(yuǎn)不會(huì)停滯。馬丁說：“如果你只是不斷地實(shí)施改變,，一味地盲從成功的實(shí)驗(yàn)結(jié)果,，那么情況就會(huì)變得多糟也沒有止境?！?/p>
當(dāng)公司的復(fù)雜性債務(wù)開始自我強(qiáng)化時(shí),，則會(huì)發(fā)生第二個(gè)陷阱。在該模型中,，公司可以做出選擇,，以防止復(fù)雜性進(jìn)一步惡化。然而,，在復(fù)雜性達(dá)到一定程度之后,，即使這種方法也變得毫無意義：對(duì)于高度復(fù)雜的公司來說，最佳選擇是繼續(xù)實(shí)驗(yàn),，并積累更多債務(wù),。
為什么？因?yàn)槎唐趦?nèi)管理復(fù)雜性的成本高昂,，但從長遠(yuǎn)來看卻有益,。
“上市公司的投資者最多只關(guān)心未來五年到十年的情況?！瘪R丁解釋道,。“當(dāng)你的公司規(guī)模很大,，復(fù)雜性很高時(shí),，改進(jìn)就很少發(fā)生,。因此，你會(huì)有更大的動(dòng)力爭取任何改進(jìn)”,，而不考慮長期的復(fù)雜性成本,。
但是復(fù)雜性較低的公司（例如新創(chuàng)企業(yè)）應(yīng)該特別小心陷入這種情況。與成熟公司相比,，這些公司往往更關(guān)注短期收入和增長,，因此特別容易陷入第三個(gè)陷阱，即它們覺得需要加快實(shí)驗(yàn),。這是科技新創(chuàng)企業(yè)經(jīng)常面臨的困境：因?yàn)樗鼈儽仨毾蛲顿Y者展示相對(duì)快速的增長,，從而獲得下一輪融資，所以它們傾向于進(jìn)行“貪婪”的實(shí)驗(yàn),，將復(fù)雜性提高到閾值,，或者甚至超過閾值。等到它們真正開始增長時(shí),，其復(fù)雜性債務(wù)已經(jīng)達(dá)到了臨界點(diǎn),。
馬丁指出：“新創(chuàng)企業(yè)與上市后的公司截然不同。任何似乎有助于增長的改變都應(yīng)該付諸實(shí)施,，否則你就會(huì)滅亡,。”
沒有免費(fèi)的午餐
那么,，復(fù)雜性及其對(duì)實(shí)驗(yàn)和創(chuàng)新的潛在影響,，是否就像死亡和稅收一樣不可避免？
或許如此,，但馬丁警告我們不要過度解讀單一數(shù)學(xué)模型的行為,。“我們的論文旨在強(qiáng)調(diào)實(shí)驗(yàn)背景下的某種效應(yīng),，讓人們開始更清楚地思考,。當(dāng)你試圖解決一個(gè)問題時(shí)，意識(shí)到這個(gè)效應(yīng)就是成功的一半,?！?/p>
馬丁補(bǔ)充道，與許多公司的看法相反,，持續(xù)實(shí)驗(yàn)并不能保證持續(xù)改進(jìn),。“根據(jù)我在科技界的經(jīng)驗(yàn),，我認(rèn)為這個(gè)想法會(huì)引起很大的爭議?！?/p>
但其實(shí)不必如此,。所謂的“退化實(shí)驗(yàn)”就像是反向的折返實(shí)驗(yàn),，測量一個(gè)看似積極的變化暫時(shí)逆轉(zhuǎn)時(shí)會(huì)發(fā)生什么。馬丁表示,，如果沒有有害影響,，也許就可以永久逆轉(zhuǎn)這種變化及其導(dǎo)致的復(fù)雜性，因?yàn)椤跋到y(tǒng)已經(jīng)進(jìn)化”,，不再需要這種變化,。至于在其他由實(shí)驗(yàn)驅(qū)動(dòng)的行業(yè)，比如制藥業(yè),，往往是講求研究長期結(jié)果,，而不僅是短期影響。
馬丁說：“科技界需要更多這樣的思維,。它讓人們意識(shí)到,，改變可能是暫時(shí)的，因?yàn)樗鼈兛赡苄枰鷥r(jià),，而逆轉(zhuǎn)或者至少重新評(píng)估,，也是可取的行為?！保ㄘ?cái)富中文網(wǎng)）
財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有,。未經(jīng)許可，禁止進(jìn)行轉(zhuǎn)載,、摘編,、復(fù)制及建立鏡像等任何使用。
