 |
T/T0 vs x/x0. A is taken to be 1 and the feedback parameter BRT0/x0 was set to 0, 0.02, 0.04, and 0.08, fron right to left,科技發展會過熱嗎？有可能失控而不穩定嗎? 李建平 7/1/22022 |
現代科技正以前所未有的速度向前邁進，它會不會像過熱的經濟泡沫化一樣，如脫韁的野馬不受控制，最後崩潰給人類帶來浩劫？對於一個有學習能力的智慧型系統，這種反饋極有可能造成系統的不穩定而產生上述的失控現象。在本文中（第二部份）我提出一個數學模型來解釋其可能發生的機制，並預測發生的不穩定點。
這幾十年來電腦帶動的科技突飛猛進，讓人目不暇給。再加上通訊技術及網際網路的發展，讓我們進到一個前所未有的地步。表面上對我們帶來很大的方便，但同時它也改變了我們的生活型態，影響了我們的行為模式及人際關係。它所造成的影響遠比過去幾百年甚至上千年造成的影響更大。這種劇烈變化，常使我們來不及反應，對人類的未來到底是福是禍？是很值得深思的問題。
自從智慧型手機上市以來，人手一機，等於每人隨身攜帶了一個電腦。網路又把我們與世界連結在一起。個人的資訊，性向喜好，都不知不覺的被記錄在雲端。世界上任何一個角落，都有可能知道我們在做什麼，在想什麼。我們愛看什麼視頻，它就不斷播放這類視頻給我們，我們上網購物，商家就知道我們喜歡什麼樣的商品。我在網上查資料，查多了，它就知道我是個什麼樣的人。這種正向回饋 (positive feedback) 很容易造成我們某種行為及思想的偏極化。一個最簡單的例子就是政治風向，只要你稍微表示有某種政治傾向，網路就不斷灌輸你這方面的資訊，直到你被洗腦都不知道。去年美國總統大選的風暴，和族裔之間的衝突都和網路的推波助瀾有關。
現在虛擬實境，人工智慧已廣泛應用在我們日常生活中。如今網路還要把所有人連結起來成為一個虛擬的世界，稱為元宇宙(meta-verse). 臉書去年就把名字改成了 Meta. 他們要把原來的社群網路打造成一個虛擬的元宇宙。大家可以在這個虛擬的環境中交友，做生意，學習，旅遊，遊戲，等等。表面上好像可以人造一個烏托邦，但在這個虛擬世界裡，誰來做主？誰會爭霸？人可能很容易被操控，很容易有大欺小，強欺弱的情形發生。傳統社會的型態是經過長時期人與人的磨合及硬體的建設而形成的，但是元宇宙裡沒有硬體，可以藉由程式操控周圍的環境和人。這種空中樓閣式的世界會不會很快的建成也很快的崩塌？
這些現代科技所造成的現象有沒有可能變得我們無法控制？（out of control) 我個人認為這是極有可能的。 就如前面所說，在網路世界裡，一個謠言很可能被放大，放大後的言論又有部分會回饋到輸入端，當放大率與回饋的乘績高於某一個臨界值，這個謠言就會像病毒一樣一發不可收拾，甚至大家會信以為真。這跟電路裡面放大器所產生振蕩的原理是一樣的。
如果這個網路系統是非線性的，那情況會更糟糕，在工程系統中有所謂的失控現象(runaway)。對於一個高效能的非線性系統，當處在某些狀況時，只要稍微有一點擾動，就會讓這個系統陷於不穩定而完全失控。一個最簡單的例子就是在電路中所謂的 Thermal Runaway。比方說一個 IC 晶片工作時會發熱，當其中某個電晶體正好操作在某個臨界條件下，稍微一點點的擾動，就會讓電路中所有的電流流向這個電晶體，所產生的熱又會更加惡化這個現象，於是一下子就失控，這個電晶體就會燒掉，整個電路就報銷 了。這種事情通常發生在高效率的非線性系統中。而今天的網路世界常常就是這樣，它的效能越來越高，到時哪一個環節稍微出了點錯，可能造成整個系統的崩潰。在未來的元宇宙裡，這種情形可能更加嚴重，由於大家都處在同一個虛擬宇宙裡，這種失控現象就會讓全體人類糟殃。
由於人類文明的進展，現在的人類已與原始時代的人差了十萬八千里。這與地球上所有其他生物不同，幾千年前的猴子跟今天的猴子基本上一模一樣，以前住山洞現在還是住山洞，以前爬樹現在還是爬樹。可是人類以前住山洞，現在住高樓大廈，以前赤腳走路，現在坐飛機汽車。這種進步還在持續而且加速的進行，科技的進步是奠基於原有的科技之上，數學上它的增長就是呈指數型的。近幾十年這種成長趨勢是非常明顯的。這種非線性的成長就很容易造成前述的不穩定性。
指數型的科技進步也很容易造成資源分配不均，財富不均等等的不平等現象。先進技術一旦掌握在某人或某公司手中，就很容易造成暴發戶式的寡頭現象。在過去短短的20年中， Google， Facebook， Tesla, 就是這樣形成的。少數幾個人可以一下子就成為億萬富翁。其他人在後面永遠追不上。世界局勢也是一樣，二戰以後，美國科技領先全球，造成強力的磁吸現象，世界上最好的人才被他挖走，資金被他吸走，能源被他用掉。因為這樣，他又能發整展更先進的技術，製造更先進的武器。有了這些，他又更能在世界上稱霸。如此一來很多小國及貧窮國家的資源就都流往了美國。今天的世界就是如此，非洲中東許多國家都在貧窮及飢餓邊緣，可是那些科技進步的國家卻在吃香喝辣。人類都活在同一個地球，有同樣的陽光，空氣和雨水，為什麼結果卻是如此不同？這種現象其實對誰都不好，窮國家固然日子不好過，像美國這種獨大的國家也有可能走向我前面所說的失控 (runaway)現象。近幾年來美國內部的問題越來越多，種族問題，貧富不均，槍枝氾濫，民粹主義等等都比以往嚴重很多。這難道不也是科技快速進展所造成的後果嗎？如果主政者處理不好，這個強大的國家迅速地崩潰也不是沒有可能。
在工程上，設計人員會利用一些特殊裝置來避免工程進入失控狀態。在電路上功率放大器裡，常會使用 Ballasting resistor 來控制電晶體的增益以防止thermal Runaway. 在經濟過熱的時候，各國的央行也會加息收緊銀根來預防過熱所造成的通貨膨脹。但是我們今天的高科技呢？有沒有人對我們的網路及元宇宙制定一些規範來對它做一些控制呢？
世界上所有的人都已經生活在同一個互聯網裡，將來會生活在同一個元宇宙中。這種虛擬世界的發展，關係到我們全人類的生存及幸福，我在這裡呼籲，科技不能無止境的發展，一定要有某種機制讓它在可控範圍之內。否則一旦有前面所講的不穩定或失控狀態發生，就不是少數人或局部地區的問題，而會是全世界的問題，處理不好很可能造成人類的浩劫。
以下是我對一個有自我學習能力的智慧系統的不穩定分析。我提出一個數學模型來解釋這種現象，對於以後預測及預防系統的失控可能會有一些幫助。請見以下英文附件。
A phenomenological model for the
instability of a self-learning intelligent system
C. P. Lee 7/1/2022
Future intelligent systems will have
the capabilities of self-learning, self-reproduction, self-propagation, etc.
These capabilities will greatly shorten the system development time, enable the
system to grow quickly and to become smarter. However, this self growth ability
may cause the system to become unstable or even failure if not controlled properly.
In this short article I will present a phenomenological model for the
instability of a self- learning nonlinear intelligent system.
Let T be the
system output, which is a function of the input parameter x. Here T may represent
the technology itself, the functionality of the system, the intelligence of the system, or
the information collected by the system, while x may represent the amount of effort, the manpower, time, etc..
For many knowledge based systems, the incremental increase
of the output is proportional to the output itself, meaning the system is
developed based on the existing condition of the system. So
Where A is the proportional constant, which cab be regarded as 1/x0, where x0 is the amount of input for the system to improve by a factor of e.
|
|
Taking the derivative with respect to T, we obtain
T =
1/ABR = x0/BR (6),
x reaches the maximum and can not go any further.
Substituting this into eq(4), we find that x maximum is
When x reaches the maximum, the technology cannot go any further. There is no solution when x > xm. It will be seen later that, the T vs. x bends backward when T is beyond this bend-over point giving two solutions. In other words, the system can either go up or go down. This makes the system to become unstable. If there are two parallel systems reaching such point, any disturbance may cause the two systems go different ways. One of the systems can easily collapse at this point. So the best technology or output can be reached is, according to eq(6), x0/BR.
The following figure
shows the calculated result of T/T0 vs x/x0. A is taken to be 1 and the feedback parameter BRT0/x0 was set to 0.02,
0.04, and 0.08. When there is no self-learning, T/T0
increases exponentially without any problem, and the system is stable. This is
the right most curve in the figure. When there are feedbacks, the output curves
bend over indicating the system becomes unstable. Beyond these points, there
are two solutions and it may result in chaotic situations. When BRT0/x0
increases, the curve bends over more severely, i.e., the instability occurs
earlier when the feedback is stronger. The numbers used here are hypothetical,
which may not reflect the real situations. But the model described here
provides us a clear picture as why the system becomes unstable.
To prevent such
instability, one has to implement a mechanism to counter balance the backward
bending of the curve. An output dependent damping or control should be designed
in the system to prevent such things to happen.
Finally I would like
to make a comparison between the artificial intelligent system with the true
intelligent system of human beings. Human beings have the natural ability of
self- learning, but they don’t have the problems of instability. Asides from
physiological reasons, human beings are seldom out of control. The reason lies
in a built- in process of all living things. It is aging. The ability to learn
deteriorates as we age. It is a natural damping force for the feedback of
seif-learning mentioned above. But for an artificial system, especially a
virtual system, the aging process does not exist. So to make the system stable,
one has to build something additional to either slow down the self-learning
process or provide a mechanism to damp the progress when it is overheated.
 |
| T/T0 vs x/x0. A is taken to be 1 and the feedback parameter BRT0/x0 was set to 0, 0.02, 0.04, and 0.08, fron right to left, |
The technology curves bend over indicating the occurrence of instability. The red dots are the bend-over point, which indicate the onset of instability.