在門戶網(wǎng)站們鞏固自己對互聯(lián)網(wǎng)訪問流量的控制權的同時,來自獨立的電子商務公司對訪問流量的需求也狂飆不止。獲取流量的代價也變得非常昂貴,主要的門戶網(wǎng)站開價數(shù)百萬美元出售它們網(wǎng)站上的地盤。而互聯(lián)網(wǎng)公司也大肆揮霍來自風險投資人和股票市場的現(xiàn)金,排起長隊等著在大門戶網(wǎng)站占據(jù)一席之地。1998年和1999年的訪問流量買賣協(xié)議的清單,讀著就像.com公司的死亡行進:CDNow花了1 850萬美元同Lycos達成協(xié)議,Preview Travel花費1 500萬美元購得Excite網(wǎng)站上的一席之地,AutoConnect則在美國在線投入了1 700萬美元。
而這些大量的訪問流量買賣的基礎非常薄弱。商務網(wǎng)站在購買通往用戶群的通路的時候,并沒有考慮過這些用戶是否對它們的網(wǎng)站所提供的商品有任何的興趣。成為美國在線上唯一一家信用卡供應商,或是成為Lycos上首要的CD銷售商也許會顯得很具吸引力,可是很難證明這樣的交易能夠給公司帶來任何實質(zhì)性的回報。其實,警報訊號隨處可見,就連通常凱歌高唱的網(wǎng)絡研究機構Jupiter Communications都于1999年發(fā)布報告,詳細介紹此類交易失敗的案例。但是,這是一種土地搶占,在這樣的情況下,誰也不愿意做那個被排除在外的人。這個時代的風氣是:先進去搶個座,然后出比競爭對手更高的價格,拼命堅持下去。
從很短的一個時期(只有3年,以事物的發(fā)展而言確實非常短暫)看是否物有所值根本無關緊要。這個互聯(lián)網(wǎng)空間變成了職業(yè)橄欖球超級杯買賣。CDNow把買來的訪問流量做什么用了這個問題遠不如它買到了這些流量的事實更重要。對于這個行業(yè)的許多公司來說,訪問流量才是證明互聯(lián)網(wǎng)公司價值的萬金油。20世紀90年代末,有幾家公司僅僅因為在像網(wǎng)景和雅虎這樣的門戶網(wǎng)站上成功購得一席之地而獲得風險資基金或者成功上市訪問流量指標是一個網(wǎng)站吸引的網(wǎng)頁閱讀者的總數(shù),是評價一家網(wǎng)絡公司最直觀的指標。這種方法的一個主要問題就是,它沒有提供一個好的辦法來了解到底這些訪問流量最終會不會被轉(zhuǎn)換成付費的用戶。。
其結(jié)果是,搜索技術創(chuàng)新衰敗了,平民的悲劇迅速蔓延:搜索垃圾作弊者迅速占領了索引。搜索引擎垃圾網(wǎng)頁,就是不道德的網(wǎng)站管理員為了獲得免費的流量,設法置于索引頂端的非相關性搜索結(jié)果。至今這仍然是一個嚴重的問題,盡管現(xiàn)在的搜索引擎對抗作弊網(wǎng)頁的手段越來越高級,1998年的時候,甚至還沒有幾個人知道搜索引擎作弊是怎么回事。
在Google出現(xiàn)以前,大部分的搜索引擎都采用簡單的關鍵詞算法來決定等級。不過,具體的計算機處理技術要比這個說法更復雜一些。例如,有些作弊者(尤其是成人娛樂網(wǎng)站)意識到它們可以用訪問流量很多的詞,比如“汽車”,來騙取訪問流量的時候,它們就在自己的網(wǎng)站上放滿這些關鍵詞(經(jīng)常是在白色背景上用白色的小字),這使得這樣一種模式癱瘓了。這就是為什么1998年的時候,Lycos提供的同“汽車”對應的搜索結(jié)果大多都是色情網(wǎng)站。