有哪些「神奇」的數據獲取方式?-最初的方案是Python爬蟲

之前曾開發過一個全是馬賽克的網站:基于DHT網路的磁力鏈接和BT種子的搜索引擎架構。

最初的方案是Python爬蟲,去各大下載網站爬取種子資訊。后來發現這種方案有個最大的缺點就是速度太慢,而且無法知道每個資源的熱度。

有天晚上迷迷糊糊,感覺似睡非睡,似醒非醒,突然冒出了一個想法:如果有人想下載一個種子,那么必然有人制作了這個種子

了解P2P原理的人都知道,BT不需要中心服務器,因為每個節點既是客戶端,同時也是服務器,因此我寫了一個程式,把它偽裝為DHT網路中的一個節點,這樣當其他客戶端想下載某個torrent時,就會在DHT網路發起廣播,當它詢問到我的節點時,我就知道了:哦,原來有人要下載這個種子啊,那么在DHT網路中肯定有這個種子。于是我把這個種子的資訊保存到MySQL中。通過檢測別人對我的詢問情況,我還可以知道某個種子的熱度。

0 条回复 A文章作者 M管理員
    暫無討論,說說你的看法吧