再做tg 數(shù)據(jù)采集的時(shí)候停忿,很多時(shí)候都是公開的群組,因?yàn)槿合⑹强梢苑窒沓鰜淼摹_@個(gè)時(shí)候可以直接請求該消息地址即可獲取到對應(yīng)的消息茫舶。這樣就能實(shí)現(xiàn)數(shù)據(jù)采集了。
然后tg 的消息id 是從遞增土陪,應(yīng)該是從1開始的肯腕,這個(gè)時(shí)候只需要 從1 開始請求步脓,請求到該群組沒有新的消息后即可放棄采集
例如:
https://t.me/OKXAPI/82745 【OKXAPI 為群組username罗捎,82745 為消息id观谦,可以遞增下去請求】
更有一些群組開放性更強(qiáng)可以通過 https://t.me/s/群組username 的形式訪問
目前樓主測試過這種方式,請求基本不會(huì) 限流桨菜,可以以超高頻率的方式去請求爬取數(shù)據(jù)等
ps: 本人最高測試速度為 單IP 3000次請求/s