代码拉取完成,页面将自动刷新
同步操作将从 xvcer/饿了么_兴盛优选_爬虫(含经纬度城市遍历) 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
#!/usr/bin/env python
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
import traceback
from time import sleep
import rocksdb
from os.path import join,dirname,abspath
from requests import Session
from hashlib import blake2b
from json import loads
ROOT = dirname(abspath(__file__))
class Cache:
def __init__(self, db):
self.session = Session()
self._db = rocksdb.DB(
join(ROOT,'cache',db),
rocksdb.Options(create_if_missing=True)
)
def get(self, url, headers={}, verify=lambda x:True):
cache = self._db
key = blake2b(url.encode('utf-8','ignore')).digest()
r = cache.get(key)
if r:
# print('cached')
r = loads(r)
return r
# headers.update(proxy_header())
while 1:
try:
r = self.session.get(
url,
timeout=60,
verify=False,
# proxies=dict(http=PROXY, https=PROXY),
headers=headers
)
j = r.json()
if verify(j):
cache.put(
key,
r.content
)
return j
except Exception:
traceback.print_exc()
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。