check which ids exists postgrestable(检查哪些ID已过账)
本文介绍了检查哪些ID已过账的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
检查PostgreSQL表中存在哪些ID的速度如何
我写了以下函数,但当len(x)
大于500 000时,它会非常慢
import psycopg2
conn = psycopg2.connect(...)
cursor = conn.cursor(cursor_factory=psycopg2.extras.DictCursor)
def check_exist(lst):
exist = []
not_exist = []
for i in lst:
cursor.execute(f"SELECT * FROM table1 where id={i}")
row = cursor.fetchone()
if row:
exist.append(i)
else:
not_exist.append(i)
return exist, not_exist
x, y = check_exist(['2','4','3000','50000','10000000'])
推荐答案
您可以使用ANY,让postgres完成大部分工作:
import psycopg2, time
# database is in a datacenter just using a tunnel!
conn = psycopg2.connect("dbname=mf port=5959 host=localhost user=mf_usr")
cur = conn.cursor()
ids = [x for x in range(0, 750000)]
sql = """
SELECT array_agg(id) from __users where id = ANY(%s);
"""
# array_agg: Postgres returns an array of ids!
_start = time.time()
cur.execute(sql, (ids, ))
existingIds = cur.fetchone()[0]
missingIds = set(ids) - set(existingIds)
print(len(existingIds))
print(len(missingIds))
print('Took: %.6f seconds' % (time.time() - _start))
输出:
284365
465635
Took: 5.564851 seconds
注意:确保ID列上有索引
这篇关于检查哪些ID已过账的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!
沃梦达教程
本文标题为:检查哪些ID已过账
猜你喜欢
- 使用 Cython 将 Python 链接到共享库 2022-01-01
- 使用公司代理使Python3.x Slack(松弛客户端) 2022-01-01
- 如何使用PYSPARK从Spark获得批次行 2022-01-01
- 计算测试数量的Python单元测试 2022-01-01
- YouTube API v3 返回截断的观看记录 2022-01-01
- CTR 中的 AES 如何用于 Python 和 PyCrypto? 2022-01-01
- 我如何卸载 PyTorch? 2022-01-01
- ";find_element_by_name(';name';)";和&QOOT;FIND_ELEMENT(BY NAME,';NAME';)";之间有什么区别? 2022-01-01
- 检查具有纬度和经度的地理点是否在 shapefile 中 2022-01-01
- 我如何透明地重定向一个Python导入? 2022-01-01