Dev's Logging

Welcome to my blog !


redis 的过期策略都有哪些?内存淘汰机制都有哪些?手写一下 LRU 代码实现?

Published at March 19, 2019 ·  1 min read

redis 的过期策略和内存淘汰机制,过期策略采用定期(随机)删除,惰性删除,只有用户查询时若过期则删除。但这样会导致被大量冷数据占用,所以又引入了内存淘汰机制,其中,移除最近最少使用的 key 最为常用 redis 的过期策略都有哪些?内存淘汰机制都有哪些?手写一下 LRU 代码实现?...

redis 集群模式的工作原理能说一下么?在集群模式下,redis 的 key 是如何寻址的?分布式寻址都有哪些算法?了解一致性 hash 算法吗?

Published at March 19, 2019 ·  1 min read

redis cluster 有固定的 16384 个 hash slot,对每个 key 计算 CRC16 值,然后对 16384 取模,可以获取 key 对应的 hash slot。redis cluster 中每个 master 都会持有部分 slot,比如有 3 个 master,那么可能每个 master 持有 5000 多个 hash slot。hash slot 让 node 的增加和移除很简单,增加一个 master,就将其他 master 的 hash slot 移动部分过去,减少一个 master,就将它的 hash slot 移动到其他 master 上去。移动 hash slot 的成本是非常低的。客户端的 api,可以对指定的数据,让他们走同一个 hash slot,通过 hash tag 来实现。任何一台机器宕机,另外两个节点,不影响的。因为 key 找的是 hash slot,不是机器。 redis 集群模式的工作原理能说一下么?在集群模式下,redis 的 key 是如何寻址的?分布式寻址都有哪些算法?了解一致性 hash 算法吗?...

如何设计可以动态扩容缩容的分库分表方案?

Published at March 19, 2019 ·  1 min read

每个库正常承载的写入并发量是 1000,那么 32 个库就可以承载32 * 1000 = 32000 的写并发,如果每个库承载 1500 的写并发,32 * 1500 = 48000 的写并发,接近 5万/s 的写入并发,前面再加一个MQ,削峰,每秒写入 MQ 8 万条数据,每秒消费 5 万条数据。有些除非是国内排名非常靠前的这些公司,他们的最核心的系统的数据库,可能会出现几百台数据库的这么一个规模,128个库,256个库,512个库。1024 张表,假设每个表放 500 万数据,在 MySQL 里可以放 50 亿条数据。每秒的 5 万写并发,总共 50 亿条数据,对于国内大部分的互联网公司来说,其实一般来说都够了。谈分库分表的扩容,第一次分库分表,就一次性给他分个够,32 个库,1024 张表,可能对大部分的中小型互联网公司来说,已经可以支撑好几年了。 如何设计可以动态扩容缩容的分库分表方案?...

了解什么是 redis 的雪崩、穿透和击穿?redis 崩溃之后会怎么样?系统该如何应对这种情况?如何处理 redis 的穿透?

Published at March 19, 2019 ·  1 min read

redis 缓存雪崩、缓存穿透、缓存击穿三种问题的解决办法,可通过建立 redis 集群,mysql 没有返回值时缓存为 None,可以将热点数据永不过期或者将数据以一随机时间缓存到另一台 redis 中做备用查询。 了解什么是 redis 的雪崩、穿透和击穿?redis 崩溃之后会怎么样?系统该如何应对这种情况?如何处理 redis 的穿透?...

数据库SQL优化大总结之 百万级数据库优化方案 - 雲霏霏 - 博客园

Published at March 19, 2019 ·  1 min read

sql 百万级数据库的优化,最好不要使用 null,避免全表扫描。where 尽量避免 不等于、大于、小于、对字段进行表达式操作、函数操作等容易导致全表扫描的操作。 数据库SQL优化大总结之 百万级数据库优化方案 - 雲霏霏 - 博客园...

redis 都有哪些数据类型?分别在哪些场景下使用比较合适?

Published at March 19, 2019 ·  1 min read

比较有意思的一篇介绍 redis 常见的数据结构及其应用。比如无序集合 set,可以对两个集合进行交集、并集、差集的操作。对 list 通过 lrange 实现分页查询的效果 redis 都有哪些数据类型?分别在哪些场景下使用比较合适?...

MySQL性能优化的最佳20+条经验 | | 酷 壳 - CoolShell

Published at March 19, 2019 ·  1 min read

mysql 的优化经验,将大表拆成小表,对于常需要联合查询的表合成一个表,包含最近登陆一类的经常更新的数据,最好单独一张表以充分利用 mysql 自身的查询缓存 MySQL性能优化的最佳20+条经验 | | 酷 壳 - CoolShell...

Abstract Base Classes in Python – dbader.org

Published at March 18, 2019 ·  1 min read

python 中抽象基类的应用,相比于一般的类有以下几点优势:1. Abstract Base Classes (ABCs) ensure that derived classes implement particular methods from the base class at instantiation time. 2. Using ABCs can help avoid bugs and make class hierarchies easier to maintain. Abstract Base Classes in Python – dbader.org...

Tags

abcs accept acid activemq affinity algorithm allocation android array async aws b+tree b-tree backoff benchmark best-practices bfs big-o bigquery bind bitcount blog break broker bubble buffer cache cap cert cgroups channel citus class classmethod closure closures cluster concurrency config consistency consumer container context cookie cors crawler cronjob csrf ctr data-science data-structure database datadog dataflow datascience decorator deepcopy defer dfs distributed django dns docker double-shipping drf ecosia elastic-search enumerate epoll equal errgroup escaping event extra fabric2 facebook-pixel financial-report flask flutter forward-proxy freelance frontend frp garbage-collector gc gcp generator gesture get gil git golang goroutine graphql ha handbook haproxy hash hash-slot hashring hashtable hpa http http-auth http-proxy http_proxy https index init innodb instagram intention-lock intergration interview ios is javascript jinja2 jobboard json jwt k8s kafka kibana kqueue label lambda layer4 layer7 lean levels.io linked-list linux list listen loadbalancer lock logs long-tail lru marketing master matplotlib memory merge metaclass metaprogramming metrics metrics-server microservices mitm mobile model mongo mongoose mq myisam mysql namespace nat netflix network network-extension nginx nodejs nomad nosql notification npm oodesign openssl optimization orm osi pandas parallelism paramiko parkinglot patroni permission pg pipeline pixelme post postgresql postresql prefetch_related prerender private-key process proxy proxycommand put pvm python queue rabbitmq rbac react-native reactive reactjs rebase redis redis-cluster replication resource rest restfulapi retargeting retry revenue reverse-proxy rocketmq rsa rxswift saas scaffold scaleable search-engine security select seo serverless service session set shadosocks shadowsocks shard sharding shell shopify sigint signal sigterm singleton slack slave slow-query sniper sns socket socks5 source-code spa sql sqlalchemy sqs ssh ssl ssl-pinning stack startup state stateful stateless staticmethod string struct swift swiftui switch syscall system-design systemctl tcp tcp-proxy thread tmpreaper token traefik trustkit tunning type typeform udp userdefaults variable vc voidcallback vpn vuejs weak web web-development where widget with yarn zset 削峰 单例模式 宽索引 异步 看源码学-golang 窄索引 解耦 跨域 跳板机


Archives

2020 (6)
2019 (157)
0001 (5)