Clik here to view.
ES中index和type区分 - 王的博客园12 - 博客园
参考： https://bayescafe.com/database/elasticsearch-using-index-or-type.htmlhttps://www.cnblogs.com/huangfox/p/9460361.htmlelasticsearch-中的索引与类型的前生今世1. type理解1.1 Type 是什么使用 type 允许我们在一个 index...
View ArticleClik here to view.
Oracle GoldenGate系统之----双向同步数据表_ITPUB博客
双向同步与单向同步类似，但需要着重注意两个问题：防止数据循环和防止数据冲突。 1、防止数据循环 在EXTRACT进程中忽略REPLICAT的事务，一般排除提取用户的操作，并且与需要同步的用户分开 如USERID SCOTT,PASSWORD TIGER TRANLOGOPTIONS EXCLUDEUSER SCOTT 2、防止数据冲突 一般要从应用层面解决，避免操作相同的数据。...
View ArticleClik here to view.
Python3连接MySQL数据库之mysql-client - Ethan_zhang - 博客园
安装mysqlclient要想使 python 可以操作 mysql 就需要 MySQLdb 驱动，它是 python 操作 mysql 必不可少的模块。使用pip安装pip install mysqlclient安装出错在此站点下载mysqlclient安装包：https://www.lfd.uci.edu/~gohlke/pythonlibs/#...
View ArticleClik here to view.
配置双活网络切换技术 - ericnie - 博客园
本文摘自华为的论坛，源地址http://forum.huawei.com/enterprise/thread-388305.html因配置多数据中心的时候遇到如何进行生产以及备份的切换，阅读此文受益匪浅，转载保留。 应用级灾备要求提供冗余的网络线路和设备。正常情况下，客户端通过生产中心的业务网络访问生产中心的应用服务器；在发生灾难时，通过网络切换，客户端能够访问到灾备中心的备用服务器。...
View ArticleClik here to view.
拆解大数据总线平台DBus的系统架构 - 宜信技术 - 博客园
Dbus所支持两类数据源的实现原理与架构拆解。大体来说，Dbus支持两类数据源：RDBMS数据源日志类数据源一、RMDBMS类数据源的实现以mysql为例子. 分为三个部分：日志抽取模块增量转换模块全量拉取模块1.1 日志抽取模块（Extractor）mysql 日志抽取模块由两部分构成：canal server：负责从mysql中抽取增量日志。mysql-extractor...
View ArticleClik here to view.
Clik here to view.
Kafka日志及Topic数据清理 - moonandstar08 - 博客园
由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作之前，先简单的介绍一下Kafka消费Offset原理。一、Kafka消费Offset...
View ArticleClik here to view.
Redis BGSAVE因为内存不足 fork 失败导致目标 Redis 无法访问的问题 - piperck - 博客园
中秋的时候正在外面愉快的在外卖喝着咖啡玩电脑。。。。。。突发 redis 报警从 sentry 应用端曝出的错误MISCONF Redisisconfigured to save RDB snapshots, but itiscurrently not able to persist on disk. Commands that may modify the datasetare disabled,...
View ArticleClik here to view.
多个Consumer Group对Topic消费不能完全覆盖研究总结（一） - 凌晨三点半 - 博客园
我们知道Kafka支持Consumer Group的功能，但是最近在应用Consumer Group时发现了一个Topic...
View ArticleClik here to view.
MySQL 双活同步复制的四种方案_咸鱼的梦想专栏-CSDN博客_mysql双机同步复制
对于数据实时同步，其核心是需要基于日志来实现，是可以实现准实时的数据同步，基于日志实现不会要求数据库本身在设计和实现中带来任何额外的约束。 基于MySQL原生复制主主同步方案...
View ArticleClik here to view.
Druid 连接泄漏监测 - 左正 - 博客园
当程序存在缺陷时，申请的连接忘记关闭，这时候，就存在连接泄漏了。Druid提供了RemoveAbandanded相关配置，用来关闭长时间不使用的连接。例如：配置<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" destroy-method="close"> ... ...<property...
View ArticleClik here to view.
kubernetes核心组件kube-proxy - 运维笔记 - 散尽浮华 - 博客园
一. kube-proxy 和 service kube-proxy是Kubernetes的核心组件，部署在每个Node节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件;...
View ArticleClik here to view.
nginx 之 proxy_pass详解_风的专栏-CSDN博客_nginx proxy_pass
在nginx中配置proxy_pass代理转发时，如果在proxy_pass后面的url加/，表示绝对根路径；如果没有/，表示相对路径，把匹配的路径部分也给代理走。假设下面四种情况分别用 http://192.168.1.1/proxy/test.html进行访问。第一种： location /proxy/ { proxy_pass http://127.0.0.1/; } 代理到URL：...
View ArticleClik here to view.
hive索引机制和原理_王玉Student的博客-CSDN博客_hive 索引
hive索引介绍Hive的索引目的是提高Hive表指定列的查询速度。 没有索引时，类似’WHERE tab1.col1 = 10’ 的查询，Hive会加载整张表或分区，然后处理所有的rows， 但是如果在字段col1上面存在索引时，那么只会加载和处理文件的一部分。 与其他传统数据库一样，增加索引在提升查询速度时，会消耗额外资源去创建索引和需要更多的磁盘空间存储索引。 Hive...
View ArticleClik here to view.
Elasticsearch：rollup - 索引管理_Elastic-CSDN博客_elasticsearch rollup
汇总作业 （ rollup jobs）是一项定期任务，它将来自索引模式指定的索引中的数据进行汇总，然后将其汇总到新的索引中。 汇总索引是紧凑存储数月或数年历史数据以供可视化和报告使用的好方法。用到rollup的情况是我们有很多的历史数据，而且通常会比较大。通过使用 rollup 功能，我们可以把很多针对大量数据的统计变为针对经过 rollup...
View ArticleClik here to view.
MySQL/Oracle：让表的时间字段在insert和update时自动更新_xuejianbest的专栏-CSDN博客_updated => time...
让字段自动更新为当前时间戳：--insert时若不指定updated值，则插入当前时间CREATE TABLE `test_update` ( `id` int(32) NOT NULL, `updated` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT...
View ArticleClik here to view.
perf + 火焰图分析程序性能 - 刘志鹏的Blog - 博客园
1、perf命令简要介绍性能调优时，我们通常需要分析查找到程序百分比高的热点代码片段，这便需要使用 perf record 记录单个函数级别的统计信息，并使用 perf report 来显示统计结果；perf recordperf report举例：sudo perf record -e cpu-clock -g -p 2548-g 选项是告诉perf record额外记录函数的调用关系-e...
View ArticleClik here to view.
Mysql和Redis数据同步策略 - 元思 - 博客园
为什么对缓存只删除不更新不更新缓存是防止并发更新导致的数据不一致。 所以为了降低数据不一致的概率，不应该更新缓存，而是直接将其删除， 然后等待下次发生cache miss时再把数据库中的数据同步到缓存。先更新数据库还是先删除缓存?有两个选择： 1. 先删除缓存，再更新数据库2....
View ArticleClik here to view.
TCP CLOSE_WAIT 过多解决方案-Smurf Linux运维-51CTO博客
一、“多半是程序的原因”？这个还是交给程序猿吧二、linux 下 CLOSE_WAIT过多的解决方法情景描述：系统产生大量“Too many open files” 原因分析：在服务器与客户端通信过程中，因服务器发生了socket未关导致的closed_wait发生，致使监听port打开的句柄数到了1024个，且均处于close_wait的状态，最终造成配置的port被占满出现“Too many...
View ArticleClik here to view.
K8S故障排除方法 - 笃行之 - 博客园
1.查看pods哪些是有问题的，Runningg正常，其他异常； /opt/kubernetes/bin/kubectl get pods --all-namespaces -owide NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE default nginx-dbddb74b8-d78cd 1/1 Running 0...
View Article