Clik here to view.
Clik here to view.
利用ogg实现oracle到kafka的增量数据实时同步 | 伦少的博客
前言ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。 下面是我的源端和目标端的一些配置信息：-版本OGG版本ip别名源端OracleRelease 11.2.0.1.0Oracle GoldenGate 11.2.1.0.3 for Oracle on Linux...
View ArticleClik here to view.
Kafka参数影响及性能测试_tom_fans的博客-CSDN博客
Kafka提供了2个测试脚本，kafka-producer-perf-test.sh以及kafka-consumer-perf-test.sh, kafka参数非常多，有些使用默认即可，有些对性能影响极大，只有经过测试，你才能够对这些参数有直观的感觉。 下面我们先测试producer.先看看producer脚本怎么使用：[hdfs@namenode02 tmp]$...
View ArticleClik here to view.
Clik here to view.
关于Kafka broker IO的讨论 - huxihx - 博客园
Apache Kafka是大量使用磁盘和页缓存(page cache)的，特别是对page cache的应用被视为是Kafka实现高吞吐量的重要因素之一。实际场景中用户调整page cache的手段并不太多，更多的还是通过管理好broker端的IO来间接影响page cache从而实现高吞吐量。我们今天就来讨论一下broker端的各种IO操作。 开始之前，还是简单介绍一下page...
View ArticleClik here to view.
Oracle的时区问题 - 永春 - 博客园
总结DATE和 TIMESTAMP类型不支持时区转换。如果应用和Oracle的时区不一致，那么应该使用 TIMESTAMP WITH LOCAL TIME ZONE。 对于JDBC程序来说，JVM时区和用户时区保持一致就行了。如果应用和Oracle的时区不一致，而且需要保存时区信息，那么应该使用 TIMESTAMP WITH TIME ZONE。格式化日期时间字符串函数 TO_CHAR： 对于...
View ArticleClik here to view.
HBase如何合理设置客户端Write Buffer - 大圆那些事 - 博客园
作者: 大圆那些事| 转载请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2012/10/16/how-to-use-hbase-client-write-buffer.htmlHBase客户端API提供了Write...
View ArticleClik here to view.
HBase BulkLoad批量写入数据实战 - 哥不是小萝莉 - 博客园
1.概述在进行数据传输中，批量加载数据到HBase集群有多种方式，比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式，在导入数据的过程中，如果数据量过大，可能耗时会比较严重或者占用HBase集群资源较多（如磁盘IO、HBase Handler数等）。今天这篇博客笔者将为大家分享使用HBase...
View ArticleClik here to view.
HBase统计表行数(RowCount)的四种方法_Abysscarry的博客-CSDN博客
背景：对于其他数据存储系统来说，统计表的行数是再基本不过的操作了，一般实现都非常简单；但对于HBase这种key-value存储结构的列式数据库，统计 RowCount的方法却有好几种不同的花样，并且 执行效率差别巨大！下面来研究下吧~测试集群：HBase1.2.0 - CDH5.13.0 四台服务器注：以下4种方法效率依次提高一、hbase-shell的count命令这是最简单直接的操作，但是...
View ArticleClik here to view.
JHipster生成微服务架构的应用栈（一）- 准备工作 - 羽客 - 博客园
本系列文章演示如何用JHipster生成一个微服务架构风格的应用栈。 环境需求：安装好JHipster开发环境的CentOS 7.4（ 参考这里） 应用栈名称：appstack 认证微服务： uaa 业务微服务：microservice1 网关微服务：gateway 实体名：role 主机IP：192.168.220.120微服务体系规划本系列文章会说明如何生成uaa（即图中的JHipster...
View ArticleClik here to view.
Spring Cloud 不停机发布服务(0-downtime Blue/Green deployments) | 帆的博客
背景项目初期由于BUG和需求改动可能都会比较多，我们会很频繁的发布我们的应用。但是如果不进行处理，在升级的过程中会导致用户服务中断。...
View ArticleClik here to view.
Clik here to view.
Gitflow工作流程 - Jeffery-Zou - 博客园
在工作场合实施 Git的时候，有很多种工作流程可供选择，此时反而会让你手足无措。本文罗列了企业团队最常用的一些 git工作流程，包括Centralized Workflow、Feature Branch Workflow、Gitflow Workflow、Forking...
View ArticleClik here to view.
构建archetype发布到私服 - ronaldo918 - 博客园
由于项目需要，想自己建立骨架，便于大家在同一个骨架下开发，便决定自己写骨架并发布到maven仓库，写好后网上查了好多都发布不成功，反复多次终于成功，总结两个原因。1.pom文件的distributionManagement节点下的releases和snapshots节点id一定要和.m2/setting.xml中的server节点的id一样2.m2/setting.xml中的server节点的用户名...
View ArticleClik here to view.
Elasticsearch聚合 之 Terms 及准确性 - xingoo - 博客园
之前总结过metric聚合的内容，本篇来说一下bucket聚合的知识。Bucket可以理解为一个桶，他会遍历文档中的内容，凡是符合要求的就放入按照要求创建的桶中。本篇着重讲解的terms聚合，它是按照某个字段中的值来分类：比如性别有男、女，就会创建两个桶，分别存放男女的信息。默认会搜集doc_count的信息，即记录有多少男生，有多少女生，然后返回给客户端，这样就完成了一个terms得统计。Term...
View ArticleClik here to view.
Logstash处理json格式日志文件的三种方法_数据库_很多时候，你缺少的不是知识而是热情-CSDN博客
假设日志文件中的每一行记录格式为json的，如：{"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw","CreateTime":"2015/10/13...
View ArticleClik here to view.
Java 中使用 HttpClinet 工具详解 · 小豆丁个人博客
!版权声明：本博客内容均均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。http://www.mydlq.club/article/68/ 目录[-]系统环境：JDK 版本：1.8HttpClient 版本：5.0参考地址：Apache Httpclient 官方文档博文示例项目 Github 地址：...
View ArticleClik here to view.
Apache Kylin 概述 - XIAO的博客 - 博客园
1 Kylin是什么今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，这一问题已经变成了如何从海量的超大规模数据中快速获...
View ArticleClik here to view.
Kafka Shell基本命令（包括topic的增删改查） - XIAO的博客 - 博客园
转载请注明出处： http://www.cnblogs.com/xiaodf/创建kafka topic查看所有topic列表查看指定topic信息控制台向topic生产数据控制台消费topic的数据查看topic某分区偏移量最大（小）值增加topic分区数删除topic，慎用，只会删除zookeeper中的元数据，消息文件须手动删除查看topic消费进度创建kafka...
View ArticleClik here to view.
Elasticsearch：top_hits 聚合去重 aggregation - 三度 - 博客园
top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器，以便可以按存储分区汇总最匹配的文档。top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。选项：from-要获取的第一个结果的偏移量。size-每个存储桶要返回的最匹配匹配项的最大数目。...
View Article