Clik here to view.
基于Spark自动扩展scikit-learn (spark-sklearn) - CSDN博客
1、基于Spark自动扩展scikit-learn(spark-sklearn)1.1 导论Spark MLlib 将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位，在集群上分布式的计算每个样本的梯度值，然后再对每个样本的梯度进行聚合操作等。在Spark...
View ArticleClik here to view.
java操作pdf制作电子签章 - CSDN博客
java操作pdf制作电子签章电子签章简介电子签章，与我们所使用的数字证书一样，是用来做为身份验证的一种手段，泛指所有以电子形式存在，依附在电子文件并与其逻辑关联，可用以辨识电子文件签署者身份，保证文件的完整性，并表示签署者同意电子文件所陈述事实的内容。一般来说，对电子签章的认定，都是从技术角度而言的。主要是指通过特定的技术方案来鉴别当事人的身份及确保交易资料内容不被篡改的安全保障措施。从广义上讲，...
View ArticleClik here to view.
docker - 从安装到部署一个web应用(go、java) - CSDN博客
说明: 1.权限是root，不是则先提升权限一:安装docker1. https://docs.docker.com/engine/installation/binaries/下载docker最新版二进制tar.gzlinux下: wget https://get.docker.com/builds/Darwin/x86_64/docker-1.11.0.tgz2.丢到 $path中mv...
View ArticleClik here to view.
使用shell通过微信公众号发送模板消息 - CSDN博客
如下通过shell脚本实现，通过微信公众号发送模板消息到个人微信号。1.配置微信公众号由于没有认证的公众号，只能通过自己申请的个人订阅号（可以自行申请），并到开发者工具中开通公众平台测试帐号实现该功能。 1.获取测试公众号appID和appsecret*2.关注测试号二维码获取用户openid3.新增模板获取模板ID得到模板id：...
View ArticleClik here to view.
redis实现高并发下的抢购/秒杀功能 - 周伯通的麦田 - 博客园
之前写过一篇文章， 高并发的解决思路(点此进入查看),今天再次抽空整理下实际场景中的具体代码逻辑实现吧： 抢购/秒杀是如今很常见的一个应用场景，那么高并发竞争下如何解决超抢(或超卖库存不足为负数的问题)呢？常规写法：查询出对应商品的库存，看是否大于0，然后执行生成订单等操作，但是在判断库存是否大于0处，如果在高并发下就会有问题，导致库存量出现负数这里我就只谈redis的解决方案吧......
View ArticleClik here to view.
【原创】纯干货，Spring-data-jpa详解，全方位介绍。 - 神一样的存在 - 博客园
本篇进行Spring-data-jpa的介绍，几乎涵盖该框架的所有方面，在日常的开发当中，基本上能满足所有需求。这里不讲解JPA和Spring-data-jpa单独使用，所有的内容都是在和Spring整合的环境中实现。如果需要了解该框架的入门，百度一下，很多入门的介绍。在这篇文章的接下来一篇，会有一个系列来讲解mybatis，这个系列从mybatis的入门开始，到基本使用，和spring整合，和第三...
View ArticleClik here to view.
Hi3515移动侦测技术的设计与实现 - CSDN博客
一、MD（移动侦测）： 移动侦测是检测正在视频编码的图像是 否发生亮度变化以及相应的运动向量。移动侦测通道就是视频编码通道，最大支持运动侦测路数与编码路数相同。 Hi3520/Hi3515 提供的移动侦测功能以宏块为最小单位，计算指定图像的宏块在指定图像间隔内的亮度变化和运动向量。如需要获取移动侦测的结果，则启用某一视频编码通道的移动侦测功能。移动侦测的结果包括 宏块...
View ArticleClik here to view.
SpringMVC 限流 - CSDN博客
在使用 SpringBoot做接口访问如何做接口的限流，这里我们可以使用google的Guava包来实现，当然我们也可以自己实现限流，Guava中的限流是久经考验的我们没必需重新再去写一个，如果想了解限流原理的同学可以自己查阅一下相关的资料，本文不作过来说明噢。使用说明在项目中引入...
View ArticleClik here to view.
YARN动态资源池配置案例_Alex_新浪博客
CDH作为统一的企业级数据中心，往往是一个多租户的应用环境。在该环境中，不同用户会同时使用集群资源。如何保证用户数据不被任意篡改？如何保证任务的权限控制 (例如用户A不能任性地取消用户B的任务)？如何确保用户资源使用不超过他们的配额？ 1. 开启HDFS权限检查 (默认是开启的)"Check HDFS Permissions"选中2. 在集群中创建新用户，以cloudera-dev为例 #...
View ArticleClik here to view.
YARN动态资源池使用配置 - CSDN博客
动态资源池是用来做资源配置和调度策略管理，动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候，如果我们同时提交大量的Oozie任务，Oozie任务在启动launch的时候是需要占用资源的，可能就会导致资源占满而使后续的Pig任务无法执行...
View ArticleClik here to view.
Spring中实现多数据源事务管理 - CSDN博客
前言由于项目中引入了多个数据源，并且需要对多个数据源进行写操作，那么多数据源的事务管理自然成了不可避免的问题，这也让我对 @Transactional注解有了进一步的理解（但实际上也并不是非常深入）然而这是一个演进的过程，刚开始项目中并没有使用 @Transactional指定具体的...
View ArticleClik here to view.
集成基于CAS协议的单点登陆 - loveis715 - 博客园
相信大家对单点登陆（SSO，Single Sign On）这个名词并不感到陌生吧？简单地说，单点登陆允许多个应用使用同一个登陆服务。一旦一个用户登陆了一个支持单点登陆的应用，那么在进入其它使用同一单点登陆服务的应用时就不再需要重新登陆了。而CAS协议则正是各单点登陆产品所需要实现的协议，其全称为Central Authentication Service。...
View ArticleClik here to view.
网络嗅探工具的原理 sniffer&wireshark - CSDN博客
今天突然想到这个问题：wireshark之所以能抓到其它主机的包，是因为共享式以太网；那么现在的交换式以太网怎么使用wireshark？在网上看了一些资料，整理了下面这篇文章Sniffer（嗅探器）是一种常用的收集有用数据方法，这些数据可以是用户的帐号和密码，可以是一些商用机密数据等等。Snifffer可以作为能够捕获网络报文的设备,ISS为Sniffer这样定义：Sniffer是利用计算机的网络接...
View ArticleClik here to view.
Hive集成HBase详解 - MOBIN - 博客园
摘要Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景1. 将ETL操作的数据存入HBase2. HBase作为Hive的数据源3. 构建低延时的数据仓库 使用1. 从Hive中创建HBase表使用HQL语句创建一个指向HBase的Hive表CREATE TABLE hbase_table_1(key int,...
View ArticleClik here to view.
eBay Elasticsearch性能优化实践 - CSDN博客
原文： eBay网Elasticsearch性能优化实践作者： Pei Wang翻译：无阻我飞扬摘要：Elasticsearch是基于Apache...
View ArticleClik here to view.
sky walking 监听程序的性能开源项目 - 不忘初心，方得始终。 - ITeye博客
apm (Application Performance Managment :应用性能管理)简写，业界有很多成熟的收费工具，听云、OneAPM等。当然也有开源的apm，git地址：...
View ArticleClik here to view.
索引表和ES的一点点思考 - CSDN博客
索引表设计在电商项目中，物理库存系统是个极其重要的系统，订单支付后，就会开始来占用物理库存。一般情况下，库存系统都是要分库的，因为主要的操作是写操作，例如占用/释放/取消等写操作。使用分库可以降低数据库写的压力。尽管写操作为主，但是读操作也是有的。比如说，库存占用的时候，得先查询是否有库存，而这个查询操作并不都会带上分库因子(用于路由到具体的某个数据库)，而是一些比较宽松的查询条件，这些查询条件对应...
View ArticleClik here to view.
FastText 文本分类使用心得 - CSDN博客
最近在一个项目里使用了fasttext[1]， 这是facebook今年开源的一个词向量与文本分类工具，在学术上没有什么创新点，但是好处就是模型简单，训练速度又非常快。我在最近的一个项目里尝试了一下，发现用起来真的很顺手，做出来的结果也可以达到上线使用的标准。其实fasttext使用的模型与word2vec的模型在结构上是一样的，拿cbow来说，不同的只是在于word2vec...
View ArticleClik here to view.
NLP︱高级词向量表达（二）——FastText（简述、学习笔记） - CSDN博客
FastText是Facebook开发的一款快速文本分类器，提供简单而高效的文本分类和表征学习的方法，不过这个项目其实是有两部分组成的，一部分是这篇文章介绍的 fastText 文本分类（paper： A. Joulin, E. Grave, P. Bojanowski, T. Mikolov, Bag of Tricks for Efficient Text...
View ArticleClik here to view.
能不用事务就尽量别用 - CSDN博客
概述以前在公司里，有个牛人对俺说：事务就是个垃圾，能不用就尽量不用。当时我刚从传统行业切换到互联网行业，对这个牛人说的这句话是嗤之以鼻的，怎么可能不用事务呢？后来随着开发了多个高并发应用后，才知道这个牛人说的是对的。下面说两个亲身经历的案例来说明这个问题。库存扣减接口(写事务)当时我们有个业务，在购物车阶段的时候，就开始占用库存了，这个库存占用接口的流量非常大。当时我开发完这个接口后，测试人员的压测...
View Article