zlx19900228的博客
zlx19900228 · 共 15 篇文章
用sequence来避免出现thread dead lock
In other situations, like Listing 3's bank account example, applying the fixed-order rule grows even more complicated; you need to define a total ordering on the set of objects eligible for locking and use this ordering to choose the sequence of lock acquisition. This sounds messy, but is in fact s…
2011-09-30 13:56 · 个人笔记 · 评论(0)
Hbase个人笔记,乱
(1) 卖家导出订单部分: 卖家导出订单部分的表结构设计: Rowkey: seller_id+ gmt_create+ parent_id+biz_order_id Family:s quality:s value: 93个字段的String串,并且做gzip压缩。 Hbase中的参数设置: maxVersions:1 Blocksize:128*1024 CompressionType:lzo BloomFilterType: ROW 业务逻辑:is_main=1,is_detail=0则biz_order_id=0 卖家导出订单只会用到hbase的scan,所以先分析hbase的sca…
2011-09-22 17:26 · 个人笔记 · 评论(0)
java reference个人学习笔记
今天在看 blog 的时候学习到了 java reference 方面的知识,这些知识是个人的学习笔记,参考blog为: http://www.ibm.com/developerworks/cn/java/j-lo-langref/index.html?ca=drs-希望各位能拍砖,让我能了解到更深入的内容以及不足,感激 StrongReference : 我们知道,当你调用例如 String test = new String(“test”); (PS: 这里只是代码实例,千万不要这么写代码,因为这是 s tupid 的,会浪费内存空间 ) 的时候, test 在这里是 StrongRef…
2011-08-14 20:18 · 基础知识 · 评论(0)
JDBC驱动加载过程
以一段mysql jdbc加载的demo为例: String url ="jdbc:mysql://localhost:3306/jdbcana"; String username = "root"; String password = "root"; Connection con = DriverManager.getConnection(url, username, password); 首先, Connection con = DriverManager.getConnection(url, username, password) 这段代码会得到connection,跟进代码, pub…
2011-07-05 11:10 · 评论(0)
MapReduce为什么shuffle
mapreduce有一个shuffle过程,但是以前一直没有关注,也不清楚为什么有这样一个过程,今天在阅读Hadoop in Action的时候,看到了其中关于shuffle的介绍,结合自己的实际运用以及理解,明白了为什么需要shuffle,以wordcount为例,我们会将documentSet中的不同document放入不同的机器,即放入cluster中,当第一阶段处理完成,即这个cluster中的node完成对本身包含的document的处理之后(独立的),会把结果sendToSecondPhase,如果secondphase是单台机器,那么If the documents are a…
2011-06-23 16:49 · 评论(1)
Google group varint算法解析
在了解 group varint 算法之前,应该对 varint 有所了解。 What is varint? 根据 google http://code.google.com/apis/protocolbuffers/docs/encoding.html 的官方解释可以很清晰的了解到,它是一种用 1 个或多个字节序列化 integer 的一种方法, Smaller numbers take a smaller number of bytes. 传统的 integer 是以 32 位来表示的,存储需要 4 个字节,当如果整数大小在 256 以内,那么只需要用一个字节就可以存储这个整数,这样就可…
2011-05-25 21:45 · 评论(0)
HttpClient小实验
今天根据xmind上的学习计划,看了看httpclient,确实简化了很多以前通过urlconnection去获取资源的代码,而且特别好用,最近比较喜欢听歌,Google音乐确实是个不错的东西,音乐下载的品质很不错,还可以分专辑,不爽的一点就是不能批量下载,只能一个一个下载,吭爹呢,我一个一个下载不玩死我···所以用httpclient写了个小程序,只要进入一个google专辑页面,就可以把该专辑对应的音乐全部下载下来,感觉比较好玩,呵呵,代码是小试验代码,所以什么设计模式啊之类的基本没怎么用,而且是单线程下载,还有很多改进的地方,欢迎各位拍砖。
2011-05-11 18:54 · 评论(0)
BloomFilter解析
BloomFilter 是用位数组来表示一个集合,例如{s1,s2,s3,s4}那么现在保持的时候,就是用一个m位的位数组来表示该集合,存放的时候是对该集合中的一个元素做k次hash运算,运算结果是位数组下标,然后拿到该下标,将该下标对应的值设为1,要判断一个元素是否在这个集合中,也是通过对这个元素做k次hash运算,拿到数组下标,判断对应下标是否为1,如果不为1,那么肯定不包含在该集合中,如果为1,那么有可能包含在次集合中,不排除误差影响。 以java代码为例,比如你生产一个BitSet,add数据的时候,通过一个getIndex函数来得到相应的集合元素中对应的key的hash函数值,存入…
2011-04-26 20:21 · 评论(0)
Hbase Client端分析
原创文章,请各位多多指导,有错误希望各位能及时告诉我,感激不尽~ 1. 不管客户端官方实现是采用processBatchOfRows,还是processBatchOfDeletes这种批量添加,删除,最终插入,删除的核心还是还是getRegionServerWithRetries方法,批量添加,删除还是 a) 批量操作: 生产Map<HServerAddress, MultiAction>,拿到传入的row list,即worklist,这里的rowlist就是缓存中的操作,然后通过row,定位regionlocation,然后得到HserverAddress,然后一个address与mul…
2011-04-26 20:14 · 评论(0)
Hbase路由代码分析
原创文章,请各位多多指导,有错误希望各位能及时告诉我,感激不尽~ (1) 前面我们说了,locateRegion这个函数会根据tablename,rowkey,usercache,来定位data放在哪个reginserver上,那么具体是如何定位的呢?阅读源码,一行一行的仔细来看:(PS:Hbase的很多参数可以在Hconstants类中找到) a) 首先会检查与zookeeper的链接是否close了,如果close了,那么就会抛出throw new IOException(toString() + " closed");异常,接下来判断传入的tablename,参数是否有误,以及抛出相应…
2011-04-26 20:02 · 评论(0)
Hbase Put源码解析
原创文章,请各位多多指导,有错误希望各位能及时告诉我,感激不尽~ (1) Put put = new Put(key);首先会构造put对象,以传入的rowkey,如果未传入时间戳,那么就会默认为null,接下来就会判断是否传入的控制hbase事务的rowlock,如果传入的rowlock不为空,那么就拿到lockId,赋值给当前lockid. (2) 接下来调用put.add(cfbt,columnKey,columnValue);它会先从familyMap中根据family转化成的byte数组,拿出List ,如果为null,(第一次插入相关cf数据),会新建一个list,接下来会根据f…
2011-04-26 19:58 · 评论(1)
个人用java动态代理模拟实现spring aop
这是我用java动态代理实现的动态代理机制,用dom4j读取xml文件。 proxyconfig.xml文件的配置如下: 用静态方法读取其中内容,然后生成响应代理程序,其中为什么叫动态代理,因为其中只用一个类实现了invocationhandler,然后再传入相应的useraction,这个useraction中封装了用户操作,现在就实现了只用修改配置文件,就可以改变相应的实现了。 读取xml文档的类为LoadProxyConfig。 业务逻辑处理封装接口Test。 业务逻辑实现类TestImpl。 代理类ProxyHander 这只是小子自己对动态代理以及用dom4j读取xml用来练手的t…
2010-12-15 21:23 · 评论(0)
个人对pushlet框架使用感悟
这段时间学校没什么事情,公司的项目也暂时告一段落,于是对WEB QQ很感兴趣,上网搜索了下comet框架,发现pushlet比较好,于是开始着手研究pushlet框架,一开始,只会用它的sources.properties里面定义好的事件管理器来处理我的事件,后来发现这样不行啊,比如说聊天室的一个用户的聊天内容我要得到,并且放入数据库,用它的默认时间处理器就没办法了,于是上网找资料~~~~找啊找,找了好久,发现可以自己继承EventPullSource类或者实现EventSource接口,一开始我试验的是继承,但是发现只能广播时间,无法得到用户发来的事件的参数,这让我很纠结啊···没办法,那…
2010-06-11 15:17 · 评论(0)
不知道哪位大侠可以告诉我在pushlet中,怎么获得前台传给event的值
比如小弟调用了p_publish('/test','sendOne',"11"));,然后传递给了服务端 public class ServerMain extends EventPullSource{ protected long getSleepTime() { return 3000; } protected Event pullEvent() { System.out.println(envent.getField("sendOne")); return envent; } }但是一直是空指针,也就是拿不到envent.getField("sendOne")的值,我想请问各位大侠告诉…
2010-06-05 23:46 · 评论(0)