mfkzhou
- 浏览: 61592 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
如何处理海量数据(转)
- 博客分类：
- 算法
在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：
一、数据量过大，数据中什么情况都可能存在。
如 果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理 ...
NoSQL数据库笔谈（转）
- 博客分类：
- NoSQL
databases , appdir , node , paper颜开 , v0.2 , 2010.2 1. 序 2. 思想篇 1. CAP 2. 最终一致性 1. 变体 3. BASE 4. 其他 1. I/O的五分钟法则 2. 不要删除数据 3. RAM是硬盘,硬盘是磁带 4. Amdahl定律和Gustafson定律 5. 万兆以太网 3. 手段篇 1. 一致性哈希 1. 亚马逊的现状 2. 算法的选择 2. Quorum NRW 3. Vector clock 4. Vi ...
8种Nosql数据库系统对比(转)
- 博客分类：
- NoSQL
导读：Kristóf Kovács 是一位软件架构师和咨询顾问，他最近发布了一片对比各种类型nosql数据库的文章。
虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能适应需求的情况不胜枚举。
但是NoSQL数据库之间的不同，远超过两 SQL数据库之间的差别。这意味着软件架构师更应该在项目开始时就选择好一个适合的 NoSQL数据库。针对这种情况，这里对 Cassandra、Mongodb、CouchDB、Redis、 Riak、Membase、Neo4j 和 H ...
我的俄罗斯名叫作“不折腾不舒服斯基”，所以，不将分区表好好折腾一下，我就是不舒服。
在前面，我们介绍过怎么样直接创建一个分区表，也介绍过怎么将一个普通表转换成一个分区表。那么，这两种方式创建的表有 ...
所谓天下大事，分久必合，合久必分，对于分区表而言也一样。前面我们介绍过如何删除（合并）分区表中的一个分区，下面我们介绍一下如何为分区表添加一个分区。
为分区表添加一个分区，这种情况是时常会 发 ...
在前面我们介绍过如何创建和使用一个分区表，并举了一个例子，将不 同年份的数据放在不同的物理分区表里。具体的分区方式为：
第1个小表：2010-1-1以前的数据（不包含2010-1-1）。
第2个小表：2010-1-1（包含2010-1-1）到2010-12-31之间的数据。
第3个小表：2011-1-1（包含2011-1-1）到2011-12-31之间的数据。
第4个小表：2012-1-1（包含2012-1-1）到2012-12-31之间的数据。
第5个小表：2013-1-1（包含2013-1-1）之后的数据。
...
在设计数据库时，经常没有考虑到表分区的问题，往往在数据表承重的负担越来越重时，才会考虑到分区方式，这时，就涉及到如何将普通表转换成分区表的问题了。
那么，如何将一个普通表转换成一个分区表 呢？说到底，只要将该表创建一个聚集索引，并在聚集索引上使用分区方案即可。
不过，这回说起来简单，做起来就复杂了一点。还是接着上面的例子，我们先使用以下SQL语句将原有的Sale表删除。
[c-sharp]view plaincopy
--删除原来的数据表
dr
如何添加、查询、修改分区表中的数据(转)
- 博客分类：
- sql
在创建完分区表后，可以向分区表中直接插入数据，而不用去管它这些数据放在哪个物理上的数据表中。接上篇文章，我们在创建好的分区表中插入几条数据：
</mce:script><mce:script
type="text/javascript"
src="http:// ...
SQL Server 2005中的分区表(转)
- 博客分类：
- sql
如果你的数据库中某一个表中的数据满足以下几个条件，那么你就要考虑创建分区表了。
1、数据库中某个表中的数据很多。很多是什么概念？一万条？两万条？还是十万条、一百万条？这个，我觉得是仁者见仁、智者 ...
JSON 基础(转)
- 博客分类：
- java
按照最简单的形式，可以用下面这样的 JSON 表示名称 / 值对： { "firstName": "Brett" } { "firstName": "Brett", "lastName":"McLaughlin", "email": "brett@newInstance.com" } { "people": [ { "firstName": "Brett", "la ...
获取客户端的真实IP地址(转)
- 博客分类：
- java
在很多应用下都可能有需要将用户的真实IP记录下来，这时就要获得用户的真实IP 地址，在JSP里，获取客户端的IP地址的方法是：request.getRemoteAddr()，这种方法在大部分情况下都是有效的。但是在通过了 Apache,Squid等反向代理软件就不能获取到客户端的真实IP地址了
获得客户端真实IP地址
public String getIpAddr(HttpServletRequestrequest) {
String ip = request.getHeader("x-forwarded-for");
if(ip == n ...
JVM系列五JVM监测&工具[整理中（转）
- 博客分类：
- java
前几篇篇文章介绍了介绍了JVM的参数设置并给出了一些生产环境的JVM参数配置参考方案。正如之前文章中提到的JVM参数的设置需要根据应用的特性来进 行设置，每个参数的设置都需要对JVM进行长时间的监测，并不断进行调整才 ...
java application项目（非web项目）
改进前：
-Xms128m -Xmx128m -XX:NewSize=64m -XX:PermSize=64m -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=78 -XX:ThreadStackSize=128 -Xloggc:logs/gc.log -Dsun.rmi.dgc.server.gcInterval=3600000 -Dsun.rmi.dgc.client.gcInterval=3600000 -Dsun.rmi.server.exceptionTra ...
JVM系列三JVM参数设置、分析
- 博客分类：
- java
不管是YGC还是Full GC,GC过程中都会对导致程序运行中中断,正确的选择不同的GC策略, 调整JVM、GC的参数，可以极大的减少由于GC工作，而导致的程序运行中断方面的问题，进而适当的提高Java程序的工作效率。但是调整GC是以个极为 复杂的过程，由于各个程序具备不同的特点，如：web和GUI程序就有很大区别（Web可以适当的停顿，但GUI停顿是客户无法接受的），而且由于跑在各 个机器上的配置不同（主要cup个数，内存不同），所以使用的GC种类也会不同(如何选择见GC种类及如何选择)。本文将注重介绍JVM、GC的一些重要参数的设置来提高系统的性能。
JVM内存组成及GC相关 ...
JVM系列二GC策略&内存申请、对象衰老
- 博客分类：
- java
JVM里的GC(Garbage Collection)的算法有很多种，如标记清除收集器，压缩收集器，分代收集器等等,详见HotSpot VM GC 的种类
现在比较常用的是分代收集（generational collection,也是SUN VM使用的,J2SE1.2之后引入），即将内存分为几个区域，将不同生命周期的对象放在不同区域里:young generation，tenured generation和permanet generation。绝大部分的objec被分配在young generation(生命周期短)，并且大部分的object在这里die。当young gen ...