mgoann
mgoann · 共 85 篇文章
JDBC当中的批处理
JDBC当中的批处理 在对数据库进行批量操作时,应分析操作的前后相关性,如果属于大批量的操作,而且前续操作的结果不依赖与后继操作,则完全可以使用批处理来操作DB。 使用批处理的优点: 1. 多个SQL语句的执行,共用一个Connection资源。在对数据库操作时,connection资源是很宝贵的,数据库的维护从某种角度来说,就是减少数据库的连接数,减轻对DB的压力。创建一个数据连接要远远比使用数据库连接消耗资源。这也正是数据库连接池存在的意义。 2. 批处理在效率上总是比逐条处理有优势,要处理的数据的记录条数越大,批处理的优势越明显。在处理大批量相同业务逻辑的DB操作可以使用批处理达到简化…
2010-06-20 14:33 · Java · 评论(0)
大批量工具的思考
大批量工具的思考 大批量工具的思考:大批量处理工具,适用于数据量大,业务处理对时间要求不高等特点。 往往这种工具对性能的要求比较高,怎样才能设置出满足性能要求的工具成功该类工具成败的一个关键点。在这里提出俩个概念:批量和并发 并发: 并发对于有效的利用系统资源有较好的表现,并发带来的好处,多个任务同时执行,并发带来性能上的提升外,也会引入一些的新的问题,应用引入复杂性,使得维护成本更高,并发引入资源竞争的问题,多个业务处理作业会对共享资源造成较大的资源竞争,影响的应用的最大效率发挥。 批量: 批量的原理其实就是通过提高其吞吐量来使应用在最小消耗的情况下,完成最多的工作。批量需要注意的几点是:…
2010-06-20 14:32 · Java · 评论(0)
AWK高级应用
AWK高级应用 在进行数据割接时,需要对其导出脚本的日志文件进行统计分析以便核对是否有数据没有导出的情况!该日志文件的格式都是固定的,可以使用脚本来完成统计分析,而且脚本很灵活小巧。 因为其复杂的语法和不明确的错误提示,造成awk的使用者进而远之,awk整体上比较难掌握。Awk是一种自解释的编程语言。而awk强大的文本处理功能正好能够胜任该工作。如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务。它在文本浏览和数据的熟练使用上性能优异。 Awk的特性网上有很多资料,大家可以参考一下。本次所运用的awk的特性有: Awk数组、printf修饰符、内置字符串函数、awk…
2010-06-20 14:31 · shell · 评论(0)
Unicode、GBK、UTF-8、ASCII的编码简介
Unicode、GBK、UTF-8、ASCII的编码简介 Java当中的编码,一直对java中的编码有些模糊,由于现网的一个中文乱码的问题,让我好好将java中的编码研究了一番,不敢独享拿出来show一下。 都说java中的编码是Unicode,可以做到平台无关性,可是做java项目一年多了,根本没有见过Unicode编码格式是什么样子的,只使用过GBK,UTF-8,GB2312。下面是先来介绍下Unicode编码。 Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112(16^4 * 17…
2010-06-20 14:30 · Java · 评论(0)
通过TCP码流识别编码
前几天和北京的MM在联调时候出现一个问题,下面就简述下整个问题的定位过程,其中有很多思想还是对定位问题很有帮助的。 问题是这样的,我们是服务器,而MM那边是使用客户端手机进行交互,而双方约定好使用utf-8来编解码。但是在联调过程中,在解析中文时出现了乱码(?)所以经过初步判断可以认定是MM那边上送了GBK编码的中文,而服务端这边使用了UTF-8编码来解码,那自然出现乱码?(注意GBK编码的中文,使用UTF-8来解码时,通常会出现?,通过这个表面现象也可以初步判断一定问题)。而客户端的MM非常肯定的说上送的UTF-8编码的中文。完全有一种不到黄河心不死的感觉!没办法,看来得使用一些手段让MM…
2010-06-20 14:29 · 协议 · 评论(0)
MM2协议简介
MM2协议简介 MM2协议简介 MM2协议采用TCP协议承载,二进制编码格式。除握手消息和心跳消息外,其它消息结构分为MM2协议头部和业务消息体两部分。 1、MM2消息头定义为定长字段,字段定义固定总长度为(28个字节)。包括: Length:消息总长度(4个字节) MessageType:消息类型(4个字节) SourceModuleType:源模块类型(2个字节) SourceModuleID:源模块ID(2个字节) SourceManagerType:源Manager类型(2个字节) SourceManagerID:源ManagerID(2个字节) TargetModuleType:目…
2010-02-04 13:47 · 协议 · 评论(0)
java中乱码问题解决方法
通过TCP码流识别编码 前几天和北京的MM在联调时候出现一个问题,下面就简述下整个问题的定位过程,其中有很多思想还是对定位问题很有帮助的。 问题是这样的,我们是服务器,而MM那边是使用客户端手机进行交互,而双方约定好使用utf-8来编解码。但是在联调过程中,在解析中文时出现了乱码(?)所以经过初步判断可以认定是MM那边上送了GBK编码的中文,而服务端这边使用了UTF-8编码来解码,那自然出现乱码?(注意GBK编码的中文,使用UTF-8来解码时,通常会出现?,通过这个表面现象也可以初步判断一定问题)。而客户端的MM非常肯定的说上送的UTF-8编码的中文。完全有一种不到黄河心不死的感觉!没办法,…
2010-02-04 13:01 · Java · 评论(0)
java中的编码简介
Unicode、GBK、UTF-8、ASCII的编码简介 Java当中的编码,一直对java中的编码有些模糊,由于现网的一个中文乱码的问题,让我好好将java中的编码研究了一番,不敢独享拿出来show一下。 都说java中的编码是Unicode,可以做到平台无关性,可是做java项目一年多了,根本没有见过Unicode编码格式是什么样子的,只使用过GBK,UTF-8,GB2312。下面是先来介绍下Unicode编码。 Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112(16^4 * 17…
2010-01-16 16:48 · Java · 评论(0)
AWK高级应用
AWK高级应用 在进行数据割接时,需要对其导出脚本的日志文件进行统计分析以便核对是否有数据没有导出的情况!该日志文件的格式都是固定的,可以使用脚本来完成统计分析,而且脚本很灵活小巧。 因为其复杂的语法和不明确的错误提示,造成awk的使用者进而远之,awk整体上比较难掌握。Awk是一种自解释的编程语言。而awk强大的文本处理功能正好能够胜任该工作。如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务。它在文本浏览和数据的熟练使用上性能优异。 Awk的特性网上有很多资料,大家可以参考一下。本次所运用的awk的特性有: Awk数组、printf修饰符、内置字符串函数、awk…
2010-01-15 19:55 · shell · 评论(0)
大批量工具的思考
大批量工具的思考 大批量工具的思考:大批量处理工具,适用于数据量大,业务处理对时间要求不高等特点。 往往这种工具对性能的要求比较高,怎样才能设置出满足性能要求的工具成功该类工具成败的一个关键点。在这里提出俩个概念:批量和并发 并发: 并发对于有效的利用系统资源有较好的表现,并发带来的好处,多个任务同时执行,并发带来性能上的提升外,也会引入一些的新的问题,应用引入复杂性,使得维护成本更高,并发引入资源竞争的问题,多个业务处理作业会对共享资源造成较大的资源竞争,影响的应用的最大效率发挥。 批量: 批量的原理其实就是通过提高其吞吐量来使应用在最小消耗的情况下,完成最多的工作。批量需要注意的几点是:…
2010-01-15 19:51 · Java · 评论(0)
java当中的批处理
在对数据库进行批量操作时,应分析操作的前后相关性,如果属于大批量的操作,而且前续操作的结果不依赖与后继操作,则完全可以使用批处理来操作DB。 使用批处理的优点: 1. 多个SQL语句的执行,共用一个Connection资源。在对数据库操作时,connection资源是很宝贵的,数据库的维护从某种角度来说,就是减少数据库的连接数,减轻对DB的压力。创建一个数据连接要远远比使用数据库连接消耗资源。这也正是数据库连接池存在的意义。 public void updateStateBactch(List elms) { Connection conn = null; PreparedStatement…
2010-01-15 19:44 · Java · 评论(0)
统计TCP连接数和状态
使用AWK工具统计连接信息!在使用netstat命令时,我们统计的是该机器上的所有连接。在应用调优和压力测试时,往往我们关心的该应用在某些端口上连接数,以及这些连接数的状态! 最初我使用的命令很简单比如说想要统计8080端口上有多少个TCP连接,命令:echo “TCP : “`netstat –nat | grep 8080 | wc –l`,所有TCP中有多少个连接状态是ESTABLISHED,命令:echo “TCP ESTABLISHED:”`netstat –nat | grep 8080 | grep ESTABLISHED| wc -l`,所有TCP连接中有多少个连接状态是CL…
2010-01-15 19:36 · shell · 评论(0)
接口模块的定义
1 作为接口模块,必须要在设计时仔细逐一分析消息的类型。包括:优先级、对处理时延的要求(异步消息还是同步消息)、消息并发量。 对于关键的同步消息,必须要走快车道。保证处理快速准确。 对于异步的非关键消息,可以起单独的线程处理,不能影响正常的业务处理。流量上也要做好控制,不能对系统的内部模块造成冲击。 2 流量控制上,必须要有预警及控制功能。流量超时设计容量时,要能干预。 3 消息的超时控制必须要做好。 4 作为接口模块,要有完善的日志记录功能。当出现问题时,能够通过日志来定位到底是BOSS外部系统还是自身模块的问题。日志级别记录规则、日志动态控制等必须作为一个需求点来重点描述。
2010-01-15 19:34 · Java · 评论(1)