很多人都对Java在批量数据的处理方面是否是其合适的场所持有怀疑的念头,由此延伸,那么就会认为ORM可能也不是非凡适合数据的批量处理。其实,我想假如我们应用得当的话,完全可以消除ORM批量处理性能问题这方面的顾虑。下面以Hibernate为例来做为说明,假如我们真的不得不在 Java中使用Hibernate来对数据进行批量处理的话。 向数据库插入100 000条数据,用Hibernate可能像这样:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
Customer customer = new Customer(.....);
session.save(customer); }
tx.commit();
session.close();
大概在运行到第50 000条的时候,
可能会出现内存溢出而失败。这是Hibernate把最近插入的Customer都以session-level cache在内存做缓存,我们不要忘记Hiberante并没有限制first-level cache 的缓存大小。
◆持久对象实例被治理在事务结束时,此时Hibernate与数据库同步任何已经发生变 化的被治理的的对象。
◆Session实现了异步write-behind,它答应Hibernate显式地写操作的批处理。 这里,我给出Hibernate如何实现批量插入的方法:
首先,我们设置一个合理的JDBC批处理大小,hibernate.jdbc.batch_size 20。 然后在一定间隔对Session进行flush()和clear()。
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
Customer customer = new Customer(.....);
session.save(customer);
if ( i % 20 == 0 ) {
//flush 插入数据和释放内存:
session.flush(); session.clear(); }
}
tx.commit();
session.close();
那么,关于怎样删除和更新数据呢?那好,在Hibernate2.1.6或者更后版本,scroll() 这个方法将是最好的途径:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
ScrollableResults customers = session.getNamedQuery("GetCustomers")
.scroll(ScrollMode.FORWARD_ONLY);
int count=0;
while ( customers.next() ) {
Customer customer = (Customer) customers.get(0);
customer.updateStuff(...);
if ( ++count % 20 == 0 ) {
//flush 更新数据和释放内存:
session.flush(); session.clear(); } }
tx.commit(); session.close();
这种做法并不困难,也不算不优雅。请注重,假如Customer启用了second-level caching ,我们仍然会有一些内存治理的问题。原因就是对于用户的每一次插入和更新,Hibernate在事务处理结束后不得不通告second-level cache 。因此,我们在批处理情况下将要禁用用户使用缓存。
分享到:
相关推荐
不建议用Hibernate,它的insert效率实在不搞,不过最新版本的Hibernate似乎已经在批量处理的时候做过优化了,设置一些参数如batch_size,不过性能我没有测试过
浅析遥感影像批量处理方法的实现
基于ArcGIS下CAD数据转换为GIS数据方法浅析.pdf
浅析数据挖掘的技术方法及应用.pdf
线阵列CCD航摄仪因其独特的优势,在测绘遥感领域的...本文总结了线阵列CCD航摄仪的成像机理,介绍了其基本处理方法,并以VirtuoZoADS软件对ADS40数据进行处理为例,介绍其数据处理流程以生产数字正射影像及数字高程模型。
浅析我国汽车数据本地化存储现状及建议.pdf浅析我国汽车数据本地化存储现状及建议.pdf浅析我国汽车数据本地化存储现状及建议.pdf浅析我国汽车数据本地化存储现状及建议.pdf浅析我国汽车数据本地化存储现状及建议.pdf...
浅析数据质量管理体系与方法--谈数据--石秀峰
#资源达人分享计划#
绍Hibernate的批量更新与删除
浅析数据统计中数据挖掘的方法及应用意义.pdf
浅析大数据时代的数字化转型如何实现数据的安全使用.pdf
浅析人力资源数据挖掘中的数据清理.pdf
本文所讲的雷达是调频连续波体制,雷达...利用MATLAB图形用户界面(GUI),动态显示并处理雷达输出的数据,使数据结果更加直观,有利于雷达数据的分析和雷达参数优化。同时叙述了GUI控制面板的常用控件,解释其程序编制方法。
浅析城市垃圾的处理方法.docx
google数据中心图片浅析,看看goole的数据中心怎么样
浅析提高企业统计数据质量的方法.pdf
#资源达人分享计划#
浅析数据挖掘在股票分析中的应用.pdf
浅析数据挖掘的主要方法和研究方向.pdf 浅析数据挖掘的主要方法和研究方向.pdf