扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
源代码如下: 1、线程类 package com.yjf.util; import java.util.Date; import java.util.List; public class GetWebThread extends Thread{ /** * 线程 */ public void run(){ try { while (true) { int day = 0; long time1 = new Date().getTime(); //用来同步抓取线程 synchronized("searchthead"){ Main.thisdaycount++; if(Main.thisdaycountMain.daycount){ break; } System.out.println("开始查询第"+(Main.thisdaycount)+"天"); Thread.sleep(133); day = Main.thisdaycount-1; } //获取抓取的时间 String datetext = TimeUtil.date.format(TimeUtil.addDaysForDate(day)); String[] txt =FileUtil.getCityByTxtFile(); for(int t=0;ttxt.length;t++){ String[] way = txt[t].split("\|"); String start = way[0]; String end = way[1]; //抓取到的数据列表 ListDataBean datalist = Main.getDataList(datetext, start, end); if(datalist!=null){ Main.isadsl = 0; CheckAdsl.adsllasttime = new Date().getTime(); FileUtil.addDataToFileCsv(datalist); Main.log.printLog("===="+datetext+"="+start+"="+end+"="+t+"=数据总数:"+datalist.size()); }else{ Thread.sleep(11); AdslThead.isadsl = true; Thread.sleep(11); //判断是否正在拨号 并暂停线程 while (AdslThead.isadsl) { Thread.sleep(5000); } t--; } } long time2 = new Date().getTime(); Main.log.printLog(datetext+"==查询完毕=========耗时"+(time2-time1)); } } catch (Exception e) { Main.log.printLog(e.getMessage()); e.printStackTrace(); } } } 第二步, 准备线程启动。 控制线程数量。 查询数据总天数。 设置拨号状态等。 2、线程启动类。 包括启动,控制,停止 package com.yjf.util; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.util.ArrayList; import java.util.Date; import java.util.List; import java.util.Properties; import java.util.Timer; public class Main { private static boolean isRunGrabThread = true; //抓取线程是否执行完毕 public static int threadCount = 3; //线程数量 public static int daycount = 30; //查询总天数 public static int thisdaycount = 0; public static int isadsl = 0; public static int adslcount = 1; public static void main(String[] args) { try { startThead();//启动抓取数据主线程 } catch (Exception e) { e.printStackTrace(); } } public static void startThead(){ Thread[] grabThreads= new Thread[threadCount]; try{ //开启-数据抓取子线程 for(int i=0;igrabThreads.length;i++){ Thread searchThread=new GetWebThread(); grabThreads[i] = searchThread; grabThreads[i].setDaemon(true); grabThreads[i].start(); } isRunGrabThread = true; //监控子线程,全部完成程序退出 WhileLoop: while(true){ //拨号策略控制 //reconnectControl(); //判断子线程是否运行完成 for(int i=0;ithreadCount;i++){ if(grabThreads[i].isAlive()){ Thread.sleep(3*1000); continue WhileLoop; } } //所有抓取线程执行完毕 isRunGrabThread = false; //子线程执行完毕则退出 break; } } catch (Exception e) { System.out.println("main主线程--系统异常!"); } } } 文章来源注明:
10多年专注成都网站制作,成都定制网页设计,个人网站制作服务,为大家分享网站制作知识、方案,网站设计流程、步骤,成功服务上千家企业。为您提供网站建设,网站制作,网页设计及定制高端网站建设服务,专注于成都定制网页设计,高端网页制作,对垃圾桶等多个行业,拥有多年的营销推广经验。
首先得弄清楚 你的插入是对同一数据库 还是不同数据库的操作数据量大的时候 是否要求即时性 是否牵扯到事物
本人推荐 做一个跑批程序 进行同步数据 这样能提高代码性能 以及程序性能 当然 你所说的瓶颈 无非就是大数据量对数据库的操作次数 以及海量数据造成程序效率的一个瓶颈 谢谢!
楼主用hibernate 所以说就不需要在手动管理connection的AutoCommit属性了。不用触发器的话,也好办,不过可能麻烦一点。
假设你已经做好了表list1和list2 到对象list1和list2的映射。list1和list2配置成一对一映射,list2的主键也是list1的外键,生成机制由list1负责。级联关系cascade属性设置为all,也就是对list1操作的时候hibernate会级联的操作它的附着物list2
那么在操作对象list1基础DAO中的曾删改查方法中,同时操作list2对象即可。
以增加操作为例:
比如 new出来一个list1对象,然后充填属性:
list1.setName("张三");
list1.setPwd("123456");
list1.getList2.setName(list1.getName());
list1.getList2.setpwd(list1.getPwd());
session.save(list1); //这里当持久化list1的时候,会级联把list2也持久了
提交transaction
关键问题还是配置,比较麻烦 容易出错。我对hibernate不是多了解,想的这个办法可能比较笨,应该还有好的办法来解决。等等高手来看看吧。
redis应该算是本地缓存,而mysql的话是数据库,你的意思应该是:怎么用java代码同步数据库中的数据到redis。如果是这种情况的话:目前项目中会用一个定时任务定时去读取数据库中的数据,然后放到redis,或者在项目初始化读取数据库然后再放到redis
在Java中一共有四种方法支持同步,其中前三个是同步方法,一个是管道方法。管道方法不建议使用。
wait()/notify()方法
await()/signal()方法
BlockingQueue阻塞队列方法
PipedInputStream/PipedOutputStream
阻塞队列的一个简单实现:
public class BlockingQueue {
private List queue = new LinkedList();
private int limit = 10;
public BlockingQueue(int limit){
this.limit = limit;
}
public synchronized void enqueue(Object item)throws InterruptedException {
while(this.queue.size() == this.limit) {
wait();
}
if(this.queue.size() == 0) {
notifyAll();
}
this.queue.add(item);
}
public synchronized Object dequeue() throws InterruptedException{
while(this.queue.size() == 0){
wait();
}
if(this.queue.size() == this.limit){
notifyAll();
}
return this.queue.remove(0);
}}
在enqueue和dequeue方法内部,只有队列的大小等于上限(limit)或者下限(0)时,才调用notifyAll方法。如果队列的大小既不等于上限,也不等于下限,任何线程调用enqueue或者dequeue方法时,都不会阻塞,都能够正常的往队列中添加或者移除元素。
wait()/notify()方法
生产者的主要作用是生成一定量的数据放到缓冲区中,然后重复此过程。与此同时,消费者也在缓冲区消耗这些数据。该问题的关键就是要保证生产者不会在缓冲区满时加入数据,消费者也不会在缓冲区中空时消耗数据。
要解决该问题,就必须让生产者在缓冲区满时休眠(要么干脆就放弃数据),等到下次消费者消耗缓冲区中的数据的时候,生产者才能被唤醒,开始往缓冲区添加数据。同样,也可以让消费者在缓冲区空时进入休眠,等到生产者往缓冲区添加数据之后,再唤醒消费者。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流