sync.php
4.0 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
<?php
//error_reporting();
use Swoole\Process;
function start(){
// 删除停止运行的值
// redis()->delete(SYNC_RUNNING_REDIS_KEY,'email_sync_stop_num');
// 进程管理器
$pm = new Process\Manager();
// 启动业务进程
$pm->addBatch(10,function (Process\Pool $pool, int $worker_id){
swoole_set_process_name('php-email-sync-list-'.$worker_id);
include_once __DIR__."/../vendor/autoload.php";
_echo("业务进程({$worker_id})启动成功");
$goNum = 0;
$start_time = time();
// 循环阻塞
while (true){
// 每执行 12小时 就重启任务
if((time()-$start_time) > 43200){
if($goNum < 1 || (time()-$start_time) > 43300) break;
co::sleep(1);
continue;
}
if($goNum > 50){
co::sleep(0.5);
continue;
// break;
}
// 需要同步的id
$id = redis()->lPop('sync_email_lists');
if($id && is_numeric($id)){
// 占用当前的id,占用2小时
if(redis()->add('just_sync_'.$id,time(),600)){
// 启动一个协程
go(function () use ($id,&$goNum){
$goNum++;
try{
// 开始同步
$email = db()->cache(3600)->first(\Model\emailSql::first($id));
if($email){
$sync = new \Service\SyncMail($email);
$search = new \Lib\Imap\ImapSearch();
// 第一次同步 只同步当天的
if(!db()->cache(600)->count(\Model\listsSql::first('`id` > 0'))){
$sync->search($search->dateGt($email['created_at']));
}else{
// 是否是ai邮箱
if(db()->count("select count(*) from `hot_mail` where `email` = '{$email['email']}'")){
// ai邮件只同步2天内的
if(strtotime("-2 day") > strtotime($email['created_at'])){
$sync->search(
$search->dateGt(
date('Y-m-d',
strtotime("-2 day")
)
)
);
}else{
$sync->search(
$search->dateGt($email['created_at'])
);
}
}
}
$sync->sync();
$sync = null;
unset($sync);
}
}catch (Throwable $e){
logs('sync : '.$e->getMessage());
}
// 协程完成后执行的函数
co::defer(function () use ($id,&$goNum){
$goNum--;
// 30秒后 消除占用
redis()->expire('just_sync_'.$id,120);
// 写入日志
\Lib\Log::getInstance()->write();
});
});
}
}
//每次都暂停1秒,防止同一时间启动太多的任务
co::sleep(0.1);
}
},true);
// 启动管理器
$pm->start();
}
start();