Merge branch 'aj_national_data'

services/national_data/national_data.go

@@ -38,7 +38,7 @@ func RefreshNationalDbs(cont context.Context) (err error) {
 // RefreshNationalMonthDbA 刷新月度指标库
 func RefreshNationalMonthDbA(cont context.Context) (err error) {
 	utils.FileLog.Info("统计局-开始同步月度指标库A")
-	if err = SelectSyncFunc([]string{"hgyd", "csyd", "gatyd", "gjyd", "gjydsdj", "gjydsc"}); err != nil {
+	if err = SelectSyncFunc([]string{"hgyd", "csyd", "gatyd", "gjyd", "gjydsdj", "gjydsc", "fsyd"}); err != nil {
 		utils.FileLog.Info("统计局-同步月度指标库A失败")
 		return
 	}
@@ -202,7 +202,7 @@ func SyncXDateYQuotaData(classifyId int, dbCode, classifyCode string) (err error
 		//	err = fmt.Errorf("查询数据失败, Err: %s", e.Error())
 		//	return
 		//}
-		// 连接失败重新尝试3次
+		// 连接失败重新尝试1次
 		for {
 			time.Sleep(2 * time.Minute)
 			attempt += 1
@@ -211,7 +211,7 @@ func SyncXDateYQuotaData(classifyId int, dbCode, classifyCode string) (err error
 			if e == nil {
 				break
 			}
-			if attempt >= 3 {
+			if attempt >= 1 {
 				s, _ := json.Marshal(dataReq)
 				err = fmt.Errorf("查询数据重试失败, DataReq: %s", s)
 				return
@@ -406,7 +406,7 @@ func SyncXDateYQuotaZRegData(classifyId int, dbCode, classifyCode string, regLis
 			//	err = fmt.Errorf("查询数据失败, Err: %s", e.Error())
 			//	return
 			//}
-			// 连接失败重新尝试3次
+			// 连接失败重新尝试1次
 			for {
 				time.Sleep(2 * time.Minute)
 				attempt += 1
@@ -415,7 +415,7 @@ func SyncXDateYQuotaZRegData(classifyId int, dbCode, classifyCode string, regLis
 				if e == nil {
 					break
 				}
-				if attempt >= 3 {
+				if attempt >= 1 {
 					s, _ := json.Marshal(dataReq)
 					err = fmt.Errorf("查询数据重试失败, DataReq: %s", s)
 					return
@@ -639,7 +639,7 @@ func SyncXRegYDateZQuotaDbData(classifyId int, dbCode, classifyCode string) (err
 			//	err = fmt.Errorf("查询数据失败, Err: %s", e.Error())
 			//	return
 			//}
-			// 连接失败重新尝试3次
+			// 连接失败重新尝试1次
 			for {
 				time.Sleep(2 * time.Minute)
 				attempt += 1
@@ -648,7 +648,7 @@ func SyncXRegYDateZQuotaDbData(classifyId int, dbCode, classifyCode string) (err
 				if e == nil {
 					break
 				}
-				if attempt >= 3 {
+				if attempt >= 1 {
 					s, _ := json.Marshal(dataReq)
 					err = fmt.Errorf("查询数据重试失败, DataReq: %s", s)
 					return

services/task.go

@@ -16,11 +16,11 @@ func Task() {
 	syncEiaSteoData := task.NewTask("SyncEiaSteoData", "0 0 22 * * *", SyncEiaSteoData)
 
 	// 统计局-分月季年爬
-	refreshNationalMonthA := task.NewTask("RefreshNationalMonthDbA", "0 15 2 8 * *", national_data.RefreshNationalMonthDbA)
-	refreshNationalMonthB := task.NewTask("RefreshNationalMonthDbB", "0 15 2 16 * *", national_data.RefreshNationalMonthDbB)
-	refreshNationalQuarter := task.NewTask("RefreshNationalQuarterDb", "0 25 1 15 1,4,7,10 *", national_data.RefreshNationalQuarterDb)
-	refreshNationalYearA := task.NewTask("RefreshNationalYearDbA", "0 45 1 13 2 *", national_data.RefreshNationalYearDbA)
-	refreshNationalYearB := task.NewTask("RefreshNationalYearDbB", "0 45 1 26 2 *", national_data.RefreshNationalYearDbB)
+	refreshNationalMonthA := task.NewTask("RefreshNationalMonthDbA", "0 15 2 10 * *", national_data.RefreshNationalMonthDbA)
+	//refreshNationalMonthB := task.NewTask("RefreshNationalMonthDbB", "0 15 2 16 * *", national_data.RefreshNationalMonthDbB)
+	refreshNationalQuarter := task.NewTask("RefreshNationalQuarterDb", "0 25 1 15 * *", national_data.RefreshNationalQuarterDb)
+	refreshNationalYearA := task.NewTask("RefreshNationalYearDbA", "0 45 1 20 * *", national_data.RefreshNationalYearDbA)
+	refreshNationalYearB := task.NewTask("RefreshNationalYearDbB", "0 45 1 25 * *", national_data.RefreshNationalYearDbB)
 
 	task.AddTask("数据爬取", refreshData)
 	task.AddTask("欧洲天然气爬取", refreshEic)
@@ -28,11 +28,11 @@ func Task() {
 	task.AddTask("谷歌出行指数爬取", refreshVisitors)
 	task.AddTask("eia steo报告", syncEiaSteoData) //每天22点爬一次
 
-	task.AddTask("统计局数据爬取-月度A", refreshNationalMonthA) // 每月8号2:15执行
-	task.AddTask("统计局数据爬取-月度B", refreshNationalMonthB) // 每月16号2:15执行
-	task.AddTask("统计局数据爬取-季度", refreshNationalQuarter) // 每年1/4/7/10月15日1:25执行
-	task.AddTask("统计局数据爬取-年度A", refreshNationalYearA)  // 每年2月13日1:45执行
-	task.AddTask("统计局数据爬取-年度B", refreshNationalYearB)  // 每年2月26日1:45执行
+	task.AddTask("统计局数据爬取-月度A", refreshNationalMonthA) // 每月10号2:15执行
+	//task.AddTask("统计局数据爬取-月度B", refreshNationalMonthB) // 每月16号2:15执行
+	task.AddTask("统计局数据爬取-季度", refreshNationalQuarter) // 每月15号1:25执行
+	task.AddTask("统计局数据爬取-年度A", refreshNationalYearA)  // 每月20日1:45执行
+	task.AddTask("统计局数据爬取-年度B", refreshNationalYearB)  // 每月25日1:45执行
 
 	task.StartTask()
 	//FileCoalJsm()