데이터베이스 정리 워크플로우 database-cleanup-workflow

삭제할 목록은 다음 SQL 쿼리를 사용하여 복구됩니다.

SELECT iGroupId, sLabel, iType FROM NmsGroup WHERE iDeleteStatus <> 0 OR tsExpirationDate <= GetDate()

각 목록에는 다른 테이블에 대한 여러 링크가 있습니다. 이러한 모든 링크는 다음 쿼리를 사용하여 일괄적으로 삭제됩니다.

DELETE FROM $(relatedTable) WHERE iGroupId=$(l) IN (SELECT iGroupId FROM $(relatedTable) WHERE iGroupId=$(l) LIMIT 5000)

위치 $(relatedTable) 은(는) 관련 테이블입니다. Nms 그룹 및 $(l) 는 목록 식별자입니다.

목록이 '목록' 유형 목록인 경우 다음 쿼리를 사용하여 관련 테이블이 삭제됩니다.

DROP TABLE grp$(l)

매 선택 작업에 의해 복구된 유형 목록은 다음 쿼리를 사용하여 삭제됩니다.

DELETE FROM NmsGroup WHERE iGroupId=$(l)

위치 $(l) 목록 식별자입니다.

다음 Database cleanup 워크플로우는 다음 대상이 되는 모든 게재를 선택합니다 deleteStatus 필드에 값이 있음 Yes 또는 Recycled 및 의 삭제 날짜가 다음에 정의된 기간 이전인 경우 Deleted deliveries (NmsCleanup_RecycedDeliveryPurgeDelay) 배포 마법사의 필드입니다. 자세한 내용은 다음을 참조하십시오. 배포 마법사. 이 기간은 현재 서버 날짜를 기준으로 계산됩니다.

각 중간 소싱 서버에 대해 작업은 삭제할 게재 목록을 선택합니다.

다음 Database cleanup 워크플로는 게재 로그, 첨부 파일, 미러 페이지 정보 및 기타 모든 관련 데이터를 삭제합니다.

정상적으로 게재를 삭제하기 전에 워크플로우는 다음 표에서 연결된 정보를 삭제합니다.

• 게재 제외 테이블(NmsDlvExclusion), 다음 쿼리가 사용됩니다.

  code language-sql
  DELETE FROM NmsDlvExclusion WHERE iDeliveryId=$(l)

  위치 $(l) 는 게재 식별자입니다.

• 쿠폰 테이블 (NmsCouponValue), 다음 쿼리가 사용됩니다(대량 삭제 사용).

  code language-sql
  DELETE FROM NmsCouponValue WHERE iMessageId IN (SELECT iMessageId FROM NmsCouponValue WHERE EXISTS (SELECT B.iBroadLogId FROM $(BroadLogTableName) B WHERE B.iDeliveryId = $(l) AND B.iBroadLogId = iMessageId ) LIMIT 5000)

  위치 $(l) 는 게재 식별자입니다.

• 게재 로그 테이블(NmsBroadlogXxx), 대량 삭제는 20,000개의 레코드로 일괄 실행됩니다.

• 오퍼 제안 테이블 (NmsPropositionXxx), 대량 삭제는 20,000개의 레코드로 일괄 실행됩니다.

• 추적 로그 테이블 (NmsTrackinglogXxx), 대량 삭제는 20,000개의 레코드로 일괄 실행됩니다.

• 게재 조각 테이블(NmsDeliveryPart), 대량 삭제는 500,000개의 레코드로 일괄 실행됩니다. 이 표에는 게재할 나머지 메시지에 대한 개인화 정보가 포함되어 있습니다.

• 미러 페이지 데이터 조각 테이블(NmsMirrorPageInfo)에서 대량 삭제는 만료된 게재 부분 및 완료 또는 취소된 부분에 대해 20,000개의 레코드로 일괄적으로 실행됩니다. 이 표에는 미러 페이지 생성에 사용되는 모든 메시지에 대한 개인화 정보가 포함되어 있습니다.

• 미러 페이지 검색 표에서 (NmsMirrorPageSearch), 대량 삭제는 20,000개의 레코드로 일괄 실행됩니다. 이 테이블은 다음에 저장된 개인화 정보에 대한 액세스를 제공하는 검색 색인입니다. NmsMirrorPageInfo 테이블.

• 배치 프로세스 로그 테이블(XtkJobLog), 대량 삭제는 20,000개의 레코드로 일괄 실행됩니다. 이 표에는 삭제할 게재 로그가 포함되어 있습니다.

• 게재 URL 추적 테이블(NmsTrackingUrl), 다음 쿼리가 사용됩니다.

  code language-sql
  DELETE FROM NmsTrackingUrl WHERE iDeliveryId=$(l)

  위치 $(l) 는 게재 식별자입니다.

  이 표에는 추적을 활성화하기 위해 삭제할 게재에서 찾은 URL이 포함되어 있습니다.

게재가 게재 테이블에서 삭제됩니다(NmsDelivery):

DELETE FROM NmsDelivery WHERE iDeliveryId = $(l)

위치 $(l) 는 게재 식별자입니다.

이를 위해 워크플로우는 각 게재가 비활성 상태임을 확인합니다(상태에 따라 다름). 게재가 활성 상태이면 삭제하기 전에 중지됩니다. 다음 쿼리를 실행하여 확인합니다.

SELECT iState FROM NmsDelivery WHERE iDeliveryId = $(l) AND iState <> 100;

위치 $(l) 는 게재 식별자입니다.

상태 값이 인 경우 Start pending , In progress , Recovery pending , Recovery in progress , Pause requested , Pause in progress , 또는 Paused (값 51, 55, 61, 62, 71, 72, 75), 게재가 중지되고 작업이 연결된 정보를 삭제합니다.

다음 Database cleanup 워크플로우가 만료된 게재 목록을 만듭니다. 이 목록에는 상태가 이 아닌 만료된 모든 게재가 포함됩니다. Finished 는 물론 처리되지 않은 메시지가 10,000개가 넘는 상황에서 최근 중단된 게재도 포함됩니다. 다음 쿼리가 사용됩니다.

SELECT iDeliveryId, iState FROM NmsDelivery WHERE iDeleteStatus=0 AND iIsModel=0 AND iDeliveryMode=1 AND ( (iState >= 51 AND iState < 85 AND tsValidity IS NOT NULL AND tsValidity < $(currentDate) ) OR (iState = 85 AND DateMinusDays(15) < tsLastModified AND iToDeliver - iProcessed >= 10000 ))

위치 delivery mode 1 와 일치 Mass delivery 모드, state 51 와 일치 Start pending state, state 85 와 일치 Stopped 상태 및 게재 서버에서 대량 업데이트된 가장 많은 게재 로그 수는 10,000개입니다.

그러면 워크플로우에는 중간 소싱을 사용하는 최근에 만료된 게재 목록이 포함됩니다. 중간 소싱 서버를 통해 아직 게재 로그가 복구되지 않은 게재는 제외됩니다.

다음 쿼리가 사용됩니다.

SELECT iDeliveryId, tsValidity, iMidRemoteId, mData FROM NmsDelivery WHERE (iDeliveryMode = 4 AND (iState = 85 OR iState = 95) AND tsValidity IS NOT NULL AND (tsValidity < SubDays(GetDate() , 15) OR tsValidity < $(DateOfLastLogPullUp)) AND tsLastModified > SubDays(GetDate() , 15))

다음 쿼리는 날짜별로 게재를 필터링하기 위해 외부 계정이 여전히 활성 상태인지 여부를 감지하는 데 사용됩니다.

SELECT iExtAccountId FROM NmsExtAccount WHERE iActive<>0 AND sName=$(providerName)

만료된 게재 목록에서 상태가 인 게재 로그 Pending , 다음으로 전환 Delivery cancelled 및 이 목록의 모든 게재가 다음으로 전환됨 Finished .

다음 쿼리가 사용됩니다.

UPDATE $(BroadLogTableName) SET tsLastModified=$(curdate), iStatus=7, iMsgId=$(bl) WHERE iDeliveryId=$(dl) AND iStatus=6

위치 $(curdate)는 데이터베이스 서버의 현재 날짜입니다. $(bl) 은 게재 로그 메시지의 식별자입니다. $(dl) 은 게재 식별자, delivery status 6 와 일치 Pending 상태 및 delivery status 7 와 일치 Delivery cancelled 상태.

UPDATE NmsDelivery SET iState = 95, tsLastModified = $(curdate), tsBroadEnd = tsValidity WHERE iDeliveryId = $(dl)

위치 delivery state 95 와 일치 Finished 상태 및 $(dl) 는 게재 식별자입니다.

모든 조각(deliveryPart)의 오래된 게재가 삭제되고 진행 중인 알림 게재의 오래된 조각이 모두 삭제됩니다. 이 두 작업에는 일괄 삭제가 사용됩니다.

다음 쿼리가 사용됩니다.

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE iDeliveryId IN (SELECT iDeliveryId FROM NmsDelivery WHERE iState=95 OR iState=85) LIMIT 5000)

DELETE FROM NmsDeliveryPart WHERE iDeliveryPartId IN (SELECT iDeliveryPartId FROM NmsDeliveryPart WHERE tsValidity < $(curDate) LIMIT 500000)

위치 delivery state 95 와 일치 Finished 상태, delivery state 85 와 일치 Stopped 상태 및 $(curDate) 는 현재 서버 날짜입니다.

먼저 다음 쿼리를 사용하여 삭제할 게재 목록을 복구합니다.

SELECT iDeliveryId, iNeedMirrorPage FROM NmsDelivery WHERE iWebResPurged = 0 AND tsWebValidity IS NOT NULL AND tsWebValidity < $(curdate)

위치 $(curDate) 는 현재 서버 날짜입니다.

다음 NmsMirrorPageInfo 필요한 경우 이전에 복구된 게재의 식별자를 사용하여 테이블을 삭제합니다. 대량 삭제는 다음 쿼리를 생성하는 데 사용됩니다.

DELETE FROM NmsMirrorPageInfo WHERE iMirrorPageInfoId IN (SELECT iMirrorPageInfoId FROM NmsMirrorPageInfo WHERE iDeliveryId = $(dl)) LIMIT 5000

DELETE FROM NmsMirrorPageSearch WHERE iMessageId IN (SELECT iMessageId FROM NmsMirrorPageSearch WHERE iDeliveryId = $(dl)) LIMIT 5000

위치 $(dl) 는 게재 식별자입니다.

그런 다음 항목이 게재 로그에 추가됩니다.

그런 다음 삭제된 게재가 식별되어 나중에 다시 처리할 필요가 없습니다. 다음 쿼리가 실행됩니다.

UPDATE NmsDelivery SET iWebResPurged = 1 WHERE iDeliveryId IN ($(strIn))

위치 $(strIn) 는 게재 식별자 목록입니다.

이름이 다음으로 시작하는 테이블 목록 wkDlv_ 는 다음 쿼리(postgresql)를 사용하여 먼저 복구됩니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkDlv_%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

그러면 진행 중인 워크플로우에서 사용하는 표는 제외됩니다. 이를 위해 다음 쿼리를 사용하여 진행 중인 게재 목록을 복구합니다.

SELECT iDeliveryId FROM NmsDelivery WHERE iDeliveryId<>0 AND iDeleteStatus=0 AND iState NOT IN (0,85,100);

위치 0 는 와 일치하는 값입니다. Being edited 게재 상태, 85 와 일치 Stopped 상태 및 100 와 일치 Deleted 상태.

더 이상 사용되지 않는 테이블은 다음 쿼리를 사용하여 삭제됩니다.

DROP TABLE wkDlv_15487_1;

대량 삭제는 XtkReject 다음 쿼리가 있는 테이블:

DELETE FROM XtkReject WHERE iRejectId IN (SELECT iRejectId FROM XtkReject WHERE tsLog < $(curDate)) LIMIT $(l)

위치 $(curDate) 는 다음에 대해 정의된 기간을 뺀 현재 서버 날짜입니다. NmsCleanup_RejectPurgeDelay 옵션(참조: 배포 마법사) 및 $(l) 대량 삭제할 최대 레코드 수입니다.

그런 다음 모든 고아 거부가 다음 쿼리를 사용하여 삭제됩니다.

DELETE FROM XtkReject WHERE iJobId NOT IN (SELECT iJobId FROM XtkJob)

삭제할 워크플로우 목록을 복구하려면 다음 쿼리가 사용됩니다.

SELECT iWorkflowId, iHistory FROM XtkWorkflow WHERE iWorkflowId<>0

이 쿼리는 다음 쿼리를 사용하여 연결된 모든 로그, 완료된 작업 및 완료된 이벤트를 삭제하는 데 사용할 워크플로 목록을 생성합니다.

DELETE FROM XtkWorkflowLog WHERE iWorkflowId=$(lworkflow) AND tsLog < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowTask WHERE iWorkflowId=$(lworkflow) AND iStatus<>0 AND tsCompletion < DateMinusDays($(lhistory))

DELETE FROM XtkWorkflowEvent WHERE iWorkflowId=$(l) AND iStatus>2 AND tsProcessing < DateMinusDays($(lHistory))

위치 $(lworkflow) 은 워크플로우의 식별자이며, $(lhistory) 는 내역의 식별자입니다.

사용되지 않은 테이블은 모두 삭제됩니다. 이를 위해 모든 테이블은 wkf% 다음 쿼리(postgresql)를 사용하여 마스크를 입력합니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkf%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

그러면 보류 중인 워크플로우 인스턴스에서 사용하는 모든 테이블이 제외됩니다. 활성 워크플로우 목록은 다음 쿼리를 사용하여 복구됩니다.

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId<>0 AND iState<>20

그런 다음 각 워크플로우 식별자를 복구하여 진행 중인 워크플로우에서 사용하는 테이블의 이름을 찾습니다. 이러한 이름은 이전에 복구된 테이블 목록에서 제외됩니다.

"증분 쿼리" 유형의 활동 기록 테이블은 다음 쿼리를 사용하여 제외됩니다.

SELECT relname FROM pg_class WHERE relname LIKE Lower('wkfhisto%') ESCAPE E'\\' AND relkind IN ('r','v') AND pg_get_userbyid(relowner)<>'postgres'

SELECT iWorkflowId FROM XtkWorkflow WHERE iWorkflowId IN ($(strCondition))

위치 $(strcondition) 는 다음과 일치하는 테이블 목록입니다. wkfhisto% 마스크.

나머지 테이블은 다음 쿼리를 사용하여 삭제됩니다.

DROP TABLE wkf15487_12;

먼저 다음 쿼리를 사용하여 추적 로그 테이블 목록을 복구합니다.

SELECT distinct(sTrackingLogSchema) FROM NmsDeliveryMapping WHERE sTrackingLogSchema IS NOT NULL;

일괄 삭제는 이전에 복구된 테이블 목록에서 모든 테이블을 삭제하는 데 사용됩니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsTrackingLogRcp WHERE iTrackingLogId IN (SELECT iTrackingLogId FROM NmsTrackingLogRcp WHERE tsLog < $(tsDate) LIMIT 5000)

위치 $(tsDate) 는 다음에 대해 정의된 기간을 뺀 현재 서버 날짜입니다. NmsCleanup_TrackingLogPurgeDelay 옵션을 선택합니다.

추적 통계 테이블은 일괄 삭제를 사용하여 삭제됩니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsTrackingStats WHERE iTrackingStatsId IN (SELECT iTrackingStatsId FROM NmsTrackingStats WHERE tsStart < $(tsDate) LIMIT 5000)

위치 $(tsDate) 는 다음에 대해 정의된 기간을 뺀 현재 서버 날짜입니다. NmsCleanup_TrackingStatPurgeDelay 옵션을 선택합니다.

이를 위해 다음 쿼리를 사용하여 게재 로그 스키마 목록을 복구합니다.

SELECT distinct(sBroadLogSchema) FROM NmsDeliveryMapping WHERE sBroadLogSchema IS NOT NULL UNION SELECT distinct(sBroadLogExclSchema) FROM NmsDeliveryMapping WHERE sBroadLogExclSchema IS NOT NULL

중간 소싱을 사용할 때 NmsBroadLogMid 게재 매핑에서 테이블이 참조되지 않습니다. 다음 nms:broadLogMid 스키마가 이전 쿼리에서 복구한 목록에 추가됩니다.

다음 데이터베이스 정리 그런 다음 워크플로우는 이전에 복구한 테이블에서 오래된 데이터를 삭제합니다. 다음 쿼리가 사용됩니다.

DELETE FROM $(tableName) WHERE iBroadLogId IN (SELECT iBroadLogId FROM $(tableName) WHERE tsLastModified < $(option) LIMIT 5000)

위치 $(tableName) 는 스키마 목록에 있는 각 테이블의 이름입니다. $(option) 은(는) 다음에 대해 정의된 날짜입니다. NmsCleanup_BroadLogPurgeDelay 옵션(참조: 배포 마법사).

마지막으로 워크플로우는 NmsProviderMsgId 테이블이 있습니다. 이 경우 다음 쿼리를 사용하여 오래된 모든 데이터가 삭제됩니다.

DELETE FROM NmsProviderMsgId WHERE iBroadLogId IN (SELECT iBroadLogId FROM NmsProviderMsgId WHERE tsCreated < $(option) LIMIT 5000)

위치 $(option) 에 대해 정의된 날짜와 일치 NmsCleanup_BroadLogPurgeDelay 옵션(참조: 배포 마법사).

특정 임계값(20임)을 초과하는 오류만 유지하기 위해 다음 쿼리가 실행됩니다.

SELECT iMXIP, iPublicId, SUM(iTotalConnections), SUM(iTotalErrors), SUM(iMessageErrors), SUM(iAbortedConnections), SUM(iFailedConnections), SUM(iRefusedConnections), SUM(iTimeoutConnections) FROM NmsEmailErrorStat WHERE tsDate>=$(start ) AND tsDate<$(end ) GROUP BY iMXIP, iPublicId HAVING SUM(iTotalErrors) >= 20

다음 병합 오류 메시지가 표시됩니다.

시작 날짜와 종료 날짜 사이에 발생한 모든 오류를 삭제하기 위해 새 연결이 만들어집니다. 다음 쿼리가 사용됩니다.

DELETE FROM NmsEmailErrorStat WHERE tsDate>=$(start) AND tsDate<$(end)

각 오류가에 저장됩니다. NmsEmailErrorStat 다음 쿼리를 사용하는 테이블:

INSERT INTO NmsEmailErrorStat(iMXIP, iPublicId, tsDate, iTotalConnections, iTotalErrors, iTimeoutConnections, iRefusedConnections, iAbortedConnections, iFailedConnections, iMessageErrors) VALUES($(lmxip ), $(lpublicId ), $(tsstart ), $(lconnections ), $(lconnectionErrors ),$(ltimeoutConnections ), $(lrefusedConnections ), $(labortedConnections ), $(lfailedConnections ), $(lmessageErrors))

여기서 각 변수는 이전 쿼리에서 복구한 값과 일치합니다.

다음 시작 변수는 루프를 마치기 위해 이전 프로세스의 값으로 업데이트됩니다.

정리가 필요한 시뮬레이션 목록을 복구하려면 다음 쿼리가 사용됩니다.

SELECT iSimulationId FROM NmsSimulation WHERE iSimulationId<>0

삭제할 테이블의 이름은 wkSimu_ 접두사 뒤에 시뮬레이션 식별자가 옵니다(예: wkSimu_456831_aggr):

DROP TABLE wkSimu_456831_aggr