MSSQL: 중복 데이터 조회 및 삭제

MSSQL에서 중복 데이터는 데이터베이스의 성능을 저하시킬 수 있으며, 데이터 무결성을 해칠 수 있는 중요한 문제입니다. 중복 데이터는 다양한 원인으로 발생할 수 있으며, 이를 효과적으로 관리하고 예방하는 방법을 아는 것이 중요합니다. 이번 글에서는 MSSQL에서 중복 데이터를 찾고 삭제하는 방법, 그리고 중복 데이터를 방지하는 방법에 대해 알아보겠습니다.

 

MSSQL: 중복 데이터 조회 및 삭제

---

1. 중복 데이터 찾기

1-1. GROUP BY와 HAVING을 이용한 중복 데이터 찾기

중복 데이터를 찾는 가장 기본적인 방법은 GROUP BY와 HAVING을 사용하는 것입니다. 다음은 예제입니다:

SELECT 컬럼1, COUNT(*) AS 개수
FROM 테이블명
GROUP BY 컬럼1
HAVING COUNT(*) > 1;

위 쿼리는 컬럼1에 중복된 데이터가 있는지를 찾아줍니다.

 

1-2. ROW_NUMBER()를 이용한 중복 데이터 찾기

ROW_NUMBER() 함수를 사용하면 중복 데이터를 쉽게 찾을 수 있습니다. 다음은 예제입니다:

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY 컬럼1 ORDER BY (SELECT NULL)) AS 행번호
    FROM 테이블명
)
SELECT *
FROM CTE
WHERE 행번호 > 1;

이 쿼리는 컬럼1 기준으로 중복된 행을 모두 표시합니다.

1-3. DISTINCT를 이용한 중복 데이터 조회

DISTINCT 키워드를 사용하여 중복 데이터를 제거한 결과를 조회할 수 있습니다:

SELECT DISTINCT 컬럼1, 컬럼2
FROM 테이블명;

이 쿼리는 컬럼1과 컬럼2의 중복을 제거한 결과를 반환합니다.

2. 중복 데이터 삭제

2-1. DELETE 문을 이용한 중복 데이터 삭제

중복 데이터를 삭제하려면 DELETE 문을 사용할 수 있습니다. 다음은 예제입니다:

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY 컬럼1 ORDER BY (SELECT NULL)) AS 행번호
    FROM 테이블명
)
DELETE FROM CTE
WHERE 행번호 > 1;

이 쿼리는 중복된 행 중 첫 번째 행을 제외한 나머지 행을 삭제합니다.

 

2-2. CTE를 이용한 중복 데이터 삭제

CTE(Common Table Expression)를 사용하여 중복 데이터를 삭제할 수 있습니다:

WITH CTE AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY 컬럼1 ORDER BY (SELECT NULL)) AS 행번호
    FROM 테이블명
)
DELETE FROM 테이블명
WHERE EXISTS (
    SELECT 1
    FROM CTE
    WHERE 테이블명.기본키 = CTE.기본키
    AND CTE.행번호 > 1
);

이 쿼리는 CTE를 사용하여 중복된 행을 삭제합니다.

 

2-3. TRUNCATE와 INSERT를 이용한 중복 데이터 정리

모든 데이터를 일단 비운 후 중복을 제거한 데이터를 다시 삽입하는 방법도 있습니다:

SELECT DISTINCT * INTO 임시테이블 FROM 원본테이블;

TRUNCATE TABLE 원본테이블;

INSERT INTO 원본테이블
SELECT * FROM 임시테이블;

DROP TABLE 임시테이블;

이 방법은 데이터 양이 많지 않을 때 사용하면 유용합니다.

 

3. 중복 데이터 방지 방법

3-1. UNIQUE 제약 조건 사용

테이블을 생성할 때 UNIQUE 제약 조건을 설정하여 중복을 방지할 수 있습니다:

CREATE TABLE 테이블명 (
    컬럼1 데이터타입,
    컬럼2 데이터타입,
    UNIQUE (컬럼1)
);

3-2. INDEX를 이용한 중복 데이터 방지

인덱스를 사용하여 중복 데이터를 방지할 수 있습니다:

CREATE UNIQUE INDEX 인덱스명
ON 테이블명 (컬럼1);

 

3-3. 데이터 입력 시 유효성 검사

데이터를 삽입할 때 유효성 검사를 수행하여 중복을 방지할 수 있습니다:

IF NOT EXISTS (SELECT 1 FROM 테이블명 WHERE 컬럼1 = @값)
BEGIN
    INSERT INTO 테이블명 (컬럼1, 컬럼2) VALUES (@값1, @값2);
END;

 

4. 중복 데이터 관리의 모범 사례

4-1. 정기적인 데이터 검증 및 정리

정기적으로 데이터베이스를 검증하고 중복 데이터를 정리하는 것이 중요합니다. 이를 통해 데이터베이스의 무결성을 유지할 수 있습니다.

 

4-2. 데이터베이스 설계 시 중복 방지 구조 채택

데이터베이스를 설계할 때 중복을 방지할 수 있는 구조를 채택하는 것이 좋습니다. 예를 들어, 정규화를 통해 데이터의 중복을 최소화할 수 있습니다.

 

4-3. 데이터 통합 시 중복 검사 및 정리 절차

여러 소스에서 데이터를 통합할 때는 중복 검사를 통해 중복 데이터를 제거하고, 통합 과정에서 중복이 발생하지 않도록 유의해야 합니다.

 

맺는말

MSSQL에서 중복 데이터는 데이터베이스의 성능과 데이터 무결성에 큰 영향을 미칠 수 있습니다. 중복 데이터를 효과적으로 찾고 삭제하는 방법을 익히고, 중복 데이터 발생을 방지하는 전략을 세우는 것이 중요합니다. 이를 통해 효율적이고 신뢰할 수 있는 데이터베이스 관리를 할 수 있습니다.