윈도우11 설치 전 꼭 확인해야 할 것 & 오류별 해결법 총정리

윈도우 설치 글은 검색하면 많이 나오지만, 대부분 “USB 꽂고 다음 다음 누르세요” 수준에서 끝나는 경우가 많습니다. 정작 설치가 막히는 지점은 설치 시작 전 호환성 체크와 설치 도중 뜨는 알 수 없는 오류 코드인데, 이 부분을 다루는 글은 의외로 드뭅니다.

윈도우10 정식 지원은 2025년 10월 14일에 이미 종료됐고, 지금(2026년 하반기)은 유료 확장 보안 업데이트(ESU) 없이 버티던 PC들이 하나둘 윈도우11로 넘어가는 시기입니다. 오래 미뤄뒀던 PC일수록 TPM·보안부팅 조건이 안 맞아 설치가 중간에 막히는 경우가 흔한데, 이 글은 그 지점을 실제로 겪어본 순서 그대로 정리했습니다.

이 글에서는 실제로 설치 지원 업무를 할 때 확인하는 순서 그대로, ①설치 전 필수 체크 → ②설치 매체 방식 비교 → ③오류 코드별 원인과 해결 → ④설치 후 점검까지 다룹니다. 테스트는 인텔 12세대 데스크톱(TPM 내장)과 AMD 라이젠 5000번대 구형 메인보드(fTPM 수동 활성화 필요) 두 환경에서 진행했습니다.

설치 전 5분 체크리스트

본격적인 내용에 들어가기 전에, 아래 표부터 하나씩 확인하고 넘어가면 뒤에서 막힐 확률이 크게 줄어듭니다.

항목	확인 방법	비고
TPM 2.0 활성화	`tpm.msc` 또는 `Get-Tpm`	BIOS에서 꺼져 있는 경우가 대부분
보안 부팅	BIOS > Boot 탭	CSM/Legacy 켜져 있으면 먼저 꺼야 함
디스크 GPT 여부	`diskpart` > `list disk`	MBR이면 변환 또는 재파티션 필요
USB/ISO 무결성	도구별 상이(아래 참고)	Rufus/MCT 방식에 따라 확인법 다름
여유 저장공간	최소 20GB 이상	In-place 업그레이드 시 특히 중요

설치 전 반드시 확인해야 할 3가지 (여기서 절반이 걸립니다)

1) TPM 2.0 · 보안 부팅(Secure Boot) 지원 여부

윈도우11은 TPM 2.0과 UEFI 보안 부팅을 요구합니다. 이 조건이 충족되지 않으면 설치 화면에서 “이 PC는 현재 윈도우11을 실행할 수 없습니다” 메시지와 함께 진행이 막힙니다.

확인 명령어: 실행창(Win+R)에서 tpm.msc 입력 → TPM 사양 확인
또는 PowerShell에서 Get-Tpm 실행 → TpmPresent, TpmReady 값 확인
BIOS/UEFI 진입 후 Security 탭에서 TPM Device 또는 PTT(Intel) / fTPM(AMD) 항목을 Enabled로 변경
Boot 탭에서 Secure Boot를 Enabled로 변경 (CSM/Legacy 모드가 켜져 있으면 비활성화 필요)

구형 메인보드(라이젠 5000번대 초기 바이오스)에서 직접 겪은 경우인데, TPM 조건을 놓치고 그냥 진행했더니 오류 메시지도 없이 파티션 선택 화면에서 “다음” 버튼만 계속 비활성화된 채로 멈춰 있었습니다. 로그(setupact.log)를 열어보고 나서야 TPM 미충족이 원인이라는 걸 확인했는데, 일부 빌드는 이렇게 명확한 오류 문구 없이 그냥 진행을 막아버리는 경우가 있으니 화면에 아무 메시지가 없어도 TPM/보안부팅부터 의심하는 게 시간을 아끼는 길입니다.

2) 디스크 파티션 방식: GPT vs MBR

보안 부팅을 쓰려면 디스크가 GPT 방식이어야 합니다. 기존 디스크가 MBR이면 설치가 진행되지 않거나, 설치는 되어도 보안 부팅이 비활성화된 상태로 남습니다.

현재 방식 확인: 디스크 관리 실행 → 대상 디스크 우클릭 → 속성 → 볼륨 탭에서 파티션 형식 확인
또는 명령 프롬프트에서 diskpart → list disk 입력 시 GPT 컬럼에 * 표시 여부로 확인
MBR을 GPT로 변환해야 하는 경우, 기존 자료가 있다면 mbr2gpt /convert /disk:0 /allowFullOS 명령으로 데이터 보존 변환 가능

다만 이 변환이 항상 되는 건 아닙니다. 파티션이 5개 이상으로 잘게 나뉘어 있던 노후 노트북에서는 mbr2gpt가 “검증 실패(validation failed)”로 중단되는 걸 실제로 겪었습니다. 원인은 MBR 디스크의 기본 파티션 개수 제한(최대 4개)과 관련된 구조적 문제였고, 불필요한 복구 파티션을 먼저 정리해 파티션 개수를 줄인 뒤에야 변환이 통과됐습니다. 즉 변환 명령이 실패한다고 바로 포기하지 말고, 파티션 구조부터 점검하는 게 먼저입니다.

3) 설치 파일 무결성 확인

USB가 정상적으로 만들어졌는지 모른 채 설치를 진행하다가 중간에 멈추는 경우가 많습니다. 어떤 도구로 USB를 만들었는지에 따라 확인 방법이 달라집니다.

Rufus로 만든 경우 ISO 파일을 직접 다운로드한 뒤 Rufus로 굽는 방식이라, ISO 다운로드 직후 마이크로소프트 공식 페이지의 SHA256 해시값과 대조해 다운로드 손상 여부를 먼저 확인합니다. 이후 Rufus 굽기 화면에서 체크섬 옵션에 해시값을 입력해두면 굽는 과정 자체를 검증하며 진행되고, 저가형·저용량 USB라면 배드 블록 검사 옵션도 함께 켜는 것이 안전합니다.

Windows 11 설치 미디어 만들기(MCT)로 만든 경우 MCT는 다운로드부터 USB 굽기까지 도구 내부에서 한 번에 처리하며, ISO 파일이 별도로 남지 않아 사용자가 해시값을 직접 대조할 지점이 없습니다. 대신 다운로드·굽기 과정에서 손상이 감지되면 도구가 진행 바 도중 실패 메시지를 띄우며 멈추기 때문에, 오류 메시지 없이 완료됐다면 굽기 자체는 정상으로 봐도 됩니다.

이 부분에서 예상과 달랐던 경험이 있는데, MCT로 오류 메시지 없이 완료된 USB가 특정 구형 메인보드에서는 부팅 목록에 아예 뜨지 않은 적이 있습니다. USB 자체를 의심하고 다시 굽기를 두 번이나 반복했지만 소용없었고, 원인은 따로 있었습니다 — 해당 메인보드가 CSM(호환성 지원 모듈) 모드로 켜져 있어서 UEFI 방식 USB 자체를 인식하지 못했던 것입니다. BIOS에서 CSM을 끄고 순수 UEFI 모드로 전환하자 바로 인식됐습니다. USB 무결성 문제처럼 보이는 증상이 실제로는 BIOS 부팅 모드 문제인 경우가 생각보다 많습니다.

설치 매체 방식 3가지 비교

같은 “윈도우 설치”라도 상황에 따라 유리한 방식이 다릅니다.

구분	USB 부팅 설치	ISO 마운트 설치(In-place)	복구 파티션 재설치
적합한 상황	새 PC, OS 완전 초기화	기존 윈도우 위에서 업그레이드	OEM 노트북 초기 상태 복원
기존 데이터	삭제됨(포맷 시)	유지됨(설정·앱도 선택 유지 가능)	대부분 삭제됨
평균 소요 시간	약 20~30분	약 45~70분	약 10~15분
준비물	별도 USB, 부팅 디스크	USB 불필요, ISO 파일만 필요	별도 준비물 없음(제조사 파티션 활용)
주의점	BIOS 부팅 순서 설정 필요	저장공간 여유(20GB 이상) 필요	제조사 복구 키 조합 확인 필요

일반적으로 “USB로 밀면 빠르다”는 인식이 있는데, 실제로 두 방식을 번갈아 진행해보면 꼭 그렇지도 않습니다. ISO 마운트 방식(In-place 업그레이드)은 설치 앱 실행 직후 호환성 스캔과 기존 파일·설정 이전 단계가 추가로 붙기 때문에, 평균 45~70분 정도로 USB 클린설치(평균 20~30분)보다 두 배 가까이 오래 걸리는 경우가 많았습니다(사양·디스크 종류에 따라 차이는 있습니다). 대신 재설치 후 드라이버를 다시 잡거나 프로그램을 재설치할 필요가 없다는 점에서 총 소요 시간(설치 + 재세팅)으로 보면 In-place 쪽이 더 유리한 경우가 많습니다. “빠른 것”과 “결과적으로 시간이 덜 드는 것”은 다른 문제라는 걸 직접 해보고 나서 알게 됐습니다.

설치 중 자주 발생하는 오류 코드별 원인과 해결

레퍼런스성 글에서는 “인터넷 연결 확인해보세요” 정도로 뭉뚱그리는 경우가 많은데, 실제로는 오류 코드별로 원인이 명확히 갈립니다.

0x80300024 — 파티션에 설치할 수 없음

디스크 파티션이 4개를 초과했거나(MBR 디스크는 기본 파티션 4개 제한), USB 포트 규격 문제(USB 3.0 포트에서 드라이버 인식 실패)인 경우가 대부분입니다.

처음 이 오류를 만났을 때는 대상 파티션을 “포맷”만 하고 재시도했는데, 같은 오류가 그대로 재현됐습니다. 알고 보니 이 오류는 포맷이 아니라 파티션 구조 자체가 문제인 경우가 많아서, 포맷 대신 파티션을 완전히 삭제해 미할당 공간 하나로 만든 뒤 재시도해야 해결됐습니다. 포맷과 삭제가 겉보기엔 비슷해 보여도 이 오류에서는 결과가 다릅니다. USB 포트 문제라면 USB 2.0 포트로 옮겨 꽂는 것도 함께 시도해볼 만합니다.

0xc1900101 — 드라이버 호환성 문제

설치 도중 되돌아가는(rollback) 대표적 오류로, 그래픽카드나 특정 주변기기 드라이버 충돌이 원인인 경우가 많습니다. 외장 그래픽카드, 프린터, USB 허브 등 필수가 아닌 주변기기를 모두 분리한 뒤 재시도하면 상당수 해결됩니다.

주변기기를 다 뽑았는데도 재현된 사례도 있었는데, 이번엔 NVMe SSD 펌웨어가 원인이었습니다. SK하이닉스 Gold P31 계열 NVMe SSD를 구형 펌웨어 상태로 그대로 쓰고 있었는데, 제조사(SK hynix) 홈페이지의 SSD 유틸리티로 펌웨어를 최신 버전으로 업데이트한 뒤 재시도하자 정상적으로 설치가 진행됐습니다. 드라이버 문제라고 해서 항상 그래픽카드나 주변기기 탓만은 아니라는 걸 알게 된 케이스입니다 — SSD 펌웨어가 오래됐다면 재설치 전에 먼저 점검해볼 만합니다.

INACCESSIBLE_BOOT_DEVICE (블루스크린)

설치 자체는 끝났는데 재부팅 시 발생한다면 SATA 컨트롤러 모드(AHCI/RAID/IDE) 설정이 설치 시점과 달라졌을 가능성이 높습니다. BIOS에서 SATA 모드를 설치 당시와 동일하게 맞춰야 합니다.

제품 키 인증 오류

“이 제품 키로 활성화할 수 없습니다” 메시지가 뜨면, 인터넷 연결 문제보다 키 자체가 이전 설치본(하드웨어)에 귀속된 OEM/DSP 키인 경우가 흔합니다. 설정 → 업데이트 및 보안 → 정품 인증에서 “문제 해결” 항목을 실행하면 마이크로소프트 계정과 연결된 디지털 라이선스로 자동 인증되는 경우가 많습니다. 다만 메인보드 자체를 교체한 경우엔 이 방법으로도 자동 인증이 안 될 수 있는데, 이때는 “문제 해결” 항목 안의 “이 디바이스에서 하드웨어를 변경했습니다” 옵션을 별도로 선택해야 재인증됩니다.

설치 완료 후 필수 점검 (여기서 대부분 생략하고 넘어갑니다)

설치가 끝났다고 바로 사용하기보다, 아래 순서로 상태를 확인하고 넘어가는 것을 권장합니다.

시스템 파일 무결성 검사: 관리자 권한 명령 프롬프트에서 sfc /scannow 실행
시스템 이미지 상태 확인: DISM /Online /Cleanup-Image /CheckHealth → 손상이 감지되면 /RestoreHealth로 복구
드라이버 누락 확인: 장치 관리자에서 노란 느낌표 아이콘 유무 확인, 특히 칩셋·네트워크 드라이버는 제조사 홈페이지에서 직접 받는 것이 윈도우 업데이트보다 안정적
디스크 상태 확인: wmic diskdrive get status 실행해 OK 상태인지 확인
Windows Update 최신화: 설치 직후 업데이트를 미루면 이후 대규모 누적 업데이트가 한 번에 몰려 설치 시간이 오래 걸리므로, 초기 설정 단계에서 업데이트를 먼저 끝내는 것이 유리

1번과 2번 순서를 바꿔서 진행하면 낭패를 볼 수 있습니다. sfc /scannow부터 먼저 돌렸다가 “정상적으로 복원할 수 없는 손상된 파일을 찾았습니다”라는 메시지만 받고 끝난 적이 있는데, sfc는 복구용 원본 파일이 로컬에 없으면 스스로 복구하지 못합니다. DISM /RestoreHealth로 먼저 시스템 이미지를 복구한 다음 sfc /scannow를 다시 돌려야 정상적으로 처리됩니다.

자주 하는 오해 바로잡기

“제품 키 없이 설치하면 불법이다” → 아닙니다. 제품 키 없이 설치해도 정상 작동하며, 워터마크와 개인 설정 제한만 있을 뿐 이후 언제든 정품 인증을 추가할 수 있습니다.
“재설치하면 무조건 정품 인증이 풀린다” → 동일 하드웨어에 재설치하는 경우, 마이크로소프트 계정에 디지털 라이선스가 연결되어 있다면 자동으로 재인증됩니다.
“윈도우10 지원이 끝났으니 기존 라이선스도 무효다” → 아닙니다. 윈도우10 정품 라이선스는 그대로 유효하며, 같은 키로 윈도우11에 업그레이드 설치해도 인증이 유지됩니다. 다만 보안 업데이트를 계속 받으려면 결국 윈도우11(또는 유료 ESU)로 넘어가야 합니다.
“SSD를 새로 달았으니 트림(TRIM) 설정을 따로 해야 한다” → 윈도우10/11은 SSD 감지 시 트림을 기본으로 활성화하므로 별도 설정이 필요 없는 경우가 대부분입니다. fsutil behavior query DisableDeleteNotify 명령으로 값이 0이면 정상 활성화 상태입니다.

마무리

윈도우 설치 자체는 마법사를 따라가면 어렵지 않지만, 실제로 시간을 잡아먹는 부분은 설치 전 호환성 확인과 오류 발생 시 원인 파악입니다. 이 글의 체크리스트 순서대로 진행하면 설치 중단이나 재부팅 반복 없이 한 번에 끝낼 수 있습니다.