GA4 (other) 행 이해하기: 보고서가 뭉개지는 카디널리티 한도
지난달 콘텐츠 성과를 정리하려고 페이지 및 화면 보고서를 엽니다. 표를 조회수 순으로 정렬합니다. 그런데 상위권에 이상한 줄이 하나 끼어 있습니다.페이지 경로 및 화면 클래스 조회수/ 412,880(other) 168,204/products/best 96,310/blog 71,522(other)라는 페이지는 우리 사이트에 없습니다. 오타도 아니고, 누가 이상한 URL을 만든 것도 아닙니다. 게다가 이 한 줄이 전체의 상당 부분을 차지합니다. 이 상태로는 "지난달 가장 많이 본 콘텐츠"를 말할 수 없습니다. 2위를 차지..
AI 프롬프트 캐싱 이해하기: 매번 같은 앞부분을 다시 계산하지 않기
사내 규정 안내 도우미를 만들었습니다. 직원이 "연차는 며칠인가요?"라고 물으면 규정 문서를 근거로 답하는 기능입니다. 요청 하나에 실어 보내는 것을 늘어놓으면 이렇습니다.시스템 프롬프트 답하는 규칙, 말투, 모를 때 대처법 (길다)도구 정의 규정 검색, 문의 등록 같은 도구 설명 (길다)참고 문서 휴가·경비·보안 규정 요약 (아주 길다)이번 질문 "연차는 며칠인가요?" (한 줄)직원이 입력한 건 한 줄인데 실제 요청은 그 앞에 수천 토큰을 달고 나갑니다. 이 블로그의 "AI 토큰과 컨텍스트 이해하기: 요금과 한계가 정해지는 단위"에서 봤듯 모델은 아무것도 기억하지 않으니, 매 요청마다 이 ..
DB 백업과 복구 이해하기: 복구해 보기 전까지는 백업이 아니다
"백업은 매일 돌고 있어요."DB 백업을 물으면 대개 이 대답이 돌아옵니다. 새벽 세 시에 작업이 돌고, 로그에는 매일 "완료"가 찍힙니다. 그래서 질문을 하나 더 해 봅니다. 그 백업으로 마지막으로 복구해 본 게 언제인가요? 여기서 대답이 멈추는 경우가 많습니다.복구해 본 적 없는 백업은 막상 필요한 날 이런 모습으로 나타납니다.장면 1 : 백업 파일을 열어 보니 크기가 20바이트다. DB 접속 정보가 바뀐 뒤로 덤프는 매일 실패했는데, 작업은 매일 "성공"으로 끝났다.장면 2 : 파일은 멀쩡하다. 그런데 복구해 본 사람이 없다. 명령어부터 찾고, 서버를 새로 만들고, 오류를 하나씩 넘기다 보니 반나절이 지났다.장면 3 : 백업은 암호화까지 잘 되어 있다. 그..
유니코드 정규화 이해하기: 맥에서 올린 한글 파일명이 쪼개지는 이유
사내 문서함 서비스에 문의가 두 건 들어왔습니다. 알고 보니 둘 다 같은 파일 이야기입니다.첫 번째 문의는 이렇습니다. 디자인팀 동료가 맥북에서 만든 보고서.pdf를 올렸는데, 그 파일을 내려받은 사람의 화면에서는 파일명이 ㅂㅗㄱㅗㅅㅓ.pdf처럼 자모가 하나씩 떨어져 보인다고 합니다. 파일을 열어 보면 내용은 멀쩡합니다.두 번째 문의는 관리자에게서 왔습니다. 검색창에 "보고서"를 넣어도 그 파일이 안 나옵니다. 게다가 같은 이름의 파일은 올릴 수 없게 막아 뒀는데, 목록에 보고서.pdf가 두 개 나란히 있습니다. 공백이 붙었나 싶어 앞뒤를 잘라 봐도, 인코딩이 틀렸나 싶어 확인해 봐도 달라지는 게 없습니다. 양쪽 다 멀쩡한 UTF-8입니다. 같은 상황을 코드로 재현해 보면 이렇습니다.import unic..
AI 임베딩 이해하기: 비슷하다는 걸 컴퓨터가 어떻게 재나
사내 문서를 붙인 챗봇을 만들어 봅니다. 튜토리얼대로 하면 30분이면 됩니다. 문서를 넣고, 질문을 하면, 답이 나옵니다.그런데 두 번째 질문부터 이상해집니다. 분명히 답이 적힌 문서가 있는데 엉뚱한 문서를 물어 옵니다. 검색 로그를 열어 보면 진짜 정답 문서는 3위나 7위에 있거나, 아예 상위 목록에 없습니다. 검색해 보면 조언은 이런 식입니다. "임베딩 모델을 바꿔 보세요." "청크 크기를 조정해 보세요." 그런데 임베딩이 뭔지 모르는 상태에서는 이 말이 조언이 아니라 주문 같습니다. 무엇을 바꾸면 무엇이 달라지는지 모르니까요.이 글은 그 앞 단계입니다. 임베딩이 정확히 무엇이고, "비슷하다"는 판단이 어떤 계산으로 이루어지며, 그 방식이 구조적으로 무엇에 약한지를 다룹니다. 도구 사용법이 아니라 감..
OpenAI API 종료 일정 정리: gpt-4, o3-mini, whisper-1은 언제 멈추나
사내 문의 요약 기능은 오래전에 만들어져 지금까지 조용히 잘 돌고 있습니다. 처음 만든 사람은 다른 팀으로 옮겼고, 설정 파일에는 이 한 줄이 남아 있습니다.model: gpt-4아무도 이 줄을 다시 보지 않았습니다. 잘 돌았으니까요. 그런데 OpenAI의 폐기 공지 페이지를 열어 보면 gpt-4는 2026년 10월 23일에 API에서 종료되는 목록에 있습니다. 같은 날 gpt-3.5-turbo, o1, o3-mini, o4-mini도 멈춥니다. 공지 메일은 누군가의 받은편지함에 도착했겠지만, 그 사람이 이 설정 파일을 기억한다는 보장은 없습니다.이런 글은 보통 날짜 표부터 보여 줍니다. 이 글에도 표가 있지만 순서는 반대로 권하고 싶습니다. 종료 날짜를 외우기 전에, 우리 코드가 어떤 모델을 부르는지부..