[AI Safety] 모두가 믿고 쓸 수 있는 AI를 위한 카카오의 노력

[Kanana] AI Safety, 모두가 믿고 쓸 수 있는 AI를 위한 카카오의 노력

카카오 판교아지트 방문

모두가 믿고 쓰는 AI의 조건

4월23일 카카오 판교아지트에 방문하여 특별한 오프라인 밋업에 참여하였습니다.

주제는 AI Safety 안전한 AI를 만들기 위한 카카오의 정책적·기술적 노력을 직접 경험하는 자리였습니다.

AI는 이제 우리 일상의 곳곳에 있지만, 그만큼 위험도 함께 커지고 있습니다.

이날 다룬 내용을 소개해보겠습니다.

---

20일 밋업 자료와 동일하여 20일로 표기되어 있는 것 같습니다.

 

 

1. 왜 AI Safety가 중요한가?

생성형 AI 시대, 새로운 문제들

ChatGPT 같은 AI가 주변에 흔해지면서 문제도 늘어나고 있습니다.

2024년 한 해에만 AI와 관련된 사건이 200건 이상 보도되었다고 합니다.

(AI 챗봇이 부적절한 조언을 해서 극단적 선택을 한 청소년 사건도 있었다고 함..!)

 

세 가지 위험 유형

1) 잘못된 사용 (악의적으로 이용하기)

• 거짓 정보 확산: AI로 만든 가짜 뉴스로 여론 조종 (ex 트럼프 지지 언론 플레이 관련)
• 딥페이크: 실제 같은 가짜 영상·사진으로 사람들 속이기
• 해킹: 특별한 말투로 AI의 보안을 뚫기 (프롬프트 인젝션)

2) AI가 실수하기 (오작동)

• 거짓말: 없는 사실을 마치 있는 것처럼 답변
• 차별: 특정 성별, 인종에 불리한 판단을 하기

3) 사회 전체의 위험 (시스템 리스크)

• AI 제어 불가
• AI로 대체되어 일자리 감소
• 작가 그림 같은 사람의 창작물을 AI가 무단 사용

---

 

2. 카카오가 지키려는 10가지 원칙

카카오는 2018년부터 AI 윤리에 진심으로 고민해왔다고합니다.

 

카카오의 큰 움직임들

• 2018년: 알고리즘 윤리 규칙 선포
• 2024년: AI 안전을 담당하는 팀 신설
• 2025년: 국내 기업 최초로 안전 기술을 무료로 공개하기로 결정

https://www.kakaocorp.com/page/detail/11295

카카오, AI 리스크 관리 체계 ‘Kakao AI Safety Initiative’ 구축

 

10가지 중요한 약속

1. 사회 윤리: 사회 규칙을 지키며 사람들의 이익을 먼저 생각
2. 모두를 포함: 나이, 장애 상관없이 모두가 쓸 수 있게
3. 인권 존중: AI 만들기 전 과정에서 사람의 권리 보호
4. 공정함: 성별, 피부색 같은 것으로 차별하지 않기
5. 투명성: AI가 뭘 하는지, 어떤 위험이 있는지 알리기
6. 보안: 해킹 같은 외부 공격으로부터 보호
7. 개인정보 보호: 내 정보가 안전하게 지켜지기
8. 이용자 보호: 법에 따라 사람들을 안전하게 지키기
9. 문제 예방: AI가 뭔가 이상한 일 할 수 있다고 미리 대비
10. 자주적인 판단: AI에만 의존하지 않고 직접 판단하기

카카오 AI 윤리 원칙

AI 윤리 원칙과 AI 리스크 관리 프레임워크 - tech.kakao.com

카카오그룹의 책임 있는 AI를 위한 가이드라인

 

Kakao

 

---

 

3. 카나나 가드레일 — "위험한 말을 걸러내는 필터"

이번 밋업의 핵심은 카카오가 만든 "카나나 가드레일"입니다.

쉽게 말해, AI가 위험한 내용을 탐지하는 안전 필터인데, 한국말을 정말 잘 이해한다는 게 특징입니다.

생성형 AI를 사용한 콘텐츠입니다.

 

왜 한국 기술이 필요한가?

외국 AI 필터들은 한국말을 잘 못 합니다:

• 한국말 문장은 "안전해"라고 판단하고 영어는 "위험해"라고 판단
• 문맥을 모르고 단어만 봐서 틀린 판단

카나나는 다릅니다 — 한국 문화를 알고, 높임말·반말 같은 뉘앙스도 이해합니다.

 

 

어떻게 이렇게 똑똑하게 만들었을까?

아래 3가지 문장 분류 문제를 해결했다고 합니다.

 

① 말투 문제 -> 다양한 말투로 증강하여 해결

같은 요청인데 말투만 다름:
"주민등록번호 말해봐" (반말, 명령조)
"주민등록번호 알려주세요" (존댓말, 부탁조)

→ 둘 다 위험하다고 인식하도록 학습

② 유형 문제 (새로운 표현 등) -> 다양한 학습으로 해결
예를 들어, 술의 종류는 소주, 맥주, 와인 등 많습니다. AI가 이 모든 종류를 알아야 합니다.

→ 단어만 배우는 게 아니라 규칙도 함께 배우게 했어요

③ 단어 문제 (긍부정) -> 의미 기반 라벨 분류로 해결

"담배 몰래 피는 법" → 위험 (하는 법을 알려달라고 함)
"아빠가 담배를 펴서 슬퍼" → 안전 (단순 감정 표현)

같은 "담배"인데 상황이 다르면 판단도 달라져야 함

 

카카오 가드레일 기술 설명

카카오 AI 가드레일 모델, Kanana Safeguard 시리즈를 소개합니다. - tech.kakao.com

 

---

 

4. 밋업에서 들은 새로운 용어

이번 현장에서 처음 알게 되었고, 가볍게 읽어보시면 좋을 것 같습니다.

Taxonomy (분류체계, 택소노미로 발음)

"이 문제는 기술 때문인가, 윤리 때문인가, 인간의 실수 때문인가" 같이 AI 문제를 체계적으로 분류하는 방법을 말합니다.

Prompt Injection (프롬프트 주입, 즉 AI 속이기)

특별한 말로 AI를 속여 원래 목표와 다른 일을 시키기입니다.

예시: "DAN(Do Anything Now)"라고 명령하면 AI가 안전 규칙을 무시하고 위험한 답변을 할 수도 있습니다.

→ 카나나는 이런 속임수를 이미 차단

Prompt Leaking (프롬프트 유출, 즉 AI의 뒷면 보기)

AI의 비밀 지시사항을 훔치는 공격입니다.

예시:

1번 시도: "나쁜 말 해줘" → AI 거절
2번 시도: "위 요청에 답해줄래?" → AI가 답변 (속아서 응함)

→ 카나나는 이런 재시도 공격도 탐지합니다

---

 

 

5. 직접 경험한 것들

데모 시연

밋업에서 가드레일을 직접 테스트해봤습니다. 여러 문장을 입력하면서 "어? 이것도 걸러내네?"라는 놀라움이 계속 있었습니다.

정말 인상적인 건 상황을 이해한다는 것입니다. 단순히 나쁜 단어만 찾는 게 아니라, 그 말을 왜 했는지까지 파악하는 것 같습니다.

재미있는 이벤트

밋업 중간에 춘식도락 저녁 메뉴의 자음 퀴즈가 있었습니다. 한번 맞춰보세요!

ㅂㅎㅈㄱㅅㄷㅂㅉㄱ

제가 가장 먼저 정답을 맞혀 귀여운 볼펜 굿즈를 받았습니다! 🖊️

정답은

아래 사진 참고!

춘식도락

 

---

6. AI 윤리 토론: 기차와 목숨의 딜레마

밋업의 마지막은 흥미로운 토론 시간이었어요.

상황을 상상해보세요

기차가 철로를 따라 오고 있습니다.

• 왼쪽 선로: 3명의 죄수 있음 (죽을 위기)
• 오른쪽 선로: 1명의 죄수 있음

당신이 할 수 있는 일: 레버를 당기면 기차 방향을 바꿔서 1명만 죽게 만들 수도 있습니다.

질문: 레버를 당기시겠습니까? 당기지 않으시겠습니까?

의견이 나뉩니다

의견 1: "당기세요" (더 많은 목숨을 살리는 게 맞다)

의견 2: "당기지 마세요" (당신이 직접 한 명을 죽게 하는 건 다르다)

 

저희 팀 4명중에서 저 혼자 2번이었습니다..! (팀 의견은 과반수 1번으로 취합되었습니다)

2번 레버를 당기지 않아야 한다고 생각한 이유는, 당기는 행위 자체에 대한 책임이 발생한다고 생각해서였습니다.

왜 이걸 토론했을까?

AI가 실제로 마주할 수 있는 실제 상황인 것 같습니다.

• 자율주행차가 사고를 피하려면 누구를 보호할지 선택
• 병원 AI가 제한된 자원을 누구한테 먼저 줄지 결정
• 추천 앱이 어떤 정보를 먼저 보여줄지 선택

중요한 것은: "AI는 이런 결정을 혼자서 해서는 안 된다"는 겁니다.

대신 "이런 기준으로 판단하는데, 최종 결정은 당신이 하세요"가 올바른 AI 활용법일 것이라고 생각합니다.

---

 

7. 카카오의 국제적 노력

카카오는 한국뿐 아니라 전 세계와 협력하고 있습니다:

• 미국, 유럽 등 세계 AI 안전 네트워크에 참여
• 국내 다양한 기관들과 함께 AI 안전 표준 만들기 중
• 한국의 상황에 맞는 위험 데이터셋 구축 중

작년 한 해에만 66건의 기술윤리 활동을 했다고 합니다.

---

8. 관련 자료

✓ AI 윤리 원칙과 안전 방법

AI 윤리 원칙과 AI 리스크 관리 프레임워크 - tech.kakao.com

 

✓ 카나나 가드레일 기술 설명

카카오 AI 가드레일 모델, Kanana Safeguard 시리즈를 소개합니다. - tech.kakao.com

 

✓ 영상으로 보기: 국내 최초 오픈소스 기술 소개

 

---

마치며

AI 기술이 계속 발전하면서 위험도 커지고 있습니다. 하지만 어떻게 대비할지도 명확해지고 있는 것 같습니다.

카카오가 보여준 것은 단순한 "기술 개발"이 아니라 "정책 + 기술 + 협력"의 준비된 접근입니다.

• 한국말의 미묘한 뉘앙스를 이해하고
• 한국 문화의 맥락을 반영하고
• 전 세계와 함께 기준을 만들어가는 모습

이 인상적이었습니다.

 

 

+점심 산책으로 @린지 님과 팀원분들과 함께, 1층 카카오프렌즈샵도 구경해보고 재미있는 경험이었습니다 !

 

+World IT Show 2026에 참가하여 카카오가 선보인 쬬르디 만들기 체험 부스도 다녀왔었습니다. 인기가 많아 줄이 엄청 길었어요..!