AI 직원 8명 굴려보고 알게 된 것들
담당자는 8명인데 실제로 말이 통하는 건 2명이었습니다
앞 편에서 조직도에 AI 담당자를 심는 이야기를 적었습니다. 그 뒤로 8명까지 늘렸습니다. 업무를 받아 배분하는 조정 담당, 세무와 재무, 인사노무, 총무, 공무와 현장관리, 마케팅, 법무, 종합보고까지 여덟입니다. 화면상으로는 여덟 자리가 빠짐없이 채워져 있었고, 연결됐다는 뜻으로 붙는 파란 표시까지 나란히 달려 있어서 겉으로 보기에는 조직이 다 완성돼 돌아가는 것처럼 보였습니다.
그런데 답이 돌아오는 자리는 둘뿐이었습니다. 나머지 여섯 자리는 역할 설명만 적혀 있는 카드였습니다. 이 글은 그 간극을 메우는 과정에서 나온 문제와, 손댄 순서, 아직 남겨둔 결함을 정리한 기록입니다.
- 화면 표시와 실제 기능이 어긋나 있었습니다. 클릭하면 될 것처럼 보이는데 정작 입력창이 안 뜨는 자리가 여럿이었고, 그 자리들은 하나같이 서버에는 없고 화면에만 존재하는 껍데기였습니다.
- 업무를 넣는 방식도 바꿨습니다. 사용자가 부서를 직접 찾아 지시하던 구조를, 한 곳에서 접수해 배분하는 구조로 바꿨습니다.
- 가장 위험했던 건 회사 업무용 AI와 개인용 도구가 분리되지 않은 상태였다는 점입니다. 기능보다 더 근본적인 경계의 문제였습니다.
- 대화가 두 번 오가면 처음 시킨 업무를 잃어버리는 결함이 남아 있습니다.
파란 표시는 붙었는데 뒤가 비어 있었습니다
처음 이상하다고 느낀 건 조정 담당 카드를 눌렀을 때였습니다. 오른쪽에는 역할 설명만 떴습니다. 정작 업무를 적어 넣을 입력창이 나오지 않았습니다.
확인해보니 조정 담당은 서버 명단에 없고 화면에만 있었습니다. 파란 표시는 실제 연결 상태를 반영한 값이 아니라 수동으로 붙여둔 표시였습니다. 같은 상태인 자리를 세어보니 조정 담당 말고도 여럿이 더 나왔고, 모두 똑같았습니다.
이게 왜 문제냐면, 쓰는 사람은 표시를 보고 판단하기 때문입니다. 파란 표시가 붙어 있으면 당연히 눌러서 일을 시킬 수 있는 자리라고 생각하고, 그 판단이 틀렸을 가능성은 아예 떠올리지도 않습니다. 그러다 아무 반응이 없으면 고장 났다고 여기고, 더 나쁘면 일을 시켜놨다고 착각한 채로 다음 일정으로 그냥 넘어가 버립니다. 이게 가장 위험합니다.
그래서 규칙을 하나 세웠습니다. 표시는 서버에 실제로 등록된 담당자에게만 예외 없이 붙입니다. 아직 만들지 않은 자리는 준비 중이라고 적습니다. 만든 척을 안 하는 쪽이 낫습니다.
부서를 찾아가는 방식을 버렸습니다
초기 구조에서는 먼저 조직도에서 담당 부서를 찾아 클릭해야 했습니다. 그다음 오른쪽에 열린 창에 업무를 적고, 필요한 사진이나 문서를 붙인 뒤 전달 버튼을 눌렀습니다. 네 단계였습니다.
써보니 앞이 걸렸습니다. 업무를 넣기 전에, 이 일이 어느 법인의 어느 부서 소관인지를 사람이 먼저 판단해서 그 부서를 직접 찾아 들어가야 합니다. 바로 그 판단을 덜어주려고 만든 화면이었습니다. 순서가 거꾸로였던 겁니다.
그래서 업무 접수 창구를 한 곳으로 모았습니다. 조정 담당에게 평소 쓰는 말로 업무를 입력하면 대상 법인과 담당 부서, 협업 부서, 검토 필요 여부, 사람 승인이 필요한 등급을 판단하도록 했습니다. 업무가 어느 법인과 부서에서 진행 중인지도 해당 카드에 표시했습니다.
이 구조로 바꾸고 나서는 쓰는 사람이 어느 법인 어느 부서가 무슨 일을 맡는지를 통째로 외우고 있을 필요가 없어졌습니다. 대신 어디서 무엇이 도는지는 눈으로 봅니다. 처음부터 이랬어야 했습니다.
담당자마다 다른 모델을 붙였습니다
여덟 자리에 같은 모델을 붙일 이유는 없었습니다. 업무를 읽고 어디로 보낼지 판단하는 조정 담당에는 가장 상위 모델을 붙였고, 자료를 조회하고 대조하는 실무 담당자들에는 중간 모델을 붙였습니다. 분류가 애매할 때 한 번 더 걸러주는 자리에는 가장 가벼운 모델을 붙였습니다. 판단의 무게가 다르면 비용도 다르게 써야 한다는 것이 몇 번 돌려본 뒤 내린 결론이었습니다.
동시 실행은 전체 3건, 한 명당 1건으로 제한했습니다. 제한이 없으면 같은 담당자에게 업무가 연달아 들어올 때 서로 엉킵니다.
두 번째 답을 하면 첫 업무가 사라졌습니다
이게 아직 안 고쳐진 결함입니다. 순서는 이렇습니다.
잔액을 확인해달라고 넣었습니다. 한 줄입니다. 조정 담당이 세무와 재무 쪽 업무로 제대로 분류했고, 대상이 어느 법인인지 알려달라고 되물어 왔습니다. 여기까지는 정상입니다. 그다음 법인 이름 하나를 답으로 넣었습니다. 딱 한 단어였습니다. 그러자 원래 시킨 잔액 확인 업무가 통째로 사라지고, 법인 이름 하나만 덜렁 놓인 상태에서 그게 새 업무인 양 일반 업무로 다시 분류돼 버렸습니다. 시킨 일이 없어진 겁니다.
원인은 명확했습니다. 진행 중인 업무의 상태를 보관할 공간이 없었습니다. 대기 중인 업무 원문, 이미 판정된 부서, 사용자에게 다시 물어본 항목을 한 묶음으로 관리하지 못했습니다. 매 요청을 독립된 새 업무로 처리하니, 두 번째 답변이 첫 번째 요청과 이어질 방법도 없었습니다.
간단해 보이는데 간단하지 않았습니다. 어디까지를 하나의 업무로 묶을지, 되물은 뒤에 사용자가 엉뚱한 말을 하면 어떻게 처리할지, 대기 상태를 언제 버릴지까지 다 정해야 합니다. 지금은 기록만 남겨둔 상태입니다.
같은 성격의 항목이 회귀 시험에서도 네 건 남아 있습니다. 미지급금, 두 법인 공동 인력 투입, 법인 간 자재비, 현장 인원 추가. 네 건 모두 같은 양상입니다. 전부 한 번에 판단이 안 되고, 되물은 다음에 다시 판단해야 하는 두 단계짜리 업무들입니다. 반대로 한 번에 판단되는 라우팅 33건과 세션 교체 19건은 통과했습니다. 막힌 자리가 그대로 보입니다.
가장 위험했던 건 기능이 아니라 경계였습니다
점검 중 가장 뼈아팠던 건 회사 업무용 담당자를 실행하는 명령에 전용 프로필 지정이 빠져 있었다는 점입니다. 한 줄짜리 옵션이었습니다.
무슨 뜻이냐면, 회사 업무를 처리하는 AI가 제 개인 작업 환경의 메모리와 과거 대화, 개인 계정에 연결된 도구, 파일 접근 권한까지 아무 제한 없이 그대로 쓸 수 있는 상태였다는 것입니다. 사고는 안 났습니다. 다만 사고가 안 났다는 건 우연이지 설계가 아닙니다.
기능은 나중에 고치면 됩니다. 경계가 없는 건 나중이 없습니다. 한 번 새면 끝입니다. 회사 자료가 개인 쪽으로 새거나, 반대로 개인 메모가 회사 업무 답변에 섞여 나가 버리면 그때는 되돌릴 방법이 아예 없습니다. 그래서 1순위로 올렸습니다.
하나 배웠습니다. 이런 종류의 문제는 화면을 아무리 들여다봐도 안 보입니다. 화면은 멀쩡하게 잘 돌아갑니다. 실행 명령이 실제로 어떤 옵션을 달고 나가는지 직접 뜯어봐야 나옵니다.
시스템 경고가 답변에 섞여 나왔습니다
이건 바로 보였습니다. 업무 결과 바로 위에, 도구 이름을 알 수 없다는 경고와 도구 이름을 자동으로 고쳤다는 안내가 아무 필터 없이 그대로 찍혀 나왔습니다.
만든 사람에게는 익숙한 경고일지 몰라도, 실무자가 보면 그냥 오류로 보입니다. 그러면 화면에 나온 결과를 믿어도 되는지부터 판단이 서지 않고, 결국 다시 확인하게 됩니다. 업무 결과와 내부 경고를 갈라놓고, 경고는 로그에만 남기고 사람이 보는 화면에는 안 내보내는 필터가 있어야 합니다.
버전 표기가 네 곳에서 다 달랐습니다
파일 이름의 번호, 서버 시작 문구, 화면 상단 표시, 실제 커밋 이력에서 센 번호가 모두 달랐습니다. 네 곳을 다 확인해도 지금 도는 게 어느 버전인지 판별이 안 됩니다.
사소해 보입니다. 그런데 문제가 터졌을 때 지금 내가 어느 시점의 코드를 보고 있는지를 모르면, 원인 추적이라는 게 통째로 헛돌기 시작합니다. 한 곳을 기준으로 잡고 나머지는 그 값을 읽어다 표시하게 바꾸는 게 맞습니다.
화면에서 손본 것들
기능 외에 손본 것도 적어보겠습니다. 시간이 꽤 들었습니다.
초기화라는 버튼 이름을 홈으로 바꿨습니다. 실제 동작은 검색어를 지우고 펼쳐둔 항목을 접고 첫 화면으로 돌아가는 것뿐인데, 초기화라고 적혀 있으니 대화 기록이나 올려둔 자료가 통째로 날아가는 줄 알고 아무도 안 누릅니다. 이름이 동작을 잘못 설명하고 있었던 겁니다. 버튼 하나가 아니라 문장 하나를 고친 셈입니다.
상단 영역은 스크롤해도 밀리지 않도록 고정했습니다. 제목과 검색창, 전결 규정과 실증 업무 바로가기, 펼치기와 홈 버튼이 항상 위에 남습니다. 오른쪽 업무 패널도 이 고정 영역 아래에서 시작하도록 위치를 다시 맞췄습니다. 겹침 여부는 눈대중으로 넘기지 않고 직접 확인했습니다. 스크롤을 293픽셀 내린 상태에서 상단바 위치는 0, 업무 패널 시작 지점은 97픽셀이었고 겹침은 없었습니다.
양쪽 여백에 패널을 하나씩 넣었습니다. 왼쪽 하나, 오른쪽 하나. 왼쪽은 메모장입니다. 업무 지시가 아니라 사람이 그냥 적어두는 자리라, 서버로는 안 보내고 브라우저에만 저장합니다. 오른쪽은 업무 이력입니다. 어느 법인 어느 부서가 지금 무엇을 붙들고 있는지, 그 상태만 보여줍니다. 개인 메모와 업무 기록은 저장 위치부터 아예 갈라둔 것입니다. 메모는 회사 기록이 아니니까요.
클릭 가능한 항목이 48개까지 늘어나면서, 항목과 설명이 어긋난 채로 배포되는 사고를 막을 방법이 필요해졌습니다. 그래서 화면의 클릭 항목 목록과 설명 데이터의 키 목록을 각각 뽑아 개수와 누락을 대조하는 검사를 붙였습니다. 48개와 48개, 누락 없음. 배포 전에 이 한 줄을 매번 확인하고 넘어갑니다.
모바일은 아직입니다
휴대폰으로 열어봤습니다. 업무 입력창은 첫 화면에서 손이 닿는 위치까지 올라왔지만, 그뿐이었습니다.
답변의 긴 문장은 오른쪽 끝에서 그대로 잘려 나갑니다. 세로로 긴 화면에서는 전달 버튼이 첫 화면에 안 걸려서, 다 적고 나서 한참을 내려야 겨우 보입니다. 담당자 카드는 가로로 밀어야 보이는 방식이라 한 화면에 몇 개밖에 보이지 않습니다. 여기에 진행 현황 목록까지 붙으면 화면이 세로로 너무 길어집니다.
현장에서 휴대폰으로 보는 게 실제 쓰임새입니다. 그래서 이건 나중에 붙일 항목이 아니라 따로 다시 잡을 항목으로 옮겼습니다.
여덟 자리를 채우면서 정리된 기준
담당자를 하나에서 여덟으로 늘리는 동안 얻은 것은 기능이 아니라 기준 세 가지였습니다.
첫째, 화면은 실제보다 앞서가면 안 됩니다. 준비가 안 된 자리는 준비 중이라고 적으면 그만입니다. 표시가 앞서가면 쓰는 사람은 시킨 줄 알고 넘어갑니다.
둘째, 이름이 규칙입니다. 조정 담당 자리에 처음 붙였던 이름은 대표를 연상시키는 직함이었는데, 그대로 두면 실제 전결 규정과 섞입니다. 그래서 직함 대신 업무를 조정한다는 기능 이름으로 바꿔 달고, 승인 권한은 세 층으로 나눠서 화면에 그대로 적어뒀습니다. 실무를 승인하는 사람, 경영상 최종 판단을 하는 사람, 법률상 서명 권한이 있는 사람은 다 다릅니다. AI에게 직함을 붙이면 이 세 가지가 한데 섞여 나중에 누가 무엇을 승인했는지가 흐려집니다.
셋째, 진짜 위험한 건 안 보이는 데 있습니다. 화면이 잘리거나 버튼 이름이 어색한 문제는 금방 눈에 띄어 고칩니다. 회사와 개인의 경계가 안 나뉜 상태는 화면 어디에도 안 뜹니다. 뜯어봐야 나옵니다. 점검을 화면부터 시작하면 이런 게 계속 남습니다.
이어서 읽을 기록
