당신은 AI를 활용하고 있습니까?

바야흐로 대 AI의 시대입니다. 뒤쳐질까 두려움에, 혹은 남들보다 더 잘 써보고 싶은 마음에 너도 나도 AI를 활용하고 프롬프트 엔지니어링부터 하네스 그리고 이제는 루프까지 왔습니다. 빠르게 바뀌는 용어 만큼 회사에서도 이 AI를 활용 하고자 분주하게 돌아가고 있습니다.

요즘은 업무를 잘 하는 것도 중요하지만, 위의 제목처럼 업무에 AI를 제대로 활용하고 있는가? 를 굉장히 중요하게 물어보는 시대입니다. 그래서 이 질문에 답을 하고자 다들 노력 중이죠. 그냥 질문으로 끝나거나 격려로 끝나면 모르겠지만 우리 내 회사들은 너도 나도 뭔가 측정해보겠다며, 수치로 만들겠다며 AI로 만든, 서로 비슷하게 생겨 먹은 대시보드를 하나 둘 씩 만들기 시작합니다.

토큰은 얼마나 쓰고 있습니까?

가장 먼저 그리고 가장 쉽게 측정 가능한 것이 바로 토큰 사용량입니다. 해외에서도 최근까지 토큰 맥싱이라고 해서, 일종의 토큰 사용량 줄 세우기를 통해 최대한 많은 토큰을 쓰도록 장려하기도 했습니다. (지금은 그게 아니라는 걸 깨달았죠) 토큰 사용량은 가장 쉽게 측정 가능하지만, 동시에 그것 만으로는 아무것도 증명하지 못하는 허망한 수치이기도 합니다. 같은 질문이나 같은 요청에 대해 결국 어느 정도의 사고 d용량을 쓸 것인지, 추론 단계를 어떻게 가져갈 것이며 검색할 데이터들, 이용하는 도구들이 전달하는 데이터를 어느 정도까지 수용할 것인지 등이 더 큰 영향을 주기 때문이죠.

이제는 어느 정도 합리적인 토큰 사용량이 필요하고, 토큰이 곧 비용이기 때문에 그렇게 낭비해도 되는 자원이 아니라는 것에는 어느 정도 공감대가 쌓였다고 생각합니다. 다만 안타깝게도 일부 회사들의 경우 여전히 토큰 개수를 세어 가면서 직원들의 AI 활용 능력을 측정하고 있다는 점이 지금의 대 AI 시대에서 목도 하는 코미디가 아닌가 싶습니다.

클로드 코드를 안쓴다구요?

그렇다면 당신은 뒤쳐진 인간입니다. 제가 친절하게 당신의 뒤쳐짐을 다른 동료들과 비교해서 상사에게 대시보드로 보고 드리겠습니다. 라고 누군가가 이 글을 보시는 여러분께 말했다고 한다면, 기분이 어떨까요? 저는 지금의 클로드 코드 광풍이나 에이전트를 활용하지 못하면 구석기 시대 인류로 취급하는 현상이 정말 이상하다고 생각합니다.

우리가 보통 운전 면허를 취득하고 자동차를 잘 운전한다고 해서, 혹은 뭔가 좀 더 뛰어나게 잘한다고 해서 그것이 누군가를 비하하거나 비난할 자격을 주진 않습니다. 운전 실력으로 승부를 보는 스포츠의 세계에서는 또 모르겠지만, 대부분의 사람들은 F1 레이스를 하지 않으며 고속도로에서 안전하게 운전만 잘 하면 됩니다. 저는 AI가 누군가에게는 강력한 F1 차량이 될 수도 있겠지만, 대부분의 사람들에게는 편하고 안전하게 목적지까지 이동할 수 있는 평범한 차가 될 거라고 생각합니다. 그 차가 꼭 클로드 코드여야 할 필요도 없고, 클로드 코드를 안 쓴다고 해서 꼭 목적지까지 못 간다는 법도 없으니까요.

하지만 이런 저의 작은 항변은 수많은 유튜브 강의와, 또 그 강의들을 맹목적으로 받아들이면서 마치 모든 사람들이 F1 경주에 참여해야 하고 단순하게 운전하는 것이 아닌 무조건 정답이 정해진 차량(클로드 코드)만 타야 한다고 강요하는 건 좀 이상합니다.

AI 시대의 코미디: 왜 대시보드만 늘어나고 있나?

정말 이상한 점은 제가 클로드 코드를 쓰는지, 토큰은 얼마나 쓰고 있는지, 언제 어느 시점에 GPU를 활용(or 낭비)하고 있는지 추적하는 대시보드만 회사에서 점점 늘어나고 있다는 점입니다. 추적이 쉬우니까, 왠지 다들 그렇게 활용하고 있으니까 그리고 (더 중요한 점!) AI 이전에는 이런 대시보드 만드는 게 쉽지 않았지만, 지금은 딸깍 한 번이면 클로드가 다 만들어주니까. 그래선지 요즘엔 사내에 대시보드들이 너무 많아지고 있습니다. 무슨 측정 항목들이 그렇게 많은지, 리더분들은 그 지표 속에 담긴 함의를 제대로 해석이나 할 줄 아는 걸까요?

물론 지표를 관리하는 건 중요합니다. 하지만 정작 제대로 관리해야 할 지표들은 추적이 어렵다는 이유로, 당장 대시보드로 만들기 어렵다는 이유로 외면한 채 그저 쉽게 계산 가능하고, 빨리 만들어서 보고할 수 있는 것들에만 에너지를 낭비하고 있습니다. 토큰 사용량을 추적하고 토큰 맥싱을 바라면, 직원들은 그저 그 수치 달성을 위해서 아무 필요도 없는 도구를 제작하고 또 다른 대시보드들을 찍어낼 뿐입니다. 경영진이야 한 눈에 예쁘게 그려지는 차트와 표들을 바라보며 흐뭇할 수는 있겠지만, 그 페이지가 주는 건 단순히 우리도 뭔가를 해내고 있다는 위안 정도 뿐입니다.

직원들이 정말 AI 시대에 잘 적응하고 있는지, AI를 통해서 어떤 점들을 개선하고 있는지 제대로 파악하려면 지표가 아니라, 또 다른 대시 보드가 아니라 본인부터 직접 에이전트를 개발해 보면서 사내에서 정작 엑셀이나 워드, 파워 포인트 문서 파일들에 갇혀버린 데이터들을 어떻게 쉽게 꺼낼 수 있게 할지, AI가 얼마나 더 쉽게 데이터에 접근하고 분석할 수 있도록 할지, 그래서 새로운 인사이트를 사람과 더 잘 논의할 수 있도록 만들 수 있을 지를 고민하는 게 더 낫지 않을까 싶습니다.

눈에 보이는 지표 말고 그 이면을 보자

대시보드는 편합니다. 한 눈에 보이니까요. 그러나 그것만으로는 AI가 회사에 잘 도입되고 있는지 알기 어렵습니다. 또한 AI라고 해서 만능이 아닙니다. AI가 제대로 일할 수 있게 하려면 제대로 된 도구들이 갖춰져야 하고, 그 도구들이 또한 제대로 사내 데이터들에 쉽게 접근할 수 있어야 합니다. 지금 이 순간에도 기업 데이터의 대부분은 엑셀 파일로 관리되는데, 우선은 거기에서 벗어나 DX부터 제대로 해야 AX를 논할 수가 있습니다.

토큰 사용량을 측정하기 전에, 클로드 코드를 제대로 쓰는지 감시하기 전에, 무수히 많은 그 이상한 대시보드들을 딸깍으로 또 만들기 전에 먼저 생각하는 사람만이 할 수 있는 질문, “왜?” 를 먼저 던져보고 AI를 업무에 적용하기 위해 필요한 것들은 무엇인지, 우리가 무엇을 진정으로 개선해야 하고 지표까지 만들어서 관리해야 하는 지를 따져보았으면 합니다.

회사에 AI 관련된 대시보드가 벌써 한손으로 세기 어려울 정도로 늘어나고 있습니다. 저마다 대시보드부터 만들겠다고 하는데, 그냥 피곤합니다. 무슨 수치를 또 관리하겠다고 저러는지 하는 한숨만 더 늘고 있습니다. 슬롯 머신 땡기듯 딸깍 딸깍 하지말고 제발 한 번이라도 그냥 생각 좀 제대로 하고 일 다운 일을 해줬으면 합니다.