화면 보고 대신 일하는 오픈소스 'AI 동료' 등장

화면을 직접 보고 마우스와 키보드를 움직여 일하는 '컴퓨터 사용(computer-use)' 에이전트가 오픈소스로 풀렸다. 오픈코워크(open-cowork)는 작업을 맡기면 에이전트가 화면을 인식해 단계별로 실행하고, 사용자는 그 과정을 지켜보다가 어디서든 승인만 하면 되는 구조의 프로젝트다. MIT 라이선스로 공개됐다.

무슨 일인가

컴퓨터 사용 에이전트는 대형 AI 업체들이 앞다퉈 시연해 온 분야지만, 대부분 특정 회사 모델과 유료 플랜에 묶여 있었다. 오픈코워크는 이 지점을 파고든다. 특정 모델에 종속되지 않는 모델 불문(model-agnostic) 설계라 자기 API 키를 넣어 원하는 LLM을 쓰거나, 개발사인 코스티(Coasty)의 계정을 연결해 쓸 수도 있다. 실행 무대도 세 가지다. 사용자 본인의 데스크톱 화면을 직접 제어하거나, 클라우드 가상머신에서 돌리거나, 브라우저 안에서만 움직이게 할 수 있다.

핵심 짚어보기

진입 장벽을 낮춘 점이 눈에 띈다. 저장소를 받아 명령 한 줄이면 백엔드·웹 UI·데스크톱 앱이 한 번에 뜨고, API 키가 없으면 계정도 결제도 네트워크도 필요 없는 데모 모드로 동작한다. 내장된 모의 서버와 임시 샌드박스 키로 흐름 전체를 공짜로 체험해 볼 수 있는 것이다. 앤스로픽(Anthropic) 키를 환경 파일에 넣으면 앱이 이를 감지해 화면 인식이 가능한 모델을 알아서 고른다.

작동 방식은 '위임 → 관전 → 결과 수령'으로 요약된다. 작업을 입력하면 예상 비용을 확인받은 뒤 실행이 시작되고, 진행 단계가 화면에 하나씩 표시된다. 다만 로컬 제어 모드는 실제 마우스와 키보드를 그대로 움직이기 때문에 저장소 문서 곳곳에 경고가 붙어 있다. 취소 버튼이나 창 닫기로 즉시 멈출 수 있고, 작은 작업부터 시작하라는 안내다.

1인기업 실전 적용 포인트

• API가 없는 서비스의 반복 작업이 1순위 후보다. 관리자 페이지에 매일 들어가 버튼을 누르고 값을 옮겨 적는 류의 일은 코드 연동 없이 화면 조작만으로 위임할 수 있다.
• 데모 모드가 있으니 결제 전에 내 업무 시나리오가 실제로 굴러가는지 0원으로 검증하고, 그다음에 자기 키를 붙이는 순서가 안전하다.
• 로컬 모델을 연결하면 실행 비용이 0원이 되므로, 품질이 덜 중요한 반복 작업은 로컬로·중요 작업은 상용 모델로 나누는 운용이 가능하다.
• 본인 PC를 제어시킬 때는 은행·이메일 등이 열린 일상 환경 말고 별도 사용자 계정이나 가상머신에서 돌리는 편이 사고 범위를 줄인다.

전망 / 주의점

컴퓨터 사용 에이전트는 아직 성공률이 작업 난이도에 크게 좌우되는 초기 기술이다. 화면 구성이 조금만 바뀌어도 헤매는 일이 흔하고, 실수 한 번의 파장이 텍스트 생성과는 차원이 다르다. 그래서 이 프로젝트가 강조하는 '지켜보다 승인하는' 감독 구조는 당분간 선택이 아니라 필수로 봐야 한다. 오픈소스 진영에서 이런 감독형 설계가 표준으로 자리 잡을지 주목된다.

출처: HN (https://github.com/coasty-ai/open-cowork)