MENTORING AGENT
매번 달라지는
멘토링 피드백에
기준을 만들다
판단 기준을 Skills로 구조화해,
멀티 Agent와 사람 검수로 운영했습니다.
반복 업무에 기준을 남기는 멘토링 Agent 설계YUJIN FLOW
매번 달라지는
문제에서 실행까지
다섯 단계로 정리했습니다.
DEFINE / 문제 정의
피드백이 느리다는 현상을 넘어, 품질을 보증하기 어려운 진짜 문제를 찾습니다.
USER / 멘토 업무
멘토가 매주 제출물을 읽고 판단하고 피드백을 만드는 실제 일을 봅니다.
JOURNEY / 실제 흐름
수집, 분석, 작성, 검수까지 반복되는 업무의 흐름을 펼쳐봅니다.
INTELLIGENCE FIT / 역할과 판단
규칙 처리와 AI의 일을 구분하고, 역할 분리의 이유와 중단 조건을 정합니다.
NEXT AGENT / 실행과 재사용
실행하고 검수한 뒤, 기준을 고쳐 다른 입력으로 다시 확인합니다.
과제 제출부터 피드백 수정까지 실제 업무 장면
QUESTION CHALLENGEQ. 멘토링은 주관적인데,
Q. 멘토링은 주관적인데,
이런 것도 AI로 만들 수 있을까?
멘토링은 경험을 바탕으로
다른 사람의 성장을 돕는 일입니다.
MENTORING 멘토링
경험이 적은 사람에게 조언과 도움을 제공하고,
일이나 학습에서 발전할 수 있도록 지원하는 활동.
경험과 전문 지식을,
AI가 읽을 수 있는 기준으로.
경험 속 판단을, AI가 읽을 수 있는 기준으로 꺼냅니다.
경험과 전문 지식 = KNOWLEDGE
경험 → 판단 절차 → 파일
감각을 세 가지 질문으로 풉니다.
01 관찰
무엇을 했고, 어떤 근거가 있나?
결과물은 있지만 사용자 테스트 기록은 없다.
02 진단
목표와 현재 상태 사이에 무엇이 빠졌나?
만들기는 했지만, 실제 문제를 해결하는지는 확인하지 못했다.
03 처방
지금 가장 작게 검증할 일은 무엇인가?
목표 사용자 3명에게 사용하게 하고, 막힌 지점을 기록한다.
AI는 꺼내 적은 기준으로 초안을 만들고,멘토는 수강생의 사정과 예외를 고려해 최종 판단합니다.
A. 비워야, 새로운 습관과 지식을 채울 수 있습니다.
내려놓을 생각
“이 일은 반드시 내가 전부 해야 해.”
새롭게 시도할 방식
“기준을 AI와 공유하고, 나는 판단에 집중하자.”
UNLEARNING 언러닝 / 학습 파기
새로운 것을 배우기 위해, 더 이상 유효하지 않은 과거의 습관이나 지식을
의도적으로 내려놓고 바꾸는 과정입니다.
왜 피드백 시간이
오래 걸릴까?
시간이 오래 걸린 이유는, 품질을 유지하려고 같은 판단을 매번 다시 했기 때문입니다.
왜 오래 걸릴까?
수강생마다 결과물이 달라서, 피드백 품질을 유지하려면 매번 다시 읽고 판단해야 했습니다.
ㄴ
왜 매번 다시 판단할까?
판단 기준이 문서로 정리되지 않아, 머릿속 기준을 매번 다시 꺼내야 했습니다.
ㄴ
왜 기준을 재사용하지 못할까?
PDF와 Slack 진단, 고친 이유가 함께 남지 않아 다음 검수 기준으로 이어지지 않았습니다.
내가 꺼내 적은 지식이,
AI의 일하는 기준이 됩니다.
나의 경험과 판단
판단 기준
좋은 예시
업무 맥락
꺼내 적고 연결하기
MD
mentoring-criteria.md# 멘토링 판단 기준
01 어디서 막혔는가02 무엇을 먼저 해야 하는가03 어디까지 도울 것인가좋은 피드백 예시
예외를 확인할 질문
내가 하던 멘토링을,
판단 질문과 실행 업무로 나눴습니다.
기존 방식
과제를 읽고, 부족한 점을 짚고, 다음에 할 일을 알려준다.
어디서 막혔는가?
제출물과 지난 피드백을 비교하고,
주장을 뒷받침하는 근거를 찾습니다.
무엇을 먼저 해야 하나?
목표와 현재 상태의 차이를 짚고,
지금 검증할 행동 한 가지를 정합니다.
어디까지 도울 것인가?
스스로 실행할 수 있게 안내하고,
수강생의 사정과 예외를 확인합니다.
↓ 판단 과정을 반복 가능한 업무와 파일로 구체화
업무를 담당 Agent로 묶고,
그 안에 반복할 Skill을 연결했습니다.
같은 진단을 공유하면서, 작성과 검수를 분리하기 위한 역할 구성입니다.
ORCHESTRATOR
멘토링 피드백 총괄
업무 분배 → 공통 진단 전달 → 결과 취합
진단 Agent
내용을 읽고 핵심 문제 판단
SKILL제출물 진단근거 확인 + 우선순위 결정
PDF Agent
분석을 리포트로 구성
SKILL리포트 작성구성 + 근거 + 피드백 톤
Slack Agent
실행할 행동을 짧게 전달
SKILL멘트 작성핵심 요약 + 다음 행동
검수 Agent
원문과 두 결과를 대조
SKILL품질 검수진단 일치 + 누락 확인
멘토 최종 승인 예외 판단과 발송 결정
Agent는 담당자, Skill은 그 담당자가 반복해서 쓰는 업무 방법입니다. 형식과 누락은 규칙으로, 맥락 해석은 AI로 처리합니다.
누가 흐름을 이어받는가에 따라
오케스트레이션 구조가 달라집니다.
총괄이 제어를 유지
Manager
↓ 호출 / ↑ 결과 반환
Agent AAgent BAgent C
전문 Agent를 도구처럼 호출하고,
결과를 받아 총괄이 응답을 완성합니다.
담당 Agent로 제어 이전
Agent Ahandoff →Agent B
다음 담당 Agent가 실행을 이어받고,
이후 대화와 응답을 맡습니다.
실패와 승인 지점에 사람을 남겨,
반자동화로 운영했습니다.
자료가 없으면
시작하지 않습니다.
AI가 확인
제출물과 기준 문서의 누락
사람이 결정
자동 작업 보류 → 멘토에게 요청빠진 자료 보완과 작업 재개
고쳐도 맞지 않으면
멘토에게 넘깁니다.
AI가 확인
근거 부족, PDF와 Slack의 다른 진단
사람이 결정
최대 2회 수정 → 실패 이유와 초안 전달수강생의 맥락과 예외를 보고 최종 판단
검수를 통과해도
바로 보내지 않습니다.
AI가 준비
수정된 PDF와 Slack 초안
사람이 결정
멘토 승인 → 발송내용과 표현을 확인하고 발송 승인
VS Code에서 폴더를 읽고,
Claude Code를 실행합니다.
설명용 재구성 화면입니다. 실제 실행에서는 위임 대상, 읽은 Skill, 반환 결과, 수정 횟수를 로그에서 확인합니다.
같은 진단을 말하고,
다음 행동이 보이면 통과.
이 두 조건을 원문 근거와 대조해 Agent의 성공과 실패를 판단했습니다.
진단 일치
PDF와 Slack이 같은 핵심 문제를 말하는가?
행동 가능
멘티가 다음에 무엇을 할지 구체적으로 알 수 있는가?
PASS두 조건 충족 → 멘토 최종 검수
FAIL하나라도 미충족 → 원인과 함께 수정 반환
자동 검수 통과는 발송 승인이 아닙니다. 표현, 예외, 개인정보는 멘토가 마지막으로 확인합니다.
고친 결과와 함께,
고친 기준도 남깁니다.
설명용 가상 사례 / 실제 실행 성과가 아닙니다
두 결과의 진단이 다름
PDF는 “검증 기준 부족”, Slack은 “아이디어 구체화 필요”라고 안내합니다. 멘티에게 서로 다른 행동을 요구합니다.
공통 진단을 먼저 읽기
“PDF와 멘트는 공통 진단 파일의 핵심 문제와 다음 행동을 사용한다. 다른 판단이 필요하면 총괄에게 반환한다.”
재사용은 다시 검증
다른 제출물로 실행해 두 결과를 원문과 대조합니다. 일치 여부, 수정 횟수, 검수 시간을 실행 기록에 남깁니다.
실제 기록으로 남길 것 입력 / 첫 결과 / 수정한 Skill 문장 / 새 입력의 결과 / 멘토 판정
한 번 만든 기준을,
다른 입력에서도 확인합니다.
첫 실행 기록
입력과 기준 버전을 남깁니다. PDF와 멘트를 원문에 대조하고 실패한 조건을 기록합니다.
기준 수정 후 재실행
수정 이유를 검토해 Skill에 반영합니다. 새 제출물과 누락 자료도 넣어 동일한 기준과 중단 조건을 확인합니다.
품질과 시간을 함께
진단 불일치, 누락, 수정 횟수를 확인합니다. AI 처리뿐 아니라 사람 검수와 재작업 시간까지 비교합니다.
기록은 자동 학습이 아닙니다. 멘토가 수정 이유를 검토해 기준 문서에 반영하고, 다음 실행에서 해당 파일을 읽도록 연결합니다.
성과 기록 원칙 실측하지 않은 절감 효과는 성과로 쓰지 않습니다.
좋은 Agent보다 먼저, 운영 기반을 설계합니다.
데이터를 정리하고, 필요한 도구만 연결하고, 작은 업무 하나에서 Plan, Do, See를 반복합니다.
데이터 관리: 네 폴더부터 고정
Agent가 매번 다시 묻지 않도록 자료의 역할과 저장 위치를 먼저 정합니다.
input원본 제출물
회의 기록
회의 기록
reference판단 기준
좋은 예시
좋은 예시
outputPDF
메시지 초안
메시지 초안
log검수 기록
수정 이유
수정 이유
커넥터: 필요한 흐름부터 연결
Notion제출물과 기준 문서를 읽는 원본 저장소
Slack요청을 받고 승인된 결과를 전달하는 채널
Google Drive첨부 자료와 PDF 결과물을 보관하는 공간
Google Calendar주간 실행과 마감 시점을 시작하는 트리거현업 문제는 가공하지 말고 질문
지금 방식에서 결과의 품질이 흔들린 실제 장면을 세 가지로 나눠줘.
AI가 맡을 판단과 사람이 승인할 판단을 구분해줘.
필수 입력, 통과 기준, 중단 조건이 빠졌는지 질문해줘.
자동화가 아니라 구조부터 바꿔야 할 부분을 찾아줘.
더 찾아볼 학습 경로
AKAndrej KarpathyLLM이 문맥을 읽고 다음 결과를 만드는 원리부터 이해합니다.
ANAndrew NgReflection, Tool Use, Planning 같은 Agent 설계 패턴을 봅니다.
CAClaude Academy도구 연결, Skills, Agent 실행 방식을 실습합니다.
자동화보다 먼저 설계한 것은
품질을 설명할 수 있는 구조였습니다.
멘티 과제가 들어오면 역할별 Agent가 Skills에 따라 작업합니다.
자동 검수와 사람 승인을 거쳐 수정 이유를 다음 실행의 기준으로 남깁니다.
지난 피드백
멘토 메모
우선순위 결정
결과 취합
진단과 분류PDF 작성Slack 멘트
멘토 최종 승인
발송 여부 결정
수정 이유
다음 확인 포인트
멘토가 기록을 검토해 기준을 갱신하고, 다음 실행은 갱신한 기준을 읽습니다. 최대 2회 수정 후 실패하면 중단합니다.