Mission: Self-Heal, 무인 운영실을 세워라

aws sts get-caller-identity --query Account --output text
node -v && jq --version && npx cdk --version

mkdir -p ~/capstone/self-heal && cd ~/capstone/self-heal
npx cdk init app --language typescript
(npx cdk bootstrap > /tmp/bootstrap.log 2>&1 &)   # 이미 부트스트랩된 계정은 수 초 내 통과
git add -A && git commit -m "chore: cdk scaffold" 2>/dev/null || true

npx cdk deploy --require-approval never --outputs-file cdk-outputs.json

API=$(jq -r '.PatientStack.ApiUrl' cdk-outputs.json)
FN=$(jq -r '.PatientStack.ShopFnName' cdk-outputs.json)
export OPS_TARGET_API="$API" OPS_OUTPUTS="$PWD/cdk-outputs.json"

curl -s "$API/health" | jq .
curl -s "$API/order"  | jq .
aws logs tail "/aws/lambda/$FN" --since 5m | tail -5

cat > chaos.sh << 'CHAOSEOF'
#!/bin/bash
# 사용: ./chaos.sh 1|2|3|blind   (1 CONFIG_POISON, 2 THROTTLE, 3 ENV_BREAK)
set -euo pipefail
OUTS="${OPS_OUTPUTS:-cdk-outputs.json}"
TABLE=$(jq -r '.PatientStack.TableName' "$OUTS")
FN=$(jq -r '.PatientStack.ShopFnName' "$OUTS")

MODE="${1:?Usage: ./chaos.sh 1|2|3|blind}"
if [ "$MODE" = "blind" ]; then
  MODE=$(( (RANDOM % 3) + 1 ))
  echo "[chaos] 블라인드 모드, 무엇이 주입됐는지는 메딕만 알게 됩니다"
fi

case "$MODE" in
  1) aws dynamodb update-item --table-name "$TABLE" \
       --key '{"pk":{"S":"flags"},"sk":{"S":"flags"}}' \
       --update-expression 'SET force_error = :t' \
       --expression-attribute-values '{":t":{"BOOL":true}}' ;;
  2) aws lambda put-function-concurrency --function-name "$FN" \
       --reserved-concurrent-executions 0 ;;
  3) aws lambda update-function-configuration --function-name "$FN" \
       --environment 'Variables={TABLE_NAME=broken-table-404}' ;;
  *) echo "unknown mode: $MODE"; exit 1 ;;
esac
echo "[chaos] 주입 완료. 이제 메딕이 일하게 두세요."
CHAOSEOF
chmod +x chaos.sh

./chaos.sh 1
curl -s -o /dev/null -w 'health: %{http_code}\n' "$API/health"   # 500이어야 정상적인 비정상

TABLE=$(jq -r '.PatientStack.TableName' cdk-outputs.json)
aws dynamodb update-item --table-name "$TABLE" \
  --key '{"pk":{"S":"flags"},"sk":{"S":"flags"}}' \
  --update-expression 'SET force_error = :f' \
  --expression-attribute-values '{":f":{"BOOL":false}}'

curl -s -o /dev/null -w 'health: %{http_code}\n' "$API/health"   # 다시 200

cat > medic.sh << 'MEDICEOF'
#!/bin/bash
# medic.sh - 대상 서비스 점검, 비정상이면 Claude 헤드리스로 진단과 복구, 결과를 INCIDENTS.md에 기록
set -uo pipefail
API="${OPS_TARGET_API:?OPS_TARGET_API 필요 (대상 서비스 ApiUrl)}"
OUTS="${OPS_OUTPUTS:-cdk-outputs.json}"
MAX_WAIT="${MEDIC_MAX_WAIT:-60}"

code=$(curl -s -o /tmp/health.json -w '%{http_code}' -m 5 "$API/health" || echo 000)
if [ "$code" = "200" ]; then
  echo "[medic] healthy"
  exit 0
fi

T0=$(date +%s)
echo "[medic] UNHEALTHY (http $code), Claude 진단 시작"

REPORT=$(claude -p "$(cat <<PROMPT
당신은 SRE 메딕 에이전트입니다. 대상 서비스 API가 비정상입니다 (HTTP $code).

런북:
$(cat RUNBOOK.md)

스택 출력(cdk-outputs.json):
$(cat "$OUTS")

마지막 헬스 응답: $(cat /tmp/health.json 2>/dev/null)

런북의 감별 진단표 순서로 원인을 특정하고, 런북의 처방 명령으로 직접 복구한 뒤
curl로 /health 200을 확인하세요. 보고서 마지막 줄은 정확히 다음 형식 한 줄로 끝내세요:
ROOT_CAUSE: <CONFIG_POISON|THROTTLE|ENV_BREAK>
PROMPT
)" --output-format json --max-turns 15 --max-budget-usd 1.00 \
  --allowed-tools "Bash(aws logs *)" "Bash(aws dynamodb *)" "Bash(aws lambda *)" "Bash(curl *)" "Read")

echo "$REPORT" | jq -r '.result' > /tmp/medic_report.md
COST=$(echo "$REPORT" | jq -r '.total_cost_usd // 0')

MTTR=""
i=0
while [ "$i" -lt "$((MAX_WAIT / 2))" ]; do
  c2=$(curl -s -o /dev/null -w '%{http_code}' -m 5 "$API/health" || echo 000)
  if [ "$c2" = "200" ]; then
    MTTR=$(( $(date +%s) - T0 ))
    break
  fi
  sleep 2
  i=$((i + 1))
done

TS=$(date '+%F %T')
if [ -n "$MTTR" ]; then
  CAUSE=$(grep -o 'ROOT_CAUSE: [A-Z_]*' /tmp/medic_report.md | tail -1)
  {
    echo "## $TS RECOVERED, MTTR ${MTTR}s, 비용 \$$COST"
    echo "$CAUSE"
    echo
    cat /tmp/medic_report.md
    echo
  } >> INCIDENTS.md
  echo "[medic] RECOVERED in ${MTTR}s / ${CAUSE:-원인 미표기}"
  exit 0
else
  {
    echo "## $TS FAILED, ${MAX_WAIT}s 내 미회복, 비용 \$$COST"
    cat /tmp/medic_report.md
    echo
  } >> INCIDENTS.md
  echo "[medic] 복구 실패, 사람 호출이 필요합니다"
  exit 1
fi
MEDICEOF
chmod +x medic.sh
bash -n medic.sh && echo "문법 OK"

./chaos.sh 1
./medic.sh
tail -8 INCIDENTS.md

mkdir -p .claude/hooks
cat > .claude/hooks/ops-interlock.sh << 'LOCKEOF'
#!/bin/bash
# PreToolUse(Bash) 인터록: 메딕이 절대 쓰면 안 되는 파괴적 명령 차단
INPUT=$(cat)
if command -v jq >/dev/null 2>&1; then
  CMD=$(echo "$INPUT" | jq -r '.tool_input.command // ""')
else
  CMD=$(echo "$INPUT" | python3 -c "import sys,json; print(json.load(sys.stdin).get('tool_input',{}).get('command',''))" 2>/dev/null)
fi

BLOCK='aws (iam |s3 rb|s3 rm|dynamodb delete-table|cloudformation delete-stack|ec2 terminate|lambda delete-function )'
if echo "$CMD" | grep -qE "$BLOCK"; then
  echo "[interlock] 차단: 파괴적 명령은 메딕 권한 밖입니다: $CMD" >&2
  exit 2
fi
exit 0
LOCKEOF
chmod +x .claude/hooks/ops-interlock.sh

echo '{"tool_input":{"command":"aws iam delete-role --role-name demo"}}' \
  | .claude/hooks/ops-interlock.sh; echo "exit: $?"
echo '{"tool_input":{"command":"aws lambda delete-function-concurrency --function-name x"}}' \
  | .claude/hooks/ops-interlock.sh; echo "exit: $?"

cat > medic-daemon.sh << 'DAEMONEOF'
#!/bin/bash
# 30초 주기 무인 순찰. 종료: kill %1 또는 pkill -f medic-daemon
while true; do
  ./medic.sh
  sleep "${MEDIC_INTERVAL:-30}"
done
DAEMONEOF
chmod +x medic-daemon.sh
nohup ./medic-daemon.sh > medic.log 2>&1 &
sleep 2 && tail -2 medic.log

mkdir -p .claude/skills/drill
cat > .claude/skills/drill/SKILL.md << 'DRILLEOF'
---
description: 카오스 드릴 실행. 장애를 주입하고 메딕의 진단과 복구를 관전하며 MTTR을 보고한다.
disable-model-invocation: true
argument-hint: "[blind|1|2|3]"
allowed-tools: Bash(./chaos.sh *) Bash(./medic.sh) Bash(curl *) Bash(tail *) Bash(sleep *) Read
---

카오스 드릴을 집도하세요. 모드: $ARGUMENTS (기본 blind)

1. `./chaos.sh $ARGUMENTS` 로 장애를 주입하세요.
2. `curl -s -o /dev/null -w '%{http_code}' $OPS_TARGET_API/health` 로 대상 서비스가 실제로 쓰러졌는지 확인하세요.
3. 데몬이 돌고 있지 않다면 `./medic.sh` 를 직접 1회 실행하세요.
4. INCIDENTS.md의 마지막 엔트리를 읽고 다음을 표로 보고하세요: 판정(RECOVERED/FAILED), ROOT_CAUSE, MTTR, 비용.
5. 마지막으로 /health 가 200인지 재확인하고 "드릴 종료"를 선언하세요.

주의: 직접 aws 명령으로 고치지 마세요. 치료는 메딕의 일입니다. 당신은 드릴 집도의입니다.
DRILLEOF
echo "새 Claude 세션에서 /drill 사용 가능"

grep -c "RECOVERED" INCIDENTS.md | xargs echo "오늘 자동 복구 횟수:"
grep -o 'ROOT_CAUSE: [A-Z_]*' INCIDENTS.md | sort | uniq -c   # 원인별 격파 현황
git add -A && git commit -m "feat: self-healing ops capstone"
pkill -f medic-daemon        # 데몬 종료

# 실습을 마쳤다면 비용 정리 (이어서 볼 계획이면 유지):
# npx cdk destroy --force