The decisions behind a system that uses AI to write and test Bitcoin trading strategies, in the order they were made.
AI로 비트코인 트레이딩 전략을 쓰고 검증하는 시스템. 그 뒤에 있던 결정들을 내린 순서대로 정리했습니다.
6weeks주Aug 4 – Sep 178월 4일 – 9월 17일
30design documents, written before building설계 문서 — 만들기 전에 작성
14,224strategies tested — 2% kept테스트한 전략 — 2% 채택
01Build process만든 과정
Starting point출발점
The idea
아이디어
An AI writes a trading strategy, a fixed test scores it on past prices, and the change is kept only if the score improves. Most of the work went into making that test trustworthy.
AI가 트레이딩 전략을 쓰고, 고정된 테스트가 과거 가격으로 점수를 매기고, 점수가 오를 때만 그 변경을 채택합니다. 작업 대부분은 이 테스트를 믿을 수 있게 만드는 데 들어갔습니다.
Scope범위
Simulation first
시뮬레이션부터
Exchange trading was deferred until there was a strategy worth trading.
거래할 만한 전략이 나올 때까지 거래소 매매는 미뤘습니다.
Constraint제약
Fixed AI budget
고정된 AI 예산
The AI runs on an existing subscription, so cost is flat and the limit is usage per period.
AI는 기존 구독으로 돌아가므로 비용은 고정이고, 한도는 기간당 사용량입니다.
Division of work역할 분담
AI for logic, search for numbers
논리는 AI, 숫자는 탐색
The AI changes how a strategy decides. An automated search sets the exact values.
AI는 전략이 판단하는 방식을 바꿉니다. 정확한 값은 자동 탐색이 정합니다.
Development개발
Six stages
여섯 단계
Aug 4 – 58월 4–5일
Foundation
기반
Question
질문
Can AI-written strategies be tested safely and compared fairly?
AI가 쓴 전략을 안전하게 테스트하고 공정하게 비교할 수 있는가?
Finding
발견
AI-written code cannot be trusted by default, and trading tests are easy to distort by using prices that would not have been known yet.
AI가 쓴 코드는 기본적으로 믿을 수 없고, 트레이딩 테스트는 아직 알 수 없었을 가격을 쓰는 것만으로 쉽게 왜곡됩니다.
Decision
결정
Every strategy is checked before it runs and tested for use of future information.
모든 전략은 실행 전에 검사하고, 미래 정보를 썼는지 테스트합니다.
Aug 6 – 128월 6–12일
How results are judged
결과를 판단하는 법
Question
질문
Is one test period enough to show a strategy works?
테스트 구간 하나로 전략이 통한다는 걸 보일 수 있는가?
Finding
발견
No. The margin of error was larger than the result, and the winner had been picked from many attempts on the same data.
아니요. 오차 범위가 결과보다 컸고, 승자는 같은 데이터에 대한 많은 시도 중에서 골라진 것이었습니다.
Decision
결정
Eight fixed test periods, scored on the middle result, with a discount for the number of strategies tried.
고정된 테스트 구간 8개, 중간값으로 채점, 시도한 전략 수만큼 점수를 깎습니다.
Aug 11 – 178월 11–17일
What counts as better
무엇을 더 낫다고 볼 것인가
Question
질문
What should the system optimize?
시스템은 무엇을 최적화해야 하는가?
Finding
발견
Scores kept rising while losses grew, and the search simply picked the largest trade size allowed.
손실이 커지는데도 점수는 계속 올랐고, 탐색은 그저 허용된 최대 거래 크기를 골랐습니다.
Decision
결정
The score is return relative to losses. Trade size is set separately, from a fixed risk limit.
점수는 손실 대비 수익입니다. 거래 크기는 고정된 리스크 한도에서 따로 정합니다.
Aug 20 – 288월 20–28일
Costs and automation
비용과 자동화
Question
질문
Are the simulated costs realistic, and can research run without supervision?
시뮬레이션 비용은 현실적인가, 그리고 연구가 감독 없이 돌아갈 수 있는가?
Finding
발견
A review found missing cost data and a stress test that did not require a profit. Every run was started by hand.
검토에서 빠진 비용 데이터와, 수익을 요구하지 않는 스트레스 테스트가 발견됐습니다. 모든 실행은 손으로 시작하고 있었습니다.
Decision
결정
Corrected the cost model after measuring its effect on past results. Research now runs on a nightly schedule.
과거 결과에 미치는 영향을 측정한 뒤 비용 모델을 고쳤습니다. 연구는 이제 매일 밤 일정에 따라 돌아갑니다.
Aug 13 – Sep 88월 13일 – 9월 8일
From research to an exchange account
연구에서 거래소 계좌까지
Question
질문
How does a strategy reach an exchange account without the system deciding what trades?
시스템이 무엇을 거래할지 정하지 않으면서, 전략이 거래소 계좌까지 어떻게 가는가?
Finding
발견
The trading program and the simulator disagreed in places, and practice accounts that switched strategies produced records that described none of them.
거래 프로그램과 시뮬레이터가 곳곳에서 어긋났고, 전략을 바꿔 가며 쓴 연습 계좌는 어느 전략도 설명하지 못하는 기록을 남겼습니다.
Decision
결정
The trading program must match the simulator exactly. A person chooses what trades. Each practice account follows one fixed strategy. Trading stops when a safety check fails, and a separate machine raises an alert.
거래 프로그램은 시뮬레이터와 정확히 일치해야 합니다. 무엇을 거래할지는 사람이 고릅니다. 연습 계좌 하나는 고정된 전략 하나만 따릅니다. 안전 검사에 실패하면 거래가 멈추고, 별도의 기계가 경보를 보냅니다.
Sep 7 – 109월 7–10일
One strategy or several
전략 하나인가, 여럿인가
Question
질문
Is the top-scoring strategy the right one to use?
점수가 가장 높은 전략이 써야 할 전략인가?
Finding
발견
Among the top strategies, a higher score did not predict better results on new data. A combination did about 3.6 times better than the typical single strategy.
상위 전략들 사이에서는 점수가 높다고 새 데이터에서 더 나은 결과가 나오지 않았습니다. 조합은 보통의 단일 전략보다 약 3.6배 나았습니다.
Decision
결정
Several strategies are combined. New versions must improve the combination, and versions that fall behind an earlier one are flagged for rollback.
여러 전략을 조합합니다. 새 버전은 조합을 개선해야 하고, 이전 버전보다 뒤처지는 버전은 되돌리도록 표시합니다.
Interface인터페이스
Dashboard design
대시보드 디자인
Aug 68월 6일
First dashboard
첫 대시보드
Showed how the practice account was doing, and flagged when data stopped arriving.
연습 계좌 상태를 보여주고, 데이터가 끊기면 표시했습니다.
Aug 68월 6일
Plain-language explainer
쉬운 말 설명 페이지
Explained how a strategy is chosen, for readers without a finance background. Reviewed as a mockup first.
금융 배경이 없는 독자를 위해 전략이 어떻게 선정되는지 설명했습니다. 먼저 목업으로 검토했습니다.
By Aug 208월 20일까지
Visual design in Claude Design
Claude Design으로 시각 디자인
Drafted the look and the account page layout in Claude Design. The dashboard's styling was copied from it.
Claude Design에서 외관과 계좌 페이지 레이아웃을 그렸습니다. 대시보드 스타일은 여기서 가져왔습니다.
Aug 258월 25일
Published
공개
Put online behind a password.
비밀번호를 걸어 온라인에 올렸습니다.
Sep 15 – 169월 15–16일
Redesign
재설계
Reviewed as a mockup over 14 versions, then built. Plain-language labels moved onto the account page.
목업으로 14개 버전을 검토한 뒤 만들었습니다. 쉬운 말 라벨이 계좌 페이지로 옮겨졌습니다.
Draft in Claude DesignClaude Design 초안 · sample figures샘플 수치
As built실제 구현 · sample figures샘플 수치
The built page keeps the draft's layout. Figures in both are sample data.
구현된 페이지는 초안의 레이아웃을 그대로 유지합니다. 두 화면의 수치는 모두 샘플입니다.
How the work was run일한 방식
Working principles
작업 원칙
Planning계획
Write the design first
설계를 먼저 쓴다
Each major change started as a design document reviewed before building.
큰 변경은 모두 설계 문서로 시작해, 만들기 전에 검토했습니다.
Interface인터페이스
Review the design as a mockup
디자인은 목업으로 검토한다
Both dashboard designs were drafted as mockups and reviewed.
두 대시보드 디자인 모두 목업으로 그려 검토했습니다.
Evidence근거
Measure before changing a rule
규칙을 바꾸기 전에 측정한다
Scoring and cost changes were tested on past results, against a control, before being applied.
채점과 비용 변경은 적용 전에 과거 결과로, 대조군과 비교해 테스트했습니다.
Control통제
A person makes the final call
최종 결정은 사람이 한다
The system ranks strategies. A person decides what trades.
시스템은 전략의 순위를 매깁니다. 무엇을 거래할지는 사람이 정합니다.
02Final product완성된 제품
Result결과
The system as of Sep 17
9월 17일 기준 시스템
Top row: an AI writes a strategy from price history; it passes safety checks, is tested on eight past periods, and is compared with the previous best. Most attempts are rejected and the reason is given back to the AI. Bottom row: kept strategies move through practice, trial and combined accounts before the exchange account. A person decides what the exchange account trades.윗줄: AI가 가격 기록으로 전략을 쓰고, 안전 검사를 거쳐, 과거 구간 8개에서 테스트한 뒤, 이전 최고 기록과 비교합니다. 대부분의 시도는 기각되고 그 이유가 AI에게 다시 전달됩니다. 아랫줄: 채택된 전략은 연습, 시험, 조합 계좌를 거쳐 거래소 계좌로 갑니다. 거래소 계좌가 무엇을 거래할지는 사람이 정합니다.
Screens화면
What the operator sees
운용자가 보는 것
One page shows how the account is doing. The others show why a strategy was chosen. Every screen says at the top whether the numbers are simulated.
한 페이지는 계좌가 어떻게 되고 있는지 보여줍니다. 나머지는 왜 그 전략이 선정됐는지 보여줍니다. 모든 화면은 상단에 수치가 시뮬레이션인지 표시합니다.
Account page.계좌 페이지.Balance, profit to date, today's profit, the open position, and a 7-day line against simply holding Bitcoin. Sample figures.잔고, 누적 수익, 오늘 수익, 보유 포지션, 그리고 단순히 비트코인을 보유했을 때와 비교한 7일 선. 샘플 수치입니다.
Current strategy.현재 전략.One sentence on what it does, next to the numbers it was chosen on.무엇을 하는지 한 문장으로, 선정 근거가 된 숫자와 함께.
Strategy families.전략 계열.Thirteen families run side by side. Each row shows its results line, score and how many of the eight periods it passed.13개 계열이 나란히 돌아갑니다. 각 줄은 결과 선, 점수, 8개 구간 중 통과한 수를 보여줍니다.
Attempt log.시도 기록.Every attempt, kept or rejected, with the AI's reasoning and the score it had to beat.채택되든 기각되든 모든 시도가 AI의 근거와 넘어야 했던 점수와 함께 남습니다.
