AI 모델 구성

Sidian은 여러 AI 모델과 공급자를 지원하여 특정 요구에 가장 적합한 모델을 선택할 수 있도록 합니다. 이 가이드는 AI 모델을 구성, 관리 및 최적화하는 방법을 다룹니다.

사용 가능한 AI 모델

모델 유형

• 빠른 모델: 정확도는 낮지만 빠른 응답
• 균형 모델: 속도와 정확도의 좋은 균형
• 고급 모델: 처리 시간은 길지만 가장 높은 정확도
• 특수 모델: 언어 또는 도메인별 모델
• 로컬 모델: 개인 정보 보호에 중점을 둔 오프라인 처리

모델 공급자

• OpenAI: GPT-5, GPT-4.1, O3, O4-mini 모델
• Anthropic: Claude Opus 4.1, Claude Sonnet 4, Claude 3.5 모델
• Google: Gemini 모델
• xAI: Grok-3, Grok-3-mini 모델
• DeepSeek: DeepSeek-V3 모델
• Groq: 고속 추론 모델
• Mistral: Mistral AI 모델
• OpenRouter: 여러 모델 공급자에 대한 접근
• Microsoft Azure: Azure OpenAI 서비스
• Google Vertex AI: 클라우드 기반 AI 모델
• 로컬 공급자: Ollama, LM Studio, vLLM
• OpenAI 호환: 사용자 정의 API 엔드포인트
• LiteLLM: 다중 공급자 프록시
• Zhipu AI: GLM 모델
• Qwen: Alibaba Cloud 모델
• Kimi: Moonshot AI 모델

모델 구성

모델 설정 접근하기

1. 설정 메뉴: 설정 → 공급자/로컬 → 드롭다운에서 모델 선택
2. 상태 표시줄: 상태 표시줄의 AI 모델 표시기 클릭
3. 채팅 인터페이스: AI 채팅 패널에서 모델 선택기 클릭

API 키 설정하기

클라우드 공급자

클라우드 기반 AI 모델을 사용하려면 API 키를 추가하기만 하면 됩니다:

• OpenAI: 설정 → 공급자 → OpenAI → API 키 입력
• Anthropic: 설정 → 공급자 → Anthropic → API 키 입력
• Google: 설정 → 공급자 → Google → API 키 입력
• 기타 공급자: 모든 클라우드 공급자에 대해 동일한 패턴을 따릅니다

로컬 모델

Ollama 또는 LM Studio와 같은 로컬 모델의 경우:

• Ollama: Ollama가 http://127.0.0.1:11434에서 실행 중인지 확인합니다
• LM Studio: LM Studio 서버가 http://localhost:1234에서 실행 중인지 확인합니다
• Sidian이 로컬 모델 서버를 자동으로 감지하고 연결합니다

모델 선택 전략

작업 기반 선택

• 코드 완성: 실시간 제안을 위한 빠른 모델
• 코드 설명: 상세한 분석을 위한 균형 모델
• 복잡한 리팩토링: 정확도를 위한 고급 모델
• 문서화: 기술 작성을 위한 특수 모델

성능 최적화

• 지연 시간: 대화형 기능을 위해 더 빠른 모델 선택
• 정확도: 중요한 작업을 위해 고급 모델 사용
• 비용: 성능과 API 비용의 균형 맞추기
• 개인 정보 보호: 민감한 코드를 위해 로컬 모델 사용

컨텍스트 관리

• 짧은 컨텍스트: 빠른 완성 및 제안에 사용
• 중간 컨텍스트: 함수 수준 분석용
• 긴 컨텍스트: 파일 또는 프로젝트 수준 이해용
• 스트리밍: 실시간 응답 표시를 위해 활성화

모델 전환

동적 전환

• 작업별: 다른 AI 기능에 대해 다른 모델 사용
• 언어별: 언어별 모델 기본 설정
• 프로젝트별: 프로젝트별 모델 구성
• 사용자별: 개별 사용자 기본 설정

자동 폴백

• 기본 실패: 백업 모델로 자동 전환
• 속도 제한: 속도 제한 시 대체 모델 사용
• 컨텍스트 제한: 더 큰 컨텍스트 창을 가진 모델로 전환
• 성능 문제: 더 빠른 모델로 폴백

성능 모니터링

모델 메트릭

• 응답 시간: 모델 응답의 평균 시간
• 성공률: 성공적인 요청의 백분율
• 토큰 사용량: 토큰 소비 및 비용 추적
• 오류율: 실패한 요청 및 오류 모니터링

사용량 분석

• 기능 사용량: 가장 많이 사용되는 AI 기능
• 모델 선호도: 가장 인기 있는 모델 및 설정
• 성능 추세: 시간 경과에 따른 응답 시간 및 정확도
• 비용 분석: API 사용량 및 관련 비용

문제 해결

일반적인 문제

모델이 응답하지 않음

• API 키 구성 확인
• 인터넷 연결 확인
• 모델 가용성 상태 확인
• 다른 모델로 전환 시도

느린 응답

• 더 빠른 모델로 전환
• 컨텍스트 창 크기 줄이기
• 네트워크 지연 시간 확인
• 시스템 리소스 모니터링

낮은 품질의 응답

• 고급 모델 시도
• 온도 설정 조정
• 더 많은 컨텍스트 제공
• 프롬프트 엔지니어링 확인

API 오류

• API 키 유효성 확인
• 속도 제한 확인
• 할당량 사용량 모니터링
• 오류 메시지 검토

모범 사례

1. 단순하게 시작: 기본 설정으로 시작하고 필요에 따라 조정합니다
2. 사용량 모니터링: 성능과 비용을 정기적으로 추적합니다
3. 모델 테스트: 사용 사례에 대해 다른 모델을 비교합니다
4. 컨텍스트 최적화: 과부하 없이 관련 컨텍스트를 제공합니다
5. 최신 상태 유지: 새로운 모델과 개선 사항을 계속 확인합니다

데이터 개인정보 보호

• 로컬 처리: 민감한 코드를 위해 로컬 모델 사용
• 데이터 보존: 공급자의 데이터 보존 정책 이해
• 규정 준수: 조직 정책 준수 보장
• 감사 로깅: 보안 목적으로 AI 사용량 모니터링

AI 모델 구성은 Sidian의 AI 기능에서 최상의 성능을 얻는 데 중요합니다. 시간을 내어 다양한 모델과 설정을 실험하여 개발 요구에 가장 적합한 것을 찾으십시오.