MIRA

돌비콩의 투자정복6시간 전

🤔같은 AI 모델인데, 성능이 2배 차이 난다? #sponsored source 1. 2025년 8월, OpenAI의 gpt-oss-120b 모델을 대상으로 진행한 수학 벤치마크에서 흥미로운 결과가 나왔음. 똑같은 모델인데 어떤 업체를 통해 이용하느냐에 따라 정답률이 36.7%에서 93.3%까지 차이가 났던 것. 즉, 같은 모델이라고 같은 성능이 보장되는 건 아님 2. AI 모델은 이를 구동하는 제공업체의 환경에 따라 성능이 달라짐. 일부는 비용을 줄이기 위해 모델을 압축하거나, 설정을 제대로 반영하지 못하기도 함. 심지어 외부 도구를 호출하는 기능이 정상 작동하지 않는 경우도 있는데, 이용자 입장에서는 같은 모델 이름으로 제공되니 알기 쉽지 않음 3. 미라 네트워크가 출시한 Sterling은 이를 해결하기 위한 AI 추론 서비스임. 모델을 제공하는 업체들을 직접 테스트하고, 검증을 통과한 업체에 요청을 연결함. 답변 정확도 검증을 넘어, 실제 해당 모델이 맞는지, 도구 호출이 제대로 되는지, 컨텍스트 길이를 지키는지, 숨은 오류는 없는지 등도 검사함 4. 이용 방식은 기존 API 키와 접속 주소를 변경하는 방식으로 설계됨. 출시 혜택으로 Claude, GPT, Gemini 모델을 ~50% 저렴하게 제공하며, USDC(x402)와 $MIRA 결제도 지원함. 모델 성능 경쟁이 치열해지는 만큼, 그 성능을 제대로 제공하고 있는지 검증하는 서비스에도 수요가 생긴다는 점에서 흥미로움

467

(주)청년열정민트초코6시간 전

Mira의 'Sterling' - 같은 AI 모델을 쓰는데도 성능이 다르다? (광고) 같은 이름의 서비스지만 성능이 제각각인 이유 요즘 AI 모델을 저렴하게 제공하는 API 업체들이 꽤 많아지고 있습니다. 재미있는 건 같은 모델을 사용한다고 해서 같은 성능이 나오는 건 아니라는 점입니다. 실제로 OpenAI의 오픈웨이트 모델인 gpt-oss-120b를 여러 업체에서 실행해 수학 문제를 풀게 했더니, AIME25 벤치마크 정답률이 36.7%에서 93.3%까지 차이가 났다고 합니다. AI 모델을 서비스하려면 GPU에 모델을 올려서 실행해야 하는데, 이 과정에서 비용을 줄이기 위해 모델을 압축하거나 추론 설정을 조정하는 경우가 있습니다. 그러다 보니 이용자 입장에서는 똑같은 모델을 선택하고 돈을 지불했는데도, 실제로는 업체마다 전혀 다른 품질의 답변을 받을 수 있다는 거죠. 문제는 우리가 API를 사용할 때 이런 차이를 미리 사전에 알기 어렵다는 점에 있어요. 그래서 Mira가 출시한 서비스 - 'Sterling' 원래 Mira Network는 AI가 생성한 답변을 여러 모델로 교차 검증하는 기술을 개발하던 프로젝트로, 이번에는 아예 AI 모델을 실행해 주는 업체들을 검증하고, 일정한 품질 기준을 통과한 제공업체를 통해 추론 서비스를 제공하는 Sterling을 출시했습니다. 쉽게 말해 AI 모델을 만들어낸 회사만 믿을 게 아니라, 그 모델을 실제로 서비스하는 업체가 제대로 돌리고 있는지도 확인하겠다는 것입니다. 또, 단순히 업체별 성능 비교에서 끝나는게 아니라, 이런 식으로 검증을 해준 업체들의 AI 추론 서비스를 직접 이용할 수 있도록 연결까지 해주는거죠. AI 에이전트처럼 모델을 수십, 수백 번 호출하는 서비스라면 답변 품질과 안정성이 정말 중요하다보니 꼭 검증이 필요한 중요한 영역이란 생각도 듭니다. Mira는 기존의 AI 답변 검증에 더해, AI를 실행하는 인프라의 품질까지 관리하는 방향으로 사업을 넓히려는 셈이네요. Sterling : https://sterling.mira.network/ (사용법) : 계정 로그인 후 제공되는 AI 모델과 이용 조건 확인 후 API 키 발급 -> 에이전트에 연결 #MIRA #KOL

635#AIAgents

쿠쿠쿱6시간 전

미라 네트워크, AI 추론 검증 서비스 '스털링(Sterling)' 출시 #ad 1. 출시 배경: API 제공업체별 심각한 성능 편차 • 동일한 AI 모델이라도 API를 제공하는 업체와 실행 환경에 따라 실제 성능이 크게 달라짐. 일부 업체는 몰래 더 작은 모델을 서빙하거나 툴 호출(Tool calls) 기능이 깨지는 문제가 발생함. • 실제로 gpt-oss-120b 벤치마크에서 업체별 점수가 36.7%에서 93.3%까지 벌어졌으며, 4개월간 189개 엔드포인트를 조사한 결과 29곳에서 37건의 미고지 변경 사항이 발견됨. • 문제는 일반 이용자가 모델 이름만 보고 이러한 품질 저하나 임의 변경을 확인하기 어렵다는 점임. 2. 해결책: 검증된 업체만 연결하는 '스털링' • 미라 네트워크는 AI 모델 제공업체를 하루 종일 상시 테스트하고, 검증을 통과한 업체로만 요청을 라우팅하는 추론 서비스 '스털링'을 출시함 (현재 베타 버전). • 5가지 핵심 검증 기준: 레퍼런스 대비 실제 모델 일치 여부, 툴 호출 정상 작동, 파라미터 준수 여부, 무응답 오류(Silent failures), 선언된 컨텍스트 길이 지원 여부. • 모델 및 업체별 테스트 점수와 근거 데이터는 모두 투명하게 공개되며, 검증에 실패한 업체는 라우팅 우선순위에서 맨 뒤로 밀려남. 3. 사용 방법 및 혜택 • 간편한 연동: 기존 코드 수정 없이 API 키 하나만 발급받아 Base URL만 변경하면 즉시 적용됨. • 비용 및 결제: 출시 기념으로 Claude, GPT, Gemini 모델을 정가 대비 최대 50% 저렴하게 제공함. 결제는 사용한 만큼 지불(Pay-as-you-go)하는 방식이며, x402를 통한 USDC 또는 $MIRA 토큰 결제를 지원함. MIRA X 공지 원문 / Sterling 웹사이트

392

잼민1237시간 전

이름만 같은 AI, 믿고 써도 될까? #AD 같은 모델이어도 실제로 돌려주는 업체는 따로 있다고함 작은 버전을 돌리거나 툴 호출이 깨지는 곳도 있다네 ✅ MIRA Sterling - 서빙 업체를 미리 테스트 - 통과한 곳으로만 요청 연결 - 내가 고른 모델을 제대로 쓰게 해줌 MIRA Sterling은 업체들을 먼저 테스트하고, 검증된 곳으로만 연결해줌. 어떤 AI냐만큼 어디서 돌리냐도 중요해짐. 🔗 원문: https://x.com/miranetwork/status/2118252068855333067

1.2K