Methodology · matrix version 2026-04-01

How we score multi-agent frameworks.

इस पृष्ठ पर हर स्कोर को आकार देने वाली तीन प्रतिबद्धताएँ: कोई विक्रेता भुगतान-स्थान नहीं, कोई अनुमानित स्कोर नहीं और कोई डेमोवेयर नहीं। स्कोर Buzzi के नामित वरिष्ठ इंजीनियर से आते हैं जो नीचे के सार्वजनिक रूब्रिक लागू करते हैं; हर फ्रेमवर्क पृष्ठ पर एक last_verified_at टाइमस्टैम्प भी होता है ताकि ताज़गी का ऑडिट किया जा सके।

10 frameworks, neutral cards

LangGraph
×1.0 overhead
LangChain · MIT · primary python
repo·docs
CrewAI
×1.3 overhead
CrewAI · MIT · primary python
repo·docs
AutoGen / AG2
×2.5 overhead
Microsoft / AG2 community · CC-BY-4.0 / Apache-2.0 · primary python
repo·docs
OpenAI Agents SDK
×1.1 overhead
OpenAI · MIT · primary python
repo·docs
Pydantic AI
×1.0 overhead
Pydantic · MIT · primary python
repo·docs
Anthropic Claude Agent SDK
×1.1 overhead
Anthropic · MIT · primary python
repo·docs
Google Agent Development Kit
×1.2 overhead
Google · Apache-2.0 · primary python
repo·docs
Microsoft Semantic Kernel
×1.2 overhead
Microsoft · MIT · primary multi
repo·docs
LlamaIndex Agents
×1.4 overhead
LlamaIndex · MIT · primary python
repo·docs
Haystack
×1.3 overhead
deepset · Apache-2.0 · primary python
repo·docs

15 capability axes, with rubrics

Sequential workflows
Pipeline-style chains where one agent finishes before the next starts.
10 / 10
Pipelines are a first-class primitive with explicit ordering and typed handoff.
5 / 10
Sequential chains are possible via orchestration code but not a native primitive.
0 / 10
Framework cannot guarantee deterministic sequential ordering.
Parallel workflows
Concurrent fan-out / fan-in across multiple agents.
10 / 10
Native parallel execution with built-in result merging and back-pressure.
5 / 10
Parallel execution requires custom asyncio / threading code on top.
0 / 10
No support for concurrent agent execution.
Hierarchical workflows
Supervisor-and-worker patterns with delegation and aggregation.
10 / 10
Supervisor pattern is documented, idiomatic, and replayable.
5 / 10
Achievable but requires hand-rolled message routing.
0 / 10
No first-class supervisor primitive.
Adaptive workflows
Dynamic routing where agents pick the next step based on intermediate state.
10 / 10
Router/handoff primitives are first-class with conditional edges.
5 / 10
Possible via tool calls but not the framework's sweet spot.
0 / 10
Control flow is rigid; no dynamic routing.
State management
Persistent, typed memory across runs and across agents.
10 / 10
Typed state schema, persistent checkpoints, replay support.
5 / 10
Session memory is supported; persistence requires external store.
0 / 10
Stateless by default; users must build persistence themselves.
Human-in-the-loop
Pause-resume primitives so humans can approve, edit, or reject actions.
10 / 10
Native interrupt/resume with serialisable checkpoints.
5 / 10
Approval gates can be bolted on; not a first-class primitive.
0 / 10
No interrupt mechanism — the framework runs to completion.
Python support
Production-grade Python SDK with active maintenance.
10 / 10
Reference implementation; active releases; complete typing.
5 / 10
Functional Python SDK lagging the primary language.
0 / 10
No Python SDK.
TypeScript support
Production-grade TypeScript / Node SDK at parity with Python.
10 / 10
First-class TS SDK with parity to Python in features and types.
5 / 10
TS SDK exists but trails Python in feature coverage.
0 / 10
No TS SDK.
.NET / Java support
First-class JVM (Java/Kotlin) and/or .NET SDK.
10 / 10
Reference-quality .NET and/or Java SDK with feature parity.
5 / 10
Community port or partial SDK.
0 / 10
No .NET or Java SDK.
MCP support
Native Model Context Protocol client and/or server primitives.
10 / 10
Authored or reference implementation of MCP.
5 / 10
MCP available as an adapter or community plugin.
0 / 10
No MCP support.
A2A support
Native Agent-to-Agent (Google) protocol primitives.
10 / 10
Authored or reference implementation of A2A.
5 / 10
A2A available via adapter; partial coverage.
0 / 10
No A2A support.
Observability
Tracing, token accounting, replay, and audit-grade logs.
10 / 10
Built-in tracing dashboard, structured token accounting, replay, exportable audit log.
5 / 10
OpenTelemetry hooks exist; user must wire dashboards themselves.
0 / 10
Print-statement debugging only.
Deployment flexibility
Range of supported deployment targets (cloud, on-prem, edge).
10 / 10
Cloud, on-prem, and edge all documented and tested.
5 / 10
Cloud-first; on-prem requires extra work.
0 / 10
Tied to a single hosted backend.
Maturity
Production track record, release cadence, community size.
10 / 10
2+ years of production use across many large deployments.
5 / 10
6-18 months in the wild; growing but evolving rapidly.
0 / 10
Pre-1.0; APIs change every release.
Learning curve (higher = easier)
Time-to-prototype for a developer new to the framework.
10 / 10
A working prototype in under 30 minutes from a clean machine.
5 / 10
Prototype in half a day with the docs open.
0 / 10
Multi-week onboarding before the first useful run.

Scoring formula

# Ranking
weights = buildWeightVector(inputs)        # 15 weights per user input
for fw in frameworks:
    score = sum(fw.capabilities[cap] * weights[cap] for cap in CAPS)
    if hardConstraintFails(inputs, fw):
        score = 0
return sortDesc(scored)

# Cost per task
estimated_tokens_per_task = base_task_tokens
    * framework_overhead_multiplier
    * (1 + (roles - 1) * 0.3)
    * (1.2 if hitl else 1.0)
per_task_usd = (0.7 * tokens / 1M * input_rate)
             + (0.3 * tokens / 1M * output_rate)

Glossary

Hierarchical: A supervisor agent delegates work to sub-agents, reviews their output, and composes the final answer. Good for multi-stage tasks with clear ownership.
Adaptive: Agents decide dynamically which other agents or tools to invoke based on intermediate results. Best when the control flow cannot be fixed upfront.
Agent: A named role with its own prompt, tools, and memory. "Roles" counts unique agent identities, not the number of LLM calls.
HITL (Human-in-the-Loop): The workflow pauses for a human to approve, edit, or reject an agent action before continuing. Critical for regulated or high-risk automations.
MCP (Model Context Protocol): Anthropic-led open standard for connecting LLM agents to tools, data, and other servers. Look for MCP support if you want vendor-portable tool integrations.
A2A (Agent-to-Agent Protocol): Google-led open standard for agents from different vendors to discover and call each other. Emerging spec; relevant for federated agent systems.
Observability: Structured traces, token accounting, replayable runs, and exportable audit logs. "Regulated-grade" means immutable audit trails and retention controls.

Public dataset

पूरा क्षमता मैट्रिक्स AI इंजन और शोधकर्ताओं के लिए JSON के रूप में प्रकाशित है:

/api/tools/agent-framework/frameworks.json — लाइव, एज-कैश्ड, CORS खुला।
/data/agent-frameworks-matrix.json — buzzi-ai/agent-framework-matrix पर GitHub पर मिरर किया स्थिर स्नैपशॉट।

FAQ

स्कोर कैसे निर्दिष्ट किए जाते हैं?
Buzzi का एक नामित वरिष्ठ इंजीनियर इस पृष्ठ के सार्वजनिक रूब्रिक का उपयोग करके हर फ्रेमवर्क को हर अक्ष पर स्कोर करता है। स्कोर त्रैमासिक समीक्षा होती है; हम सार्वजनिक डेटासेट में प्रति फ्रेमवर्क last_reviewed टाइमस्टैम्प प्रकाशित करते हैं।
क्या विक्रेता स्थान के लिए भुगतान करते हैं?
नहीं। स्कोर संपादकीय हैं और कभी नहीं बेचे जाते। स्कोर परिवर्तन अनुरोध तकनीकी औचित्य के साथ खुले मैट्रिक्स रिपॉजिटरी पर सार्वजनिक PR के रूप में दायर किए जाने चाहिए।
आप तय करते हैं कि कौन से फ्रेमवर्क ट्रैक किए जाएँ?
10k+ स्टार वाले सक्रिय GitHub रिपो या Anthropic, Google, Microsoft, OpenAI, या LangChain द्वारा समर्थित। हम गति और उत्पादन उपयोग के आधार पर त्रैमासिक एक बार फ्रेमवर्क जोड़ते या रिटायर करते हैं।
प्रति-कार्य लागत कैसे गणना की जाती है?
estimated_tokens_per_task = base_task_tokens × framework_overhead_multiplier × (1 + (भूमिकाएँ − 1) × 0.3) × (HITL तो 1.2 अन्यथा 1.0)। टोकन दरें हमारी llm_models तालिका से आती हैं; उपयोगकर्ता विज़ार्ड में मॉडल को ओवरराइड कर सकते हैं।
कठोर बाधाएँ कैसे काम करती हैं?
.NET स्टैक Microsoft Semantic Kernel तक संकीर्ण होता है। Java Semantic Kernel या Google ADK तक संकीर्ण होता है। अनुपालन-ग्रेड ऑब्जर्वेबिलिटी वाला TypeScript LangGraph.js, OpenAI Agents SDK, या Anthropic Claude SDK तक संकीर्ण होता है। अयोग्य फ्रेमवर्क कारण के साथ दिखाए जाते हैं।
मैं कहाँ सुधार दर्ज कर सकता हूँ?
buzzi-ai/agent-framework-matrix रिपॉजिटरी के विरुद्ध पुल अनुरोध खोलें या research@buzzi.ai पर ईमेल करें। हम 10 कार्यदिवस के भीतर सुधार अनुरोधों की समीक्षा करते हैं।

ऐसा स्कोर मिला जिससे आप असहमत हैं?

खुले मैट्रिक्स रिपॉजिटरी पर PR खोलें या research@buzzi.ai पर ईमेल करें। सभी सुधार अनुरोधों को 10 कार्यदिवस के भीतर सार्वजनिक प्रतिक्रिया मिलती है।

चयनकर्ता पर वापस

How we score multi-agent frameworks.

10 frameworks, neutral cards

LangGraph

CrewAI

AutoGen / AG2

OpenAI Agents SDK

Pydantic AI

Anthropic Claude Agent SDK

Google Agent Development Kit

Microsoft Semantic Kernel

LlamaIndex Agents

Haystack

15 capability axes, with rubrics

Sequential workflows

Parallel workflows

Hierarchical workflows

Adaptive workflows

State management

Human-in-the-loop

Python support

TypeScript support

.NET / Java support

MCP support

A2A support

Observability

Deployment flexibility

Maturity

Learning curve (higher = easier)

Scoring formula

Glossary

Public dataset

FAQ

स्कोर कैसे निर्दिष्ट किए जाते हैं?

क्या विक्रेता स्थान के लिए भुगतान करते हैं?

आप तय करते हैं कि कौन से फ्रेमवर्क ट्रैक किए जाएँ?

प्रति-कार्य लागत कैसे गणना की जाती है?

कठोर बाधाएँ कैसे काम करती हैं?

मैं कहाँ सुधार दर्ज कर सकता हूँ?

ऐसा स्कोर मिला जिससे आप असहमत हैं?