集成各种人工智能模型的功能可以释放出巨大的潜力，从自动化需要视觉、语音、写作和合成等多种能力的复杂任务到增强决策过程。然而，协调这些协作在管理内部关系和依赖关系方面提出了重大挑战。传统的线性方法常常存在不足，难以管理复杂的不同模型和动态依赖关系。

通过将机器学习工作流程转换为图表，你可以 直观地 了解每个模型如何交互以及如何贡献结合自然语言处理、计算机视觉和语音模型的总体结果。使用图方法，节点表示模型或任务，边定义它们之间的依赖关系。这种基于图形的映射具有多种优势，可以识别哪些模型依赖于其他模型的输出，并利用并行处理来执行独立任务。此外，我们可以根据任务优先级使用现有的图形导航策略（例如广度优先或深度优先）来执行任务。

和谐的人工智能模型协作之路并非没有障碍。想象一下指挥一个管弦乐队，其中每个人都说不同的语言并且乐器独立操作。这一挑战反映了集成不同人工智能模型时的沟通差距，需要一个框架来管理关系以及哪些模型可以接收每种输入格式。

从理论到实践：预期用例

基于图形的编排方法为各个领域的令人兴奋的可能性打开了大门：

药物发现的协作任务

研究人员可以通过一系列人工智能助手来加速药物发现过程，每个助手都为特定的任务而设计，例如，使用三步发现任务。第一步涉及一个语言模型，该模型扫描大量科学数据，以突出与特定疾病密切相关的潜在蛋白质目标，然后是一个视觉模型来解释复杂的图表或图像，提供对已识别蛋白质结构的详细见解。这种视觉效果对于了解潜在药物如何与蛋白质相互作用至关重要。最后，第三个模型整合了语言和视觉模型的输入，以预测化合物如何影响目标蛋白质，为研究人员提供了有效地领导这一过程的宝贵见解。

在模型集成以交付整个管道的过程中，会出现一些挑战。从扫描内容中提取相关图像并将其输入视觉模型并不像看起来那么简单。在文本扫描和视觉任务之间需要一个中间处理器来过滤相关图像。其次，分析任务本身应该合并多个输入:数据扫描输出、视觉模型的解释和用户指定的指令。这需要一个模板来组合信息，以便语言模型对其进行处理。下面的部分将描述如何使用python框架来处理复杂的关系。

创意内容生成

模型协作可以通过集成音乐作曲、动画和设计模型等元素来生成动画场景，从而促进交互式内容的创建。例如，在基于图形的协作方法中，第一个任务可以像导演一样规划一个场景，并为每个音乐和图像生成任务传递输入。最后，动画模型将使用美术和音乐模型的输出来生成一个短视频。

为了优化这个过程，我们的目标是实现音乐和图形生成的并行执行，因为它们是独立的任务。所以音乐无需等待图像完成。此外，我们需要通过动画任务解决不同的输入格式。虽然像“稳定视频扩散”这样的模式只能处理图像，但音乐可以使用后处理器进行组合。

这些例子只提供了图论在模型集成中的潜力的一瞥。图形集成方法允许你根据特定需求定制多个任务，并解锁创新的解决方案。

Intelli框架利用图论协调AI模型

Intelli是一个开源的python模块，通过三个关键组件利用图形原则来编排AI工作流:

• 代理作为你的AI模型的代表，你通过指定它的类型(文本、图像、视觉或语音)、它的提供者(openai、gemini、stability、mistral等)和任务来定义每个代理。

• 任务是AI工作流中的单个单元。每个任务都利用一个代理来执行特定的操作，并应用用户提供的自定义预处理和后处理。

• 流将所有内容绑定在一起，编排任务的执行，遵循通过图结构建立的依赖关系。流程管理确保任务以正确的顺序高效地执行，在可能的情况下支持顺序和并行处理。

当连接多个模型时，使用流组件作为图来管理任务关系提供了几个好处，但是对于仅一个任务的情况，这可能有些过度，直接调用模型就足够了。

扩展：随着项目复杂性的增长，添加更多的模型和任务需要重复的代码更新，以解决数据格式不匹配和复杂的依赖关系。图方法通过定义表示任务的新节点简化了这一点，框架自动解决输入/输出差异，以编排数据流。

动态适应：使用传统方法，复杂任务的更改将影响整个工作流程，需要进行调整。在使用流时，它将自动处理添加、删除或修改连接。

可解释性：通过可视化模型的交互方式，图形可以更深入地理解你的AI工作流，并优化任务路径导航。

开始

首先，确保你有python 3.7+，因为intelli利用了最新的python asyncio特性，并安装:

pip install intelli

agent：任务执行器

Intelli中的代理被设计为与特定的AI模型接口。每个代理包括一个统一的输入层，用于访问任何模型类型，并提供一个字典，允许将自定义参数传递给模型，例如最大尺寸、温度和模型版本。

from intelli.flow.agents import Agent
# Define agents for various AI tasks
text_agent = Agent(
    agent_type="text",
    provider="openai",
    mission="write social media posts",
    model_params={"key": OPENAI_API_KEY, "model": "gpt-4"}
)

任务：构建模块

任务表示要由代理执行的单个工作单元或操作，并包括处理前一个任务输出的逻辑。每个任务可以是一个简单的操作，比如生成文本，也可以是一个更复杂的过程，比如分析用户反馈的情绪。

from intelli.flow.tasks import Task
from intelli.flow.input import TextTaskInput
# Define a task for text generation
task1 = Task(
    TextTaskInput("Create a post about AI technologies"),
    text_agent,
    log=True
)

处理器：调优I/O

处理器通过为任务输入和输出定义自定义预处理和后处理来添加额外的控制层。下面的示例演示了在调用图像模型之前创建一个函数来缩短前一步的文本输出。

class TextProcessor:
    @staticmethod
    def text_head(text, size=800):
        retupytrn text[:size]
task2 = Task(
    TextTaskInput("Generate image about the content"),
    image_agent,
    pre_process=TextProcessor.text_head,
    log=True,
)

流程：指定依赖项

Flow将你的AI工作流转换为有向无环图(DAG)，并利用图论进行依赖管理。这使你能够轻松地可视化任务关系，并优化任务的执行顺序。

from intelli.flow.flow import Flow
flow = Flow(
    tasks={
        "title_task": title_task,
        "content_task": content_task,
        "keyword_task": keyword_task,
        "theme_task": description_theme_task,
        "image_task": image_task,
    },
    map_paths={
        "title_task": ["keyword_task", "content_task"],
        "content_task": ["theme_task"],
        "theme_task": ["image_task"],
    },
)
output = await flow.start()

map_path指示任务依赖关系，指导Flow编排执行顺序，并确保每个任务从其前一个任务接收到必要的输出。

以下是Flow如何导航节点:

1. 映射工作流：Flow使用任务作为节点，依赖项作为边来构建DAG。这种可视化表示阐明了任务执行顺序和数据流。
2. 拓扑排序：流程分析图以确定最佳执行顺序。没有传入依赖项的任务被优先化，确保每个任务在执行之前从前一个任务接收必要的输入。
3. 任务执行：框架遍历排序后的任务，用相应的输入执行每个任务。根据依赖关系映射，输入可能来自以前的任务输出和用户定义的值。
4. 输入准备：在执行之前，任务应用为任务定义的任何预处理函数，根据需要修改输入数据并调用分配的代理。
5. 输出管理：代理返回一个输出，该输出存储在一个字典中，并以任务名作为键返回给用户。

将你的流程可视化为图表：

flow.generate_graph_img()

结论

图论的使用通过提供不同模型之间的协作交响曲，改变了传统的线性方法来编排人工智能模型。

像Intelli这样的框架将你的工作流程转换为可视化的表示，其中任务成为节点，依赖关系被映射为边缘，创建整个过程的概述，以自动执行复杂的任务。

这种方法扩展到需要协作AI模型的不同领域，包括科学研究、业务决策自动化和交互式内容创建。然而，有效的规模需要在管理模型之间的数据交换方面进一步细化。