通义多模态向量

复制成功!
加入对比

概述

通义实验室基于预训练多模态大模型构建的多模态向量模型。该模型根据用户的输入生成高维连续向量,这些输入可以是文本、图片或视频。多模态向量在可应用于图片搜索、文搜图、视频搜索、图片分类和视频内容审核等下游任务中。

输入

文本图像视频

输出

功能

前缀补全

调用通义千问 API 时启用 Partial Mode,可让模型严格接续您提供的前缀文本进行生成。查看文档

函数调用

通过函数调用将大模型与外部工具和系统连接起来。查看文档

缓存

Context Cache 会缓存长上下文请求的公共前缀,减少重复计算、提升响应速度并降低成本。查看文档

结构化输出

结构化输出可确保模型返回符合预期格式的 JSON 字符串。查看文档

批量任务

异步批量处理请求,降低调用成本。查看文档

联网搜索

启用联网搜索后,模型可基于实时检索的数据进行回答。查看文档

微调

基于样本数据训练模型,使其更适配特定任务。查看文档

定价

  • 图片输入
    ¥0.9/M tokens
  • 文本输入
    ¥0.7/M tokens

速率限制与上下文

  • 最大输入
    512
  • 最大输出
    0
  • 上下文
    0
  • TPM每分钟 Token 数
    1000000
  • RPM每分钟请求数
    120

API 参考

调用API
复制成功!
12345678910111213141516171819202122232425262728
import dashscope
from http import HTTPStatus

dashscope.base_http_api_url = "https://cn-beijing.maas.qianwenaiapi.com/api/v1"

# 文本向量化
resp = dashscope.MultiModalEmbedding.call(
    model="multimodal-embedding-v1",
    input=[{"text": "衣服的质量杠杠的,很漂亮,不枉我等了这么久啊"}],
)

if resp.status_code == HTTPStatus.OK:
    embedding = resp.output["embeddings"][0]["embedding"]
    print(resp)
else:
    print(resp)

# 图片向量化
resp = dashscope.MultiModalEmbedding.call(
    model="multimodal-embedding-v1",
    input=[{"image": "https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20241022/emyrja/dog_and_girl.jpeg"}],
)

if resp.status_code == HTTPStatus.OK:
    embedding = resp.output["embeddings"][0]["embedding"]
    print(resp)
else:
    print(resp)