那是烟花吗？不，那是铁穹！实测 Gemini 1.5 Pro 视频分析功能，还让它为世界和平写了首歌
今天用网上流传的视频测试了 Gemini 1.5 Pro
只想说 ，这是个被外界严重低估了的模型
下面为你详细介绍
一、Gemini 1.5 Pro 概述
Gemini 是谷歌的 AI 大语言模型
官方正式发布版是 Gemini 1.0，但是还有一个开发中的 Gemini 1.5
两个月前，开发过阿尔法狗、大名鼎鼎的 deepmind 团队推出 Gemini 1.5 Pro 预览版!
但是，既生瑜何生亮？
它完全被同一时间发布的 Sora 给掩盖了
事实证明，虽然不是很稳定，但基于 MOE，Gemini 1.5 是个非常强的 AI
优于早于它一周发布的 AI Gemini 1.0 Ultra
第一，全球最长上下文
拥有目前公开可用的大型语言模型中最长的上下文
Gemini 1.5 Pro 具备 10M 的上下文，这样就具备了超强的学习和理解能力。实际的 context 是多模态的，视频 2.8M（3 小时长）、音频 2M（22 小时时长）、文本 10M
第二，强大的多模形态
Gemini 1.5 Pro 真正的革命性之处，在于它的多模态理解能力。在现实世界中，我们获取信息的方式远不止文字，还包括视频、音频等多种模式。
Gemini 1.5 Pro 能够处理视频 2.8M、音频 2M、文本 10M 的数据，这让它能够更全面地理解世界，更贴近人类的感知方式。
第三，超强的文本写作
前两天撰写《985 毕业的，连个会议纪要都写不好？》时
顺手测试了 Gemini 1.5 Pro 的中文公文写作能力！
居然有惊喜！远超 gpt4，claude3，也超过了写作最好的国产 AI，通义千问和 kimi
请看下面这段对话
提示词：“写一个'大干 100 天，争创文明城市'的讲话稿，讲话人是四川某地领导，对象是基层公务员和环卫工人，要求用词通俗，举几个例子，加几个歇后语。1000 字左右。”
Gemini 1.5 Pro 回答原文如下：`
"大干 100 天，争创文明城市讲话稿
同志们，朋友们：
今天，我们在这里隆重举行“大干 100 天，争创文明城市”动员大会，就是要吹响冲锋号，擂响战鼓，举全区之力，打赢这场文明城市创建的攻坚战！
创建文明城市，说到底，是为了啥子？是为了让咱们区的环境更干净、更漂亮，让大家伙儿的日子过得更舒心、更巴适！就像俗话说的，“金窝银窝，不如自己的狗窝”。我们要把咱们的城区，变成一个真正的“金窝窝”，让大家伙儿住得舒舒服服，过得开开心心！
创建文明城市，靠哪个？当然要靠大家伙儿一起出力！咱们在座的各位，有的是街道社区的干部，有的是环卫工人，都是创建文明城市的主力军、排头兵。
社区干部，是“上面千条线，下面一根针”。你们工作在最基层，和老百姓接触最多，要发挥“绣花针”的精神，把创建工作做细做实。比如，老旧小区环境脏乱，就要组织居民一起动手，清理垃圾、种花种草，让老旧小区换新颜；有些居民不讲文明，乱扔垃圾、乱停乱放，就要耐心地劝导教育，让他们养成良好的习惯。
环卫工人，是城市的“美容师”。你们每天起早贪黑，风里来雨里去，用自己的汗水换来城市的清洁美丽。创建文明城市，更离不开你们的辛勤付出。希望大家继续发扬不怕脏、不怕累的精神，把我们的城市打扫得干干净净、漂漂亮亮。
当然，创建文明城市，不是喊几句口号就行的，要脚踏实地，真抓实干。就像我们常说的，“喊破嗓子，不如甩开膀子”。
在这里，我给大家伙儿提几点要求：
要像“钉钉子”一样，一锤接着一锤敲。创建工作任务重、时间紧，我们要以“钉钉子”的精神，一个问题一个问题解决，一项任务一项任务落实，不达目的不罢休。
要像“滚雪球”一样，越滚越大。要充分发动群众，让大家都参与到创建工作中来。一个人的力量是有限的，但大家伙儿的力量是无穷的！
要像“啄木鸟”一样，哪里有“虫子”就啄哪里。要善于发现问题，及时解决问题。对待创建工作中的难点问题，要敢于啃“硬骨头”，不怕得罪人，坚决把问题解决掉。
同志们，朋友们，创建文明城市，功在当代，利在千秋！让我们携起手来，以“黄沙百战穿金甲，不破楼兰终不还”的决心，以“撸起袖子加油干”的劲头，大干 100 天，坚决打赢创建文明城市这场硬仗！
谢谢大家！"`
可以看到，除了破楼兰那句用的不是很妥帖外，整个文字、文风，完全体现了提示词！
还很自然的用了“啥子”、“巴适”等四川俚语，毫无突兀感
二、Gemini 1.5 Pro 视频测试
Gemini 1.5 Pro 支持文字、图片、音频、视频分析
登录 aistudio.google.com
上传一段网上流传的视频
提示1：完整翻译视频中过人物对话
Gemini 1.5 Pro 回答如下：
提示2：请分析这段视频
Gemini 1.5 Pro 回答如下：
视频分析：疑似以色列铁穹防御系统拦截火箭弹
根据视频中的对话和画面，可以初步判断这是一段拍摄于以色列的视频，内容为以色列的铁穹防御系统拦截来袭的火箭弹。
分析依据：
对话内容：视频中的人用希伯来语交流，并提到了“铁穹”（כיפת ברזל）这个词，这是以色列著名的防御系统。
画面内容：视频中可以看到夜空中出现多个明亮的光点，并在空中爆炸，这与铁穹系统拦截火箭弹的景象相符。
背景环境：视频中的城市景观与以色列城市类似，建筑风格和道路布局具有中东地区的特征。
视频可能拍摄的时间和地点：
由于我没有关于 2023 年 11 月之后的任何信息，无法判断视频的具体拍摄时间。但是根据以色列与周边地区的安全局势，可以推测视频可能拍摄于以色列南部靠近加沙地带的城市，例如阿什凯隆、斯德洛特等。
视频的意义：
这段视频展现了以色列铁穹防御系统在实战中的应用，体现了该系统在保护以色列平民免受火箭弹袭击方面发挥的重要作用。同时，视频也反映了以色列与周边地区持续存在的紧张局势和安全威胁。
需要注意的是，以上分析仅基于视频画面和对话内容，无法确定视频的真实性和具体背景信息。
提示3：什么是铁穹？
Gemini 1.5 Pro 回答如下：
提示4：你怎么判断是铁穹呢，不考虑视频中人物对话
提示5：铁穹的造价？
Gemini 1.5 Pro 回答如下：
提示6：人类为什么会有战争呢。有AI是否可以阻止战争
提示词7：为世界和平写一首歌吧。用 20种语言，重复 “世界需要和平”，排列要求中文、英文、希伯来语、波斯语，在前面
完全没有要求用歌词的结构，AI 自动写好
Gemini 1.5 Pro 回答如下：
又让 AI 给了配曲的建议
导入音乐 AI suno
生成如下歌曲
还挺好听！
最后一起期待世界和平！