We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Mistral Drops New AI Models for Laptops and Phones "Les Ministraux

Mistral Drops New AI Models for Laptops and Phones "Les Ministraux

2025/2/9
logo of podcast Lex Fridman Podcast of AI

Lex Fridman Podcast of AI

AI Deep Dive AI Chapters Transcript
People
无名
Topics
无名: Mistral AI发布了专为电脑和手机等边缘设备设计的模型“Les Ministraux”,这是一个非常令人兴奋的进展。这个新模型家族被称为“Ministro”,可以用于多种用途,包括基础文本生成。开发者可以将小型精调模型与更强大的模型结合使用,以提高效率、速度和灵活性。这些模型可以在手机上直接运行,从而保护隐私和安全。Ministral 3B和8B模型都具有128,000个token的上下文窗口,对于大多数使用情况来说已经足够大。这些模型旨在为本地隐私推断提供高效且低延迟的解决方案,适用于各种应用场景,例如设备上的翻译和智能互联网辅助。即使在没有网络连接的情况下,这些模型也能提供帮助。此外,Ministral模型旨在提供高效的计算能力和低延迟,适用于各种应用,包括军事应用。Mistral在博客文章中用忍者神龟的梗图来展示其模型的发展历程,非常有趣。Mistral在过去一年中取得了显著进展,并且Ministral 8B可以免费下载用于研究目的。Ministral 8B和3B模型可用于开发和部署,但商业用途需要联系Mistral获取许可。开发者可以通过Mistral的云平台La Platform使用这些模型,未来还将在其他云平台上提供。Ministral 8B的成本约为每百万输出10美分,Ministral 3B的成本约为每百万输出4美分,定价非常具有竞争力。目前的趋势是开发更小、更便宜、更快的模型,谷歌、微软和Lama都在这方面有所行动。Mistral声称其3B和8B模型在多个AI基准测试中优于Lama、Gemini和Mistral 7B。Mistral是一家非常创新的公司,最近融资6.4亿美元,并为开发者提供免费试用版,还推出了新的服务和SDK。Mistral是一家有远大抱负的公司,我将继续关注它的发展。

Deep Dive

Chapters
Mistral AI has released its first models designed to run on edge devices. The models, Ministral 3B and Ministral 8B, offer a 128,000-token context window, enabling processing of documents equivalent to a 50-page book. This development is exciting for developers and users alike due to increased efficiency and privacy.
  • Mistral AI releases new AI models for edge devices (laptops and phones)
  • Models: Ministral 3B and Ministral 8B
  • 128,000-token context window (equivalent to a 50-page book)
  • Focus on efficiency and privacy

Shownotes Transcript

Translations:
中文

Nous avons de la grande nouvelle de Mistral AI, car ils ont juste publié leur premier modèle qui est spécialement conçu pour se dérouler sur des ordinateurs et des téléphones, ou ce que nous appelons des cas d'écart. C'est un développement vraiment fascinant de cette startup basée à Paris,

Si vous êtes intéressé

en faisant de l'argent avec les outils de l'intelligence artificielle. J'aimerais vous avoir comme membre de la communauté de l'école de l'intelligence artificielle. C'est une communauté où chaque semaine, je publie des contenus exclusifs qui vous montrent comment je scale mes entreprises actuelles avec les outils de l'intelligence artificielle, comment vous pouvez le faire avec tous les processus, les workflows et les outils que j'utilise et comment je fais de l'argent avec les outils de l'intelligence artificielle différents de SideHustle. Donc, si c'est quelque chose qui vous intéresse, nous avons une communauté incroyable, des contenus exclusifs

et vous apprendre à développer votre entreprise, rejoignez la communauté de l'école d'AI Hustle et nous aimerions vous avoir impliqué dans le processus. De toute façon, commençons par voir ce que Mistral fait actuellement.

Tout cela est très intéressant. C'est une nouvelle famille de modèles que Mistral appelle les "Ministro". Et essentiellement, ils peuvent être utilisés ou rétournés pour un tas de cas de utilisation différents. Ils ont évidemment une génération de texte basique, mais ils ont aussi d'autres choses intéressantes. En particulier, ils disent que vous devriez les utiliser avec certains de leurs autres... leurs plus grands, plus capables

Donc, vous utilisez ce hybrid de modèle plus petit qui est plus finissime avec d'autres modèles plus bons. Et certaines personnes, je sais qu'elles vont être sceptiques de cette approche parce qu'elles sont comme : « Pourquoi je ferais ça ? » « Je vais juste utiliser le meilleur modèle. Je vais juste utiliser GPT-4O preview pour juste obtenir ce que je veux. Je veux juste le meilleur modèle. » Donc, c'est vraiment très utile pour les développeurs, moi-même inclué. Je développe actuellement un nombre de différentes applications AI et spécifiquement avec AIbox,

I'm building right now, we use smaller models when people query

on utilise des modèles plus petits pour déterminer quel modèle de faire le query. C'est beaucoup plus efficace que juste utiliser quelque chose comme GPT-4.0 et c'est aussi capable. Il y a beaucoup de tas de choses que les développeurs utilisent. Certains de ces modèles plus petits sont plus rapides, plus nimble. Et bien sûr, comme ils le mentionnent ici, vous pouvez le faire directement sur votre téléphone et sur votre téléphone, ce qui est un grand bénéfice. C'est spécifiquement

privacy and security. You're not sending this up to a cloud, no one can intercept it, no one can stop it. And so I think that for a lot of people in a lot of places, it's something that's very interesting to them. So like I mentioned, there's two models available, Minstrel 3B and Minstrel 8B. Both of them have a context window of 128,000 tokens. So this means that they can both take in about the length of a 50-page book. This is...

C'est fantastique. C'est aussi grand que ce que vous avez besoin pour la plupart des cas d'utilisation. Vous savez, 99% des utilisateurs, c'est parfait. Donc, en général, je suis vraiment excité de ce qu'ils ont fait ici. Ils avaient un poste de blog qui déclinait tout ce qui se passe ici. Et ils avaient un quote intéressant qui disait « Nos plus innovants clients et partenaires ont de plus en plus demandé pour l'inférence de la privacité locale pour des applications critiques comme la traduction sur un téléphone, les listes Internet, l'assistance intelligente, l'analytique locale et la robotique autonome.

Les ministres ont été construits pour offrir une solution de compétition efficace et de basse latence pour ces scénarios. De hobbyistes indépendants à équipes de manufacture globale, les ministres délivrent une grande variété de cas d'utilisation. Je suis vraiment excité par cela. Ils ont déjà déclenché un tas de cas d'utilisation intéressants ici, sur la traduction de l'appareil. Vous pouvez vous imaginer que vous êtes dans un pays étranger, peut-être que vous n'avez pas de bonne réception de cellules, peut-être que vous n'avez pas de plan de téléphone là-bas, ou que vous n'avez pas d'Internet.

Il peut se traduire directement sur votre téléphone et vous aider à communiquer avec les gens. C'est un autre cas d'utilisation incroyable. L'autre est l'assistance smart internet. Donc, encore une fois, vous avez cette situation où vous êtes en train de vous mettre dans les montagnes sur une hike et vous n'avez pas de bonne réception parce que vous n'avez pas Starlink connecté à votre téléphone, je suis sûr que ce problème va disparaître dans les 5 prochaines années, mais aujourd'hui, et vous vous débrouillez et vous voulez savoir comment...

pour

pour toutes sortes de choses, mais aussi, vous pouvez penser à beaucoup des applications militaires que cela pourrait avoir. C'est un prospect terrifiant, mais vous pouvez voir où ça va. Et puis, ils disent aussi que c'est essentiellement construit pour offrir l'efficacité de la compute. Donc, ce n'est pas nécessaire de faire un jeu de computer fou. C'est-à-dire que ce sera directement sur votre téléphone et puis, la latence est faible. Donc, ces choses vont être incroyablement rapides. Vous n'êtes pas assis autour en attendant. Ils sont très rapides. Et c'est ce que nous voyons avec GPT-40 Mini aussi, c'est que c'est

très très rapide. Donc, Global Manufactures et un tas d'autres personnes utilisent ça. Sur leur poste de blog, ils traversent les marques. La chose est assez robuste en ce qui concerne la pression des différentes marques et ce qu'elle peut accomplir. Et...

Je dois leur donner un accueil parce qu'à la fin de leur poste de blog, ils ont mis un mime dessus qui dit 2023 et ensuite ils disent "Mistral 7B" et c'est comme tous les Ninja Turtles, leurs enfants avec leur grand-maître au milieu. Et donc c'est comme "OK, l'année dernière, nous avons eu une chose et ensuite il dit 2024, c'est tous les Ninja Turtles vieillis et leurs grands-maîtres sont maintenant plus petits que eux, mais chacun des Ninja Turtles est labellé

Ministral 3B, Ministral 8B, Pixtrail, Ministral Small. Je pense qu'ils déclarent qu'il y a eu quelque chose d'intéressant dans la dernière année et qu'il y a eu un grand déclin cette année. Et encore une fois, il faut se rappeler que Ministral fait beaucoup de choses en open source. C'est une entreprise absolument fascinante qui fait vraiment beaucoup. La chose à décliner ici est que Ministral 8B est disponible pour download. Vous pouvez aller le trouver aujourd'hui. Je leur donnerai un cadeau pour ça.

Mais je dirais que c'est strictement pour des raisons de recherche. Si vous voulez que vos devs ou votre entreprise utilise ceci, soit leur 8B ou leur 3B Ministral, et que vous voulez faire des étapes de développement ou de déploiement, vous devez les contacter pour une licence commerciale.

Vous pouvez faire ça, mais ça va être une chose de contact. Et évidemment, c'est probablement une partie de leur façon de planifier pour gagner de l'argent. Donc, sinon, les développeurs peuvent utiliser Ministral 3B et 8B par leur plateforme de cloud, qui s'appelle La Platform. Et ils ont aussi d'autres clouds avec lesquels ils ont partagé dans les prochaines semaines, qu'ils vont avoir sur eux aussi. Donc, ça va être intéressant. Je speculais peut-être Microsoft Azure ou peut-être Google.

ou peut-être même Amazon, AWS, donc ça peut être tous ou certaines de celles qu'ils auront besoin de l'application. En ce moment, le Minestral 8B coûte environ 10 cents par million d'outputs, donc c'est environ 750 000 mots, très, incroyablement bien coûté, et leur Minestral 3B coûte 4 cents par million d'outputs.

C'est incroyable. Pour 10 cents, vous pouvez générer une quarte de million de mots ou sur leur modèle plus petit, 4 cents peut générer une quarte de million de mots. C'est...

Ils ne sont pas les seuls à faire ça. Il y a certainement eu une tendance vers des modèles plus petits qui sont plus chers et plus rapides à traiter ou à finir. J'ai écroué un tas de cas d'utilisation, mais vraiment, certaines de ces choses peuvent être assez chères. Google a ajouté un tas de nouveaux modèles à leur famille Gemma. Microsoft a Pi.

dans leur collection de modèles. Et récemment, la suite Lama a introduit un tas de nouveaux modèles qui sont vraiment optimisés pour la hardware Edge aussi. Donc beaucoup de gens sont venus avec cette chose. Mistral affirme que Mistral 3B et Mistral 8B vont, vous savez, défendre Lama, Gemini, ainsi que leur propre Mistral 7B sur un tas de différents benchmarks d'AI qu'ils font. Donc pour moi, c'est très intéressant.

Tout en tout, très impressionné par cette entreprise. Nous avons récemment vu qu'ils ont réuni 640 millions de dollars. Ils ont même lancé un tiers gratuit pour les développeurs pour tester leurs modèles AI. Et ils ont aussi lancé un tas de nouveaux services et un SDK pour essentiellement laisser leurs clients finir leurs modèles. Donc, beaucoup de choses impressionnantes sortent de Mistral. Une entreprise très innovante. Ils ont annoncé leur PIX-Trail 12B. Juste beaucoup de choses impressionnantes. Et bien sûr,

...

et prouver que tout le monde est faux. J'adore une entreprise avec un chip sur sa couche. Mistral est certainement cette entreprise. C'est celle que je vais vous garder en compte en avance dans le futur. Encore une fois, si vous êtes intéressé à scaler et à développer votre entreprise avec des outils AI, j'aimerais que vous rejoigniez la communauté de l'école d'AI Hustle ou si vous essayez de commencer une hustle à côté AI et de faire de l'argent de l'autre côté, j'aimerais couvrir comment j'ai pu faire plus de 12 000 dollars dans plusieurs mois en uploadant des vidéos gratuites à Amazon et un

Sous-titrage ST' 501