A menudo, en los últimos tiempos, achino los ojos ante un texto generado por IA. ¿Hará falta un lector q desprecie paja y q lea entre líneas para adivinar cuál fue el prompt del texto, qué quería o pretendía el humano tras él? Lo esencial invisible a los ojos, más q nunca, :-D!
#InExCodeMode LLevo la mitad de medio siglo, :-p, tirando de cláusulas de Horn. Por lo de la IA, ¡a mí luditas, :-D! , puede que me queden meses antes de pasarme al "natural". Quizás este sea mi último 'if', :-|. Sea:
No se trata solo del movimiento "bueno"; además, también, la diligencia. Acordarse que medio segundo puede contener la inmensidad... eso de la palma de la mano y la arena... o de la flor amarilla. https://t.co/IITBAJ6FFR
Original · 1977755427569111362 · Andrej Karpathy @karpathy
Excited to release new repo: nanochat! (it's among the most unhinged I've written).
Unlike my earlier similar repo nanoGPT which only covered pretraining, nanochat is a minimal, from scratch, full-stack training/inference pipeline of a simple ChatGPT clone in a single, dependency-minimal codebase. You boot up a cloud GPU box, run a single script and in as little as 4 hours later you can talk to your own LLM in a ChatGPT-like web UI.
It weighs ~8,000 lines of imo quite clean code to:
- Train the tokenizer using a new Rust implementation - Pretrain a Transformer LLM on FineWeb, evaluate CORE score across a number of metrics - Midtrain on user-assistant conversations from SmolTalk, multiple choice questions, tool use. - SFT, evaluate the chat model on world knowledge multiple choice (ARC-E/C, MMLU), math (GSM8K), code (HumanEval) - RL the model optionally on GSM8K with "GRPO" - Efficient inference the model in an Engine with KV cache, simple prefill/decode, tool use (Python interpreter in a lightweight sandbox), talk to it over CLI or ChatGPT-like WebUI. - Write a single markdown report card, summarizing and gamifying the whole thing.
Even for as low as ~$100 in cost (~4 hours on an 8XH100 node), you can train a little ChatGPT clone that you can kind of talk to, and which can write stories/poems, answer simple questions. About ~12 hours surpasses GPT-2 CORE metric. As you further scale up towards ~$1000 (~41.6 hours of training), it quickly becomes a lot more coherent and can solve simple math/code problems and take multiple choice tests. E.g. a depth 30 model trained for 24 hours (this is about equal to FLOPs of GPT-3 Small 125M and 1/1000th of GPT-3) gets into 40s on MMLU and 70s on ARC-Easy, 20s on GSM8K, etc.
My goal is to get the full "strong baseline" stack into one cohesive, minimal, readable, hackable, maximally forkable repo. nanochat will be the capstone project of LLM101n (which is still being developed). I think it also has potential to grow into a research harness, or a benchmark, similar to nanoGPT before it. It is by no means finished, tuned or optimized (actually I think there's likely quite a bit of low-hanging fruit), but I think it's at a place where the overall skeleton is ok enough that it can go up on GitHub where all the parts of it can be improved.
Link to repo and a detailed walkthrough of the nanochat speedrun is in the reply.
RT @karpathy: Excited to release new repo: nanochat! (it's among the most unhinged I've written).
Original · 1977689214381957551 · El Prat Llibertari @pratllibertari
@HISTORIAxESPANA Libetario se popularizó como un eufemismo de anarquismo a finales del XIX a raiz de la aprobación de las "lois scélérates", cuando las publicaciones anarquistas fueron prohibidas por ley en Francia.
RT @pratllibertari: @HISTORIAxESPANA Libetario se popularizó como un eufemismo de anarquismo a finales del XIX a raiz de la aprobación de l…
Original · 1977685765711921178 · El Prat Llibertari @pratllibertari
@HISTORIAxESPANA Un hecho que no parece casual, es que, al contrario de los fascistas alemanes, los españoles adoptarán la bandera roja y negra y la denominación nacional-sindicalista en contraposición a la de nacional-socialista y la bandera roja de los alemanes.
Ni parece un hecho casual.
RT @pratllibertari: @HISTORIAxESPANA Un hecho que no parece casual, es que, al contrario de los fascistas alemanes, los españoles adoptarán…
Padre · 1981257777239486517 · Juana Dolores @juanadolorex
Això és el que penso de la Rosalía, que és una hipòcrita, que falsifica i comercialitza l'espiritualitat i que una artista de la seva 'classe' podria decidir tant condemnar el genocidi palestí com no participar activament de fer de l'habitatge un negoci. https://t.co/rwiuESbcIG
@juanadolorex Opinodeque: "El star system es el fentanilo del pueblo". Sobre otros "opios" clásicos. La Alba no es menos eso que la Rosalía. La misma pena me dan las fanbase que los creyentes o los yonkies. ¡Ánimo y luz! :-D https://t.co/jTVs2JxGxb
No sé qué me da más asco y repelús, que me hagan escoger una (y atacar a las otras) o, directamente, a estas alturas, que sigan con esos "lores" totalitarios y fundamentalistas. De verdad, humanidad, ¡crece y madura! https://t.co/Mr6CYlvtE0
English is the hottest programming language in the world!
MongoDB just released its MCP server, and literally anyone can now query data without knowing anything about databases.
Out of everything you can do with this MCP server, there are two specific reasons I'm very excited about it:
First, it's the ability to give an AI assistant access to the context stored in your database.
This is huge for those of us using Claude Code or Codex to write code, because these assistants can now access your MongoDB database to process and understand your data as it is.
Second, you can now write natural language queries. This allows everyone and their mom to query data without knowing anything about databases!
If you know English, you are all set.
By the way, you can use scoped service accounts and granular permissions to control which tools get read-only or write access to your data. This is critical, and I wish more companies would do the same.
Cada vez que has dicho "lavado de dinero", "esquema ponzi" o "cryptobro" le has dado una patada a una de las pocas cosas que puede salvarnos de la depredación salvaje capitalismo. Just saying. https://t.co/6MmyjwpgiV
Padre · 1982575875062399297 · Emili Gomez @emili_barna
La realidad de todos los comunistas, son “solidarios” PERO NUNCA CON SU PATRIMONIO 😞😞
@emili_barna Los comunistas señalan a la luna y los capitalistas miráis el dedo. A algunos ya no os queda tiempo para madurar, :-D, y habréis pasado por esta vida en la nesciencia. https://t.co/IUJj4NBTZ7
English is the hottest programming language in the world!
MongoDB just released its MCP server, and literally anyone can now query data without knowing anything about databases.
Out of everything you can do with this MCP server, there are two specific reasons I'm very excited about it:
First, it's the ability to give an AI assistant access to the context stored in your database.
This is huge for those of us using Claude Code or Codex to write code, because these assistants can now access your MongoDB database to process and understand your data as it is.
Second, you can now write natural language queries. This allows everyone and their mom to query data without knowing anything about databases!
If you know English, you are all set.
By the way, you can use scoped service accounts and granular permissions to control which tools get read-only or write access to your data. This is critical, and I wish more companies would do the same.
Thanks to the @MongoDB team for collaborating with me on this post.
@svpino Donde pones "English" vale: "lengua natural". Por cierto, buen momento para comentar las diferencias entre lengua, lenguaje, idioma, etc... y ponerlo en relación a las generaciones. Por cierto, oportunidad de innovación creando alguno híbrido, ¿no?... https://t.co/OHh9jut9MP
¡Qué cosas, eh?! En fin... no podemos negar que code es una buena herramienta, y que los "first-time OSS contributors" son una buena figura... ¿ande estará la F de FOSS en OSS, :-D? https://t.co/tZwhTUaduJ
La nacida para la guerra, creo, fue Arpanet. Internet, me parece, es la versión de las universidades q se juntan. Y, diría, entre internet y las rrss mínimo está la Web, el sueño de T.B. Lee, como libro de documentos. ¡Abajo la guerra, arriba la mente colmena asíncrona! 😶🌫️ https://t.co/V2WOZbsn4r
Tengo controversia con "grandes avances tecnológicos que nos facilitan la vida, nacieron por y para la guerra".
No estoy muy seguro si ese "por y para" es solo que el dinero entra ahí a paladas y se apropia de las tecnologías que, de otro modo, no tienen recursos para nacer.
Muy fan de estos proyectos. Se lo está pasando bien, el gachón; y eso se nota en lo que va sacando. Las posibilidades, en verdad, son descomunales. Good job, boy! https://t.co/FGmGiaIASg
A este tipo de política basada en partitocracia le quedan dos telediarios. El 15M fue el primer aviso (mimimí). La cosa no está aún para "¡No nos mires, únete!", de momento, "expect us!".